Тут начинается грустная часть истории о том, как я 2 года стагнировал в плане ML-скиллов, но про это расскажу завтра. Сейчас покидаю немного книг и курсов, но только если вы этого хотите!
Продолжаем! Итак, мне было уныло работать в финансах, поскольку львиную долю времени занимали 1) создание инфраструктуры для сбора данных и 2) рутинная проверка всех базовых моделей на этих данных. Ну, там, SVM и прочие встроенные в scikit-learn модели. twitter.com/dsunderhood/st…
Про результаты этих проверок я ещё года три не смогу говорить из-за NDA, но зато могу сказать про свои эмоции: я был разочарован. Очень.
В процессе поиска идей я понял, что финансовый ML ужасно скучный по причине того, что там практически нет сигнала в данных, почти всё состоит из шума.
Мой идеал задач в ML — это когда сигнал виден невооружённым взглядом, но не вполне ясно, как научить компьютер его распознавать. Вот тут есть структурная сложность, а ещё пригождается инженерная смекалочка.
Например, все разговаривают на человеческих языках, многие водят машину, выполняют всяческую работу — полезный сигнал в избытке. И именно идеи о том, как его обуздать, и ценны.
ML в финансах — это такая статистика, которую ещё и применять надо к задаче, кажущейся мне безумно унылой. Ну, доход максимизировать... Такое себе занятие, когда можно мир настоящего превращать в мир будущего.
В криптостартапе к рутинности сбора данных добавилась боль от бардака в API криптобирж. Это просто отдельный ад, где мало документации, иногда она на китайском, сервера падают, собрать данные за неразрывный отрезок времени почти невозможно, крайние случаи в данных сломаны.
Единственная сильно полезная вещь, которую я вынес — это умение делать кросс-валидацию на временных данных, но это произошло в первую неделю на первой работе, поэтому можно понять, почему я был расстроен и демотивирован всё остальное время там.
При этом, я опасался уходить с первой работы, поскольку мой опыт в реальных задачах не рос, а уверенности в своих скиллах, полученных в процессе обучения, было не очень много.
На втором месте была очень классная команда, и поначалу мы надеялись, что в крипте-то больше информации не утилизировано рынком, можно найти тот самый сигнал (мы, к слову, делали там темпоральный арбитраж). Не тут-то было.
Там ещё случился курьёз, когда простая модель у одного из аналитиков показала >75% точности (грубо говоря, в бинарном "вырастет или упадёт цена токена"), а потом выяснилось, что данные из будущего оказались в обучающей выборке.
Так что вот теперь я занимаюсь задачами из мира людей, с видимым или слышимым сигналом, и безмерно этому рад. Как будто из депрессивного серого мира попал на карнавал смысла.
Планировал написать, как пригождаются навыки из музыкальной школы. Ну, во-первых, усидчивость. На работу в Waves (фронтендером) меня взяли в том числе потому, что я в резюме написал про скрипку. И будущий начальник сказал, что, мол, если он это выдержал, то и тут справится.
Во-вторых, есть исследования, утверждающие, что музыкальное образование способствует развитию мышления. Что ж, если так, то я не зря отмотал там 13 (тринадцать) лет. ncbi.nlm.nih.gov/pmc/articles/P…
Хотелось бы написать, что "в-третьих, после музыкалки не страшно выходить на сцену", но нет, это как раз было самым травмирующим, потом пришлось много работать над собой, чтобы научиться выступать с докладами и прочее.
Филипп Филиппак