Архив недели @venheads
Понедельник
Всю следующую неделю командовать парадом буду я
linkedin.com/in/venheads/
До недавних пор директор по моделированию и анализу данных в X5 Retail Group, с недавних пор отвечаю за user data privacy в Фейсбуке из Лондона
Все еще большой редкостью является оценка неуверенности модели даже на уровне среднего, хотя очевидно что нужно оценивать неуверенность уже на уровне наблюдения
Если вы ожидаете недельный план, вынужден вас разочаровать, на этой неделе мы познакомимся с понятием стохастического процесса
Находясь в разных компаниях на управляющих должностях, я часто задавал и задаю вопрос своим сотрудникам - что тебе нравится делать, чем бы ты хотел заниматься? Частый ответ - машинным обучением. К сожалению это все еще не добавляет ясности, чем же они хотят заниматься
Сижу и думаю, может быть стоит переехать из Лондона в Стамбул, как минимум на пару месяцев. После новости о закрытии в очередной раз качалок, я был как никогда близок к увольнению
Пробовали ли вы пробивать privacy эмбедингов/весов и вытаскивать чувствительную информацию?
С тем что не могу улететь из ЮК я уже смирился, но с тем что никто теперь не может приехать ко мне - нет
Как ни старался - но в задаче многоруких бандитов на 2к сэмплов на Кагле - томпсоновское сэмплирование уделывает Temporal Difference
how.rl.works
Кроме вопроса о том, чем человек хочет заниматься, я иногда спрашиваю как ты представляешь свой рабочий день. Этот вопрос тоже часто бьет наповал. Впрочем на первый вопрос многие люди прожив полжизни не имеют ответа, равно как и на второй
Вторник
Однажды я ревьюил книгу по reinforcement learning. Первые 8 глав были ничего, с кодом на pytorch, последние две ужасны и с кодом на keras, впрочем не берусь утверждать что это было причиной ужаса. Но не об этом сейчас.
В 9-й главе приводился пример, где RL управлял системой кондиционирования в датацентре. Функция потерь награждала за отсутствие затрат энергии на нагрев/охлаждение и штрафовала если энергию приходилось тратить. Как итог RL система была в 10 раз эффективнее чем базовая.
Подвох оказался в том, что созданное окружение не особо то и штрафовало за взрыв от перегрева и поэтому на горизонте обучения датацентр регулярно взрывался, зато был очень энергоэффективным. Оказалось что первые 8 глав писал преподаватель, последние 2 - студенты
Иногда на собеседованиях задают коварные вопросы. Один из самых коварных - сколько денег ты хочешь. Немногие готовы к такому повороту
Хочу попробовать решить задачу NER через графовые сети, кажется что здесь они подойдут как влитые
Стоит добавить что студенты судя по всему знали об этом недостатке и вставили функцию reset, при взрыве все возвращалось к начальному состоянию, кроме экономии - она безусловно продолжала учитываться
Процесс перфоманс ревью в больших технологических компаниях чем-то напоминает законы Хамурапи
Нанимать друзей на работу можно, если готов их увольнять. Поэтому лучше не нанимать
Однажды один из сотрудников показал мне классный алгоритм, который он только что придумал. Вглядевшись в код я сказал, здорово, но ведь это O(n^3) Услышав в ответ: что это значит? Я понял, нужно работать над процессом собеседований
Среда
После первой книги по reinforcement learning я ревьюил вторую, она была заметно выше уровнем, да и темы в ней разбирались гораздо более продвинутые. Единственным минусом был tensorflow 1.7, на котором был написан весь код. С другой сторон ни один датацентр не пострадал
Одним из лучших моих решений в Х5 было создание команды ad hoc, также известной как дата спецназ. Наличие такой команды позволяет учитывать динамическую природу нагрузки на другие команды и продукты, проводить пресловутый рисерч и помогать за пределами продуктовых команд.
Продуктовые команды по умолчанию отказываются делать что-то вне своего продукта, но ведь очень часто нужно что-то где-то быстро посчитать/предсказать/поправить. Кроме того именно из ad hoc вырастали новые продуктовые команды и сервисы: например платформа а/б тестирования.
Забавно, что если в начале команда состояла из двух человек и их было мало, то через два года их было под тридцать человек и их было мало. Аппетит приходит во время еды
Важно заметить что к созданию такой команды меня подтолкнули некоторые менеджеры в Х5, например Сергей Добряков, за что я ему очень благодарен
Впервые пользуюсь твиттером, он во многом напоминает Яндекс новости с функцией комментирования, теперь понятно откуда ребята черпали вдохновение
Во время одной из встреч с руководителями различных команд моего департамента, я задал вопрос: если бы я собеседовал вас также, как делаете вы, вы бы сюда попали? Некоторые из них признали, что скорее всего нет
Четверг
Решил поиграться с Баесовской оптимизацией. Пять часов спустя могу заявить что это она решила поиграться со мной
Баесовская оптимизация успешно освоена и не зря. Как говорил один российский политик, два процента на дороге не валяются
Пятница
Когда я работал в Яндекс Советнике, некоторым магазинам не нравилось что из-за Советника пользователи могут уходить в другие магазины. Думаю что после моего ухода ситуация с недовольством изменилась несильно.
Разговор, к слову, не об этом. Советник перераспределяет трафик между магазинами, пользователи могут уйти, но могут и придти. Ушли-то незаинтересованные, пришли максимально релевантные!
Чего действительно стоит опасаться магазинам, это если Советник или аналогичный ему сервис начнет вместо перераспределения трафика вести его всегда в одно и тоже место. Знаменитую черную дыру екома.
Так и не смог понять необходимости бизнес аналитика при наличии продакт менеджера. Еще большую загадку для меня представляет роль архитектора. Возможно мое мировосприятие повреждено технологическими компаниями: Яндекс, Фейсбук, Алибаба.
Может быть банки, ритейл, телеком и все прочие понимают что делают и лучше разбираются в технологиях. Или мне встречались неправильные архитекторы, наверняка правильные разбираются в технологическом стэке и не видят вершину своей работы как выбор правильного коробочного решения.
Понедельник
На этом все, я прощаюсь с вами в твитере. Буду размышлять откуда лучше поработать в апреле-мае: Бали, Испания или Португалия. Попробую выжать все из текущей ситуации. Найти меня можно здесь linkedin.com/in/venheads/
