Александр Нотченко

Александр Нотченко

Неделя
May 25, 2020 → May 31, 2020
Темы
PhD
Кулстори
Образование
Академия
Хобби

Архив недели @gang1man

Понедельник


Всем привет на этой неделе я Александр Нотченко (мой основной аккаунт @gang1man ) буду рулить этой лодкой. Если вы участвуете в DS/ML/AI движухе то возможно вы меня уже знаете. Щас я расскажу чем вообще занимаюсь по пунктам.

1/? я на 4-м году PhD программы сколтеха, делаю диссер про 3D реконструкцию и анализ сцен с помощью нейросетей, вероятностных методов и многих других методов из ML, и CS.

2/? С 2015-го года организую мероприятия в @odsai_en , тогда у меня было свое сообщество про DS/ML, называлось MIDSM (Moscow Independent Data Science Meetup), Independent потому что мне тогда казалось что все митапы были очень рекламные от корпораций.

3/? У нас был meetup.com и свой слак с сотнями людей. Когда я познакомился с Лёшей Натекиным, было достигнуто молчаливое согласие что нужно объединятся. Я закрыл все аккаунты и попросил всех перейти в ОДС. Многие другие группы/митапы/сообщества к нам присоеденились.

4/? Для ODS я организую Data Science завтраки в Москве, уже 5 лет, каждую неделю по средам (за все время пропустил наверное мероприятий 30), сейчас их проводим в зуме в тоже время как и обычно. Эти мероприятия дали мне очень много опыта о отрасли и людях которые в ней работают.

5/? Также я иногда выступаю как спикер, или MC на мероприятиях ОДС (есть видимо жажда сцены какая то). И веду изредка ODS Introspect хакатоны, которые теперь больше как часть Pet projects инициативы и личные исследования ребят из ODS.

6/? Я в DS/ML отрасли с курса 2-го Бауманки, уже ~11 лет. Свой накопившийся опыт я также предоставляю на продажу в виде консультаций с почасовой ставкой, если у вас есть проблема в этой отрасли, я могу помочь, техническими решениями и опытом людей которые были в такой ситуации.

Сейчас я вместе с нашей группой в сколтехе готовим статью на NeurIPS (дедлайн очень скоро) поэтому времени свободного не так много, но я найду его, что бы написать суда самые сочные истории и сплетни 😏.

Если хотите обсудить любые вопросы связанные с чем угодно в отрасли или снаружи ее, напишите мне под этим сообщением, я отвечу.

Still consult this much more often than I like to admit en.wikipedia.org/wiki/Sensitivi… https://t.co/svCWTX3twu
Всем кто делает модели для предсказания чего либо, рекомендую распечатать и рядом с монитором повесить. Нельзя забывать базовые вещи, иначе ничего сложнее не построить. twitter.com/MaartenvSmeden…

@datasci02623223 Лекала есть конечно, в виде комбинаций открытых продуктов. Они не во всех свойствах могу сравниться с продуктом гиганта Амазона, но для своих целей годятся, стоит посмотреть что делает zyfra, и ODS проект ebonite.
Забыл ссылку добавить github.com/zyfra/ebonite . Разробатывают отличные люди в том числе Миша Свешников, очень талантливый инженер. twitter.com/dsunderhood/st…

Uploaded a 30 minutes introduction video to Pytorch-lightning framework @PyTorchLightnin (it is in Russian). In my opinion the best framework for #PyTorch. It's brought back me the joy of coding when I was sick from using other peoples bad train loops 😤 youtu.be/17sN5ySlDx8
Если вам интересно как в современном Deep Learning ресерче на PyTorch'е люди организуют код, могу предложить обзорный семинар моего авторства о фреймворке Pytorch Lightning. На русском других видео про этот инструмент нет. twitter.com/Gang1man/statu…

Завтра постараюсь рассказать про тяжкую жизу аспиранта, как не повторять мои ошибки, и не свихнуться. Потому что делать PhD серьезный Work Hazzard для двинуться башкой.

Вторник


Derp Learning
notion image

PyData from home PyDoma. Сейчас идет стрим. рекомендую к просмотру. youtube.com/watch?v=xMl2mc…

Моя рекомендация про аспирантуру (в ML/AI) - идите туда когда ничего другого делать не можете, или не хотите, это путь который рационален только для идеалистов или тех кто готов потратить очень много времени на издержки связанные с академией. Взвесьте все плюсы и минусы.

Если вы закончили магистратуру и хотите продолжить двигаться по "академическим рельсам" то вам не стоит идти в аспирантуру. Если вы хотите зарабатывать деньги на уровне свободного рынка - забудьте об этом. Важно иметь запасы самодисциплины, их вы будете сжигать годами.

Часто в академии люди не чувствуют важности того что они делают, потому что многие области очень абстрактны и не транслируются в прикладной результат сразу - это основной фактор приводящий к выгоранию и расстройствам психики. Очень редкие моменты градификации, и океан работы.

Аспирантура больше похожа на монашество, чем на работу или учебу, на учебе есть план и learning outcomes, это процесс с малой неопределенностью. Работа - задачи более приземлённые, горизонты планирования короткие, и можно бросить в любой момент, свобода и определенность.

Ищите научные группы где кроме celebrity лидера группы есть support staff, это ассистент руководителя, постдоки, инжененеры, и фактические менторы которые будут с вами работать. Культура в группе тоже очень важна, всегда спрашивайте перед поступлением тех кто там уже работает.

Очень важно не ненавидеть писать тексты, потому что академия это место которое генерирует множество текста как свой основной выход. Вам придется найти своего внутреннего Стивена Кинга что бы приуспеть. Писать статьи, переписывать статьи, заметки, отчеты, диссертации, слайды и.т.п

Четверг


Вух, таймер вышел, дедлайн прошел, можно выдохнуть. статьи куда то отправлены, дела закончены, хотя бы на сегодня. Невероятное чувство облегяения.

Пятница


Самое ценное в анализе данных это так называемое "модельное мышление", был такой MOOC "Model Thinking", в России это часто называют просто "Математическое моделирование". Но разница в том что моделировать можно не только подбирая закономерности, но и выучивая их.

Понять какие свойства измеримые нужно выделить и распутать их, что бы облегчить обучение. Это касается любых измеримых вещей. Самые большие проблемы возникают когда люди плохо учитывают поведение людей.

Я последние год начал интересоваться электронным музлом, стало сразу интересно что есть на пересечении музыки и ML, огромный поджанр генеративной/алгоритмической музыки попал в мое внимание. Потом различные попытки использовать NLP модели на MIDI последовательностях.

Логика такая что музыка это своеобразный язык. Со своей грамматикой , которую в неявном виде можно выучить, примеры этого Jukebox, MuseNet, проекты у Magenta. Очень любопытные вещи.

Я с математической теорией музыки познакомился в 2012м когда писал курсовую про групповые свойства аккордов как структуры на множестве полигидральной группы мощностью 12. ( Z/12Z )

Сейчас изучаю цифро-аналоговый семплер Korg Volca sample, и прохожу курс по livecoding системе #Tidalcycles. Когда освободится время смогу больше времени на ml music проекты. Хотел воспроизвести статью норвежцев которые RL агентом управляли аудио-сервером. Очень любопытно.

Суббота


Одна из областей AI research-а которая по моему не получает заслуженного внимания это #AKBC Расшифровывается как Automatic Knowledge Base Construction - автоматическое построение баз знаний (онтологий). Сильно пересекается с задачами neuro-simbolic обучения и geometric DL.

Был на конфе на эту тему в прошлом году, в целом очень интересно, полезные для моего ресерча было не так много как хотелось бы, на воркшопе про мультимодальные онтологии. И ничего про visual ontologies. В этом году надеюсь будет побольше на эти темы. akbc.ws/2020/

Вс Кэти новости про GPT-3 подчёркивают какой кризис воспроизводимости с суперкомпьютера, напоминает ситуацию в физике с БАК или каким нибудь уникальным телескопом. Интересно как их там решают. И решают ли. Нужно больше OSS HPC проектов что бы вернуть возможности малым игрокам.

Воскресенье


Если хотите узнать историю советских попыток создать интернет и использовать предсказательные модели для помощи индустриям. Вам обязательно нужно посмотреть первый эпизод документальной серии Адама Кертиса "Pandora's Box". youtube.com/watch?v=h3gwyH… Вас многие формулировки удивят.

Вообще много из советской истории очень любопытно пересекается с современными технократическими веяньями. Вот хорошая статья описывающая это newyorker.com/magazine/2014/…

Еще одна интересная тема - это паралельное развитие продтечей к AI в США и СССР, идеи "оптимального контроля" развивались паралельно с некоторыми различиями но во многом похожи. Так очень важное для Reinforcement Learning уравнение Беллмана оттуда исходит. math.uni-bielefeld.de/documenta/vol-…

Вот интересная книга про попытки создать советский интернет, интернет Академика Глушкого. mitpress.mit.edu/books/how-not-…

Есть еще статья ответ на статью @evgenymorozov thenation.com/article/archiv… , но там больше политические аргументы а не про свойства технологий и их роль в различных идеологиях.

1/3 Другая сторона Модельного Мышления - Алгоритмическое Мышление. Многие не понимают что компьютеры/калькуляторы - это лишь самый очевидный пример того что такое вычисление. Фундаментально все физические процессы с определенными свойствами - являются вычислениями.

Что бы понять эти идеи подрбнее, рекомендую почитать эту любопытную книгу "Computing Without Computers: A Gentle Introduction to Computer Programming, Data Structures and Algorithms" …nglondoncomputing.files.wordpress.com/2014/02/bookle…

Человеческие организации - это компьютеры которые используют поведение людей как свои вычисления, понятия программирования, памяти, скорости вычислений - принимают новые оттенки. Налоговая система например - это алгоритм. Современные мега корпорации - это уже суперинтеллект.

В MIT был очень крутой курс про антропологию вычислений. Очень тяжело вообразить как история развивалась и что делали люди что бы создавать разные вычислительные устройства, кулиминирующие в современных компьютерах. ocw.mit.edu/courses/anthro…

Возможно самое старое machine learning demo. С неким Клодом Шеноном )) youtube.com/watch?v=_9_AEV… И любопытная статья где предаставляют контекст и перспективу. technologyreview.com/2018/12/19/138…

Я прощаюсь с вами дорогие читатели, была любопытная неделька. Меня можно найти тут: @Gang1man , подключайтесь к ODS.ai . Пишите если есть работа для опытного консультанта в DS/ML/AI . Помогайте c OSS на GitHub.com/gangiman , вместе победим. Удачи.

Ссылки