Архив недели @mike0sv
Понедельник
Всем привет в этом чяте, это Миша Свешников @mike0sv. Я повелитель ДС твитора. Где ДС твитор - там это лицо. Я ДС твитором командую
Конечно сразу же торгану лицом. Сколько я в итэ посчитать сложно, мл и ко начал заниматься году в 14. А сейчас на бейджиках для конференций я подписываюсь как ML архитектор (кто-нибудь объясните что это значит). Еще преподаю на ФКН в Вышке и пилю курсики в скилфактори
Каких-то особых мудростей я вываливать не собираюсь, только если по ходу что-то возникнет, спрашивайте ваши ответы, как грицца. Так что объявляю неделю кулсторей
У меня припасено кулсторей о: хакатонах, чучут о соревнованиях, мемасных пет-проектах, ботах в телеге и мое любимое - использования навыков кулхацкера в жизенных ситуациях
Я так написал будто это все разные темы, но многие кулстори на самом деле относятся сразу к нескольким
О еще забыл про спортивный сталкеринг (возможно этот термин я сам только что придумал, ну и что)
На сегодня у меня план рассказать о своем пути (хотя кому это интересно вообще) и заспойлерить некоторые кулстори. А потом по ходу недели разгребать все то что наобещал рассказать))))))))
И да, в конце вводной скажу что везде я @mike0sv если вы чувствуете непреодолимое желание со мной связаться. Подписоваетесь тут в твиторе, в инсте, фейсбуке, вконтакте, одноклассниках, мейл ру агенте, аське и где только найдете
PS. оказывается отсылку из приветствия уже использовал @iggisv9t в свою неделю, но что тут поделаешь
Тэкс ну што, начинаем второй заход. Напишу откуда я такой в 20к20 году. В конце будет бонус в виде биографии на мотив кровостока, ткскзть
еще где-то в начальной школе мне купили книжку про бейсик и я даже что-то там калякал. классе в 5 замутил свой сайт на народе, с другом писали простенькие игрушки на флеше. в 7 поступил в матшколу с углубленным программированием на си, и вот тут уже ПАНЕСЛАСЬ
впрочем неслась недолго, потому что в 11 классе уже чисто дрючили к егэ. поступил я на матфак вышки, там проги почти не было. но на последних курсах можно было посещать лекции ШАДа, там то мне школьные знания и пригодились
в магу пошел на ФКН совместно с ШАДом, там и познакомился с волшебным миром ДИП БИГ ДЕЙТА САЙНС. параллельно работал в системном интеграторе, ковырял там что-то на джаве. с ФКН свалил через год, а вот ШАД закончил (кстати моя ава снята на выпускном)
После выпуска перешел в небезызвестный финтех (дс мл крейзи миднайт дисплей) стартап Rubbles. там потихоньку перетек в ковыряние бигдаты и вообще поближе к этому самому дс. делал тулзу для мл пайплайнов поверх спарка, даже удалось на полшишечки в него комитнуть, (кулстори буит)
Но самое главное в моей карьере произошло еще до этого, когда мой товарищ @libfun_sk притащил меня на DataFest2 (2016), где я с ноги затусил с кучей интереснейших людей, со многими из которых общаюсь до сих пор. ну и большинство кулсторей связано с кем-то из одс
например, история про двач-бота зародилась в том же 2016 на одной из первых датасаун на даче у :dictator: (кулстори буит офк). или кековый проект с поиском порно по лицам, с которым мы (почти) выиграли один из хакатонов (про все хакатоны тоже расскажу)
Короче, я плотно влился в ОДС движуху, помогал организовывать эвенты, исправно посещал афтерпати. узнал еще больше клевых людей, делал доклады. Последние 2 или 3 феста делал секции по бигдате и сигбовик (что это - тоже тема для отдельной ветки)
Ну и про пет-проекты не забывал, хотя часто под этим понимается стартап на 1 человека без финансирования. В моем случае это непонятный трешугар, который мне тупо весело и интересно пилить. Уже упомянутый двач-бот можно к ним отнести
Еще был забавный казус с телеграмом, когда я слишком толерантно поздравил всех с новым 2018 годом (это ясное дело тизер очередной кулстори). Возможно некоторые мои знакомые наконец узнают, что же произошло в ту роковую ночь (простите это мой продюсер посоветовал нагнать саспенса)
Ну и последний петпроект, телеграм бот с мемасами. Недавно его оживил заново, мемы можно начинать смотреть уже сейчас t.me/memezoidbot
А как так вышло - читайте в следующих сериях
Ну, и заканчивая с карьерой, в 18м ушел в компанию Цифра и работал там последний 2,5 года, преимущественно над фреймворком для деплоя моделей машинного обучения под названием Ebonite (ну потому что эбонит используется для опытов на уроках физики, а не то что вы подумали)
С недавних пор ушел в (почти) свободное плавание, но очень надеюсь что эбонит на этом не закончится ;)
Вроде все. Те кто все это время ждал кровосток - велком в тред (текст писался для закрытой конфы, но мне уже лень конец переделывать)
Я родился в Москве в 92-м в центре города
Программирование рано ударило в голову
В 5 классе хостил сайт на народ.ру
Девочки впервые лазили по моему сайту.
Потом лицей, уроки программирования в профильном классе,
Так я узнал что в c++ есть классы.
Погружался дальше в разработку,
В 9м писал компилятор, в 11м сдал егэ на сотку.
Забил на МГУ, стал поступать с друзьями в вышку
Олимпиады, экзамены, приняли на матфак Мишку.
Забросил программирование, учил матан
Думал стану квантом, это был самообман
Пошел на курс в ШАД чтобы добрать на зачет
Выучил алгоритмы, от пацанов почет, время течет
Написал диплом про разделенных разностей операторы
Устроился джавистом в телеком интеграторе
Оказался в маге, взял направление в ШАД
Подвис на МЛ капитально, спасибо Воронцову за этот ад
Стали снимать хату с друзьями на Рижской
Вступил в ОДС, так вышло
Пошел в стартап, из интегратора спрыгнул с рейзом
Как закончил ШАД оттуда первым же рейсом.
Москва, сижу в коворкинге
Новая ксива, новая работа, новые задачи
Решаю вопросы на спарке апаче
Пишу код, деплою в банке, открылся jaws на лубянке
Родился петпроджект, выступал на датафесте
одс растет не стоит на месте
позвали в цифру, прием на ленинском, хантят конкретно
Не успел опомнится, стали обсуждать бабки
Вспомнили прошлый опыт, достали старые папки
Поняли, пассажир опасный
Наняли в ai отдел
посадили в офис на 22, макбук вручили
Требуют проекты пилить, всех наших подрядили
Ушел в эбонит, и как-то раз
Предлагают на техтоке сделать рассказ
Просят тему, снимают пиджаки
"Не передумал?", слышу, "Не, говорю, мужики"
Я вспомнил вечер у реки, шашлык, как учил го язык
Дженериков не хватило, эх, мы умели кодить красиво
Запрос темы направили в мою сторону
Как глаза менеджера, когда проект сдавали
Помню в отпуск ездил в ЛА, было здорово
Закаты, шорты, пальмы
Вижу дедлайн приближается
Вспомнил лекции, воркшопы, темы сменяются
Решил рассказать про питон, пиджачки прихватили
Трут уже о своем, обо мне забыли
Слайды наполнил, вот и всё, приплыли
Вторник
ну и бит потише по просьбе друга voca.ro/12oOW5z0oSxj
для утреннего настроения twitter.com/ddaletski/stat…
Продолжаем разговор. Сегодня - уже классическая история про двач-бота, а потом немного про опенсорс. Заюзаю-ка я треды в этот раз
Про двач-бота будет проистекать отсюда
Двач-бот живет уже несколько лет в канале #bots в ОДС и t.me/DvachRaveBot в телеге. Это разговорный (ахахахах) бот, работающий на принципе марковских цепей. Для уважаемых специалистов, которые пропустили эту пара тервера, ниже один твит с сутью явления
Берете большой корпус текстов и считаете, сколько раз после пары слов "а б" встречаются другие слова. Потом, взяв два слова, можно сгенерить третье, взяв случайное из тех, которые встречались в исходном корпусе, взвесив их соответственно частоте. Вуаля
В моем случае еще есть свистелки-перделки с дополнительными статистиками по началам и концам предложений и еще какие-то хаки, но суть такая. Цепи маркова это конечно более общий инструмент, там состояния, матрица переходов и вот это все, но тут вам не википедия
К кулсторе. Поехали мы как-то к :dictator: на дачу (оттуда кстати шла трансляция датафеста'20) с посылом запилить что-то крутое. С собой у нас была выгрузка сообщений из слака ОДС (тогда это были считанные десятки тысяч). В перерывах между возлияниями я стал в них копаться
Сперва просто считали у кого сколько банов и других реакшенов. Потом я вспомнил, что одной из домашек в ШАДе было написание генерилки бреда на марковских цепях, и я решил вай нот, попробую на сообщениях из одс. Первый же прототип парализовал пьянку тк все семплили фразы и угарали
я даже прикрутил генерилку к слаку и добавил бота в админский чат. А потом меня свели с @kiselev1189 и мы втроем с @libfun_sk решили запилить то же самое на корпусе с двача. Мотивация была такая, что раз генерится бред, надо источник брать такой же, чтобы различия были минимальны
Мы выкачали несколько недель из /b, ребята стали пилить нейроонки, а я систему, которая постила на двач ответы, сгенеренные моделями. И мы устроили соревнования, кто соберет больше реакций. рассказ про это есть тут youtube.com/watch?v=1LcdA0… (ахаха зачем я писал все это)
уже потом был создан канал #bots (хотя бот там один кек) и этот канал сжег немало человекочасов. пару месяцев особо усердные товарищи семплили его каждый день по несколько часов и ставили реакшены особо мощным изречениям. это навело меня на мысль, как его можно проапгрейдить
я сделал ган из говна и палок, а если точнее - из цепей маркова, бустинга и реакшенов. я выкачал генерации с реакшенами из канала, считая их позитивным сигналом, подмешал в датку реальные предложения как позитивный класс и другие генерации как отрицательный, и обучил хгбуст
процесс генерации теперь выглядел так - цепями генерится 50 вариантов, они скорятся хгбустом и выдается самый топовый. конец этой истории банальный - мне надоело с этим копаться и я забил)))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))
но двач бот на этом не умер. в разное время я его впихивал в приложение с говорилкой, как скилл алисы, к боту в стиме (там он был обучен на дотерских чатах, кек). Пик карьеры - двачботом генерились отрицательные примеры для одного из крупных НЛП соревнований
и это все я тоже писал зря, потому что вот тут есть сиквел видео youtube.com/watch?v=h_dt3e…
Среда
Сори, обещал вчера накинуть про опенсорс, но чет меня вырубило))))))) так вот, хочу поделиться, в чем понт комитить куда-то, хоть за это и не платят деняк, казалось бы. Ну, по крайней мере для меня
Конечно, главное - это что потом можно писать в твиттер, что ты - контрибьютер спарка, например, хотя твоего кода там строчек 20
И это даже не совсем кек - увидеть свое имя в релиз ноутс какого-то большого и популярного проекта вполне себе доставляет приятные ощущения. Но это конечно же не все. Еще это очень полезно для прокачки - ваш PR будут любезно тыкать носом во все косяки, пока не сделаете нормально
Ласково просить написать тесты и поправить доки - короче все то, на что многие забивают, хотя это не менее важная составляющая хорошего кода, помимо того что он вообще работает))))
Ну и разбираясь в устройстве чужого проекта, всегда можно наткнуться на новые для себя идеи, фреймворки или просто какие-то фишки языка. Для этого даже не обязательно комитить)))))) Я например довольно много знаний подчерпнул, изучая различные питоновские либы
Когда я работал над Эбонитом, еще до того как мы реально его выложили в опенсорс, у меня была установка - делать его так, будто мы собираемся его выкладывать. Мысль о воображаемых "пацанах", которые "засмеют" помогала меньше костылить
Правда все равно перед выкладыванием пришлось пару месяцев шлифовать, дописывать тесты и доки, но все же. На этой ноте можно соскочить на тему пользы опенсорса для компаний, а не только для специалистов
ОС дает очень много очков репутации. Это очевидно в случае гигантов типа Гугла, которые могут вливать огромные бюджеты на это. Но и для небольших компаний это может быть полезно - для пиара, для хантинга специалистов, ну и для потенциальных инвесторов
На самом примитивном уровне - смотрите инвесторы, у нас все так хорошо, что мы можем себе позволить выкладывать наш код в открытый доступ бесплатно. А если им вдруг еще и кто-то пользуется, и комьюнити есть вокруг, так это вообще сказка
Ну и наконец сейчас появляется все больше компаний и стартапов, которые строят свой бизнес вокруг ОС продуктов. Это я так беспалева подвел к интерьвю с @FullStackML про @DVCorg и про построение такого бизнеса, наслаждайтесь)))))) youtube.com/watch?v=dJ_Zpz…
Напоследок, в треде небольшая кулстори про коммит в спарк
Я тогда работал в Rubbles и занимался тем, что писал поверх спарка интструмент для наших аналитиков, чтобы они могли без боли (отностительно) переносить результаты своих исследований семплов в пандасе на спарк для обработки полных данных
Писал я на джаве и немного на скале. В какой-то момент мне понадобилось положить в датасет объекты моего самписного джава класса. Запускаю код и вижу NPE. Ковыряние показало, что спарк пытается сериализовать джавовый КЛАССЛОАДЕР (это супер внутриенние кишки джавы)
Происходило это потому, что в моем классе было поле типа Enum, которое является особенным классом в джаве и не определяет некоторые методы, которые использует спарк для определения набора сериализуемых полей, как-то так
Ну я скромно пишу об этом в таск трекер, вот ошибка, происходит поэтому, можно решить так, типа мам поправь. А они мне да, все так, ждем PR))))))) Ну и я такой вызомв примнят)))) Кстати вот нашел даже линк на ишью issues.apache.org/jira/browse/SP…
ну в итоге я ошибку поправил, написал тесты. По ходу узнал много о том, как вообще работает спарк и кодогенерация джобов, а мой PR в итоге приняли. Правда довольно быстро кто-то там все переделал так что моего там осталось процентов 30%)))))))))))
Но это конечно же не помешало мне еще полгода на пьянках донимать @SviridovSergey рассказами о том, как я комитил в спарк и какой я теперь классный))))))))))))))))))))))))))))
За вчера вроде отстрелялся, план на сегодня - боты, мемасы, ганы и космос. И это одна тема, стей тюнед
Итак, сижу я как-то в коворкинге напротив моей подруги, которая была ответственна за своевременную подачу данк мемасов в наши организмы. И она говорит "а кто будет присылать вам мемы когда я умру". Здравый вопрос. Все можно решить технологиями, так что челенж был аксептед. В тред
Чтобы присылать мемы, сначала нужно найти что присылать. Забегая вперед, эта задача единственная, которую удалось победить) Короче я решил парсить каналы с мемасами в телеге. В тот момент я как раз овладел джангой, так что быстренько некекал моделей для базы и кравлер на телетоне
Там были свои затупы, но в итоге все заработало. К этому всему я прикрутил бота, который выдавал рандомный пост, на который можно прореагировать. Дальше у меня были наполеоновские планы. По сути юзеры бота размечали разные мемесы, а дельше со всей этой даткой можно делать движ
Ну рекомендации это ясное дело. Но я хотел сделать платформу, на которой люди бы могли пилить свои дикие проекты на мемасах. Например, возможность подключать свои рекомендательные модели, чтобы устраивать между ними АБ(ЦДЕФ) тестирование на реальных пользователях
Ну и сами картинки с подписями. Можно искать одинаковые и следить, как мем распространялся по каналам. Тут еще и графы появляются, тк есть инфа о репостах. Можно искать просто похожие, чтобы выделять мемасные шаблоны. В шаблонах часто меняется только текст, его можно распознавать
... а потом генерить мемесы из шаблона + текстовой модели. Короче идей была куча, но главная - не пилить это самому, а дать возможность пилить другим. Но все это уперлось в проблему (помимо мотивации). Пока я писал бейзлайн рекомендаций (не пресональных, без МЛ), кравлер успел...
... собрать 40кк постов из 40к каналов. Потому что он был настроен качать вообще все посты, а мемасные каналы я потом размечал вручную. В итоге постргря на которой это вертелось крякнула и послала меня в жопу (это выражалось во времени респонсов в районе 10 минут). ну я и приуныл
Тогда было лень и некогда разбираться, и бот умер. Хотя я в какой-то момент даже купил рекламу где-то рублей на 500. Но недавно случилось второе пришествие - я откопал код, подкрутил, перезапустил и сейчас у меня уже есть 1.5кк мемесов (на этот раз я качаю только их)
Правда дальше развивать эту движуху все еще нет времени, но хотя бы можно копить разметку. Живет оно тут t.me/memezoidbot а при чем тут космос и мемесы - в следующем треде
тупанул, космос и ганы, а не мемесы
Продолжение про мемы, ганы и космос. И начну с космоса. Осенью 18 года @silyutinaolga позвала меня на хакатон от NASA в команду к @_fyzbt и @mishaulitskiy. Конкретной задачи там не было, но были датасеты, один из них был с фотками с телескопа хаббл. Дальше в потоке
У меня в детстве была картинка с фотками космоса, которую я перечитывал и пересматривал много раз, так что датасет попал куда надо. Вот кстати гляньте на него, фотки просто космос (кхекхе) spacetelescope.org/images/archive…
Этот датасет сразу навел нас на идею о том, что можно попытаться генерить такие фотки, тем более ганы были в моде. Поверх этого мы придумали некую идею про образование, но это не так важно. Главное что я ковырялся 2 суток с ганами и в итоге даже что-то получилось. Например вот
Мне эта идея настолько запала, что даже после хакатона я на своем домашнем железе гонял разные архитектуры и думал как улучшить алгоритм. Вроде даже в какой-то степени получилось, вот последняя картинка которую я сейчас смог нарыть. Не везде похоже на космос, но все равно KPOCUBO
Вот еще примерчик
При чем тут мемы? При том, что после этого я начал делать мемесбота, и когда накравлились мемы, я чисто по приколу запустил эти ганы на них. Я взял канал surreal memes потому что там, как и в случае с двачем, происходит необьяснимая муть, так что выход сетки будет выглять окнорм
Конечно вышла полная хрень, самое близкое к мемам было вот такое. В целом даже за surreal meme сойдет, только очень surreal
Но, на ранних эпохах выдавались просто офигенные картинки, чисто визуально. Подумываю когда-нибудь еще таких нагенерить, сказать что это кибер арт и продать за много миллиардов, стей тюнед
Еще
Да, кстати это как раз красуется на обложке аккаунта)
Напоследок, визитка бота, которую я реально распечатал в количестве 200шт и раздавал на конфе
Четверг
Есть у нас с другом забава - сталкер офф. Смысл - найти человека в сети, имея минимум инфы - например имя, вуз и курс (обычно еще внешность). Это спорт в том смысле, что цель - проверить свои силы, а не что-то иное. Но была пара случаем с другими интересами, ща затру
Увидел я на видео с одного эвента девочку, которая показалась мне очень знакомой, но я не мог вспомнить, откуда. Решил ее найти, тем более что эвент был в моем "круге общения". Ну и дело было в дофандфейсовые времена (файндфейс и последователи фактически наш вид спорта убили)
Я написал скрипт, который парсил и фильтровал людей из группы вк, посвященной этому эвенту, и него поверх мини ЮИ, где я мог смотреть их аватарки и помечать как "точно нет" или "возможно". Потом я просмотривал результат и попавшие в "возможно" профили, сравнивая с исходным видео
Надо ли говорить, что на кодинг и дебаг я потратил гораздо больше времени, чем следовало, и не потому, что очень хотел ее найти, а просто потому что это офигенно, киберпунк еее))))) А девочку я с помощью этой шарманки так и не нашел
Через год-два, когда файдфейс таки появился, я вспомнил про нее, залил скрин из видео и он сразу ее нашел. Оказалось конечно, что я ее не знаю, даже общих друзей нет)))))
Следующая кулсторя немного похожа. Я лазил по сайту своей школы и нашел там фотки выпускников какого-то лохматого года. И узнал на ней девочку, с которой я дружил - если можно это так назвать, при том что я был классе в 1-2, а она выпускалась. Решил ее найти
Так как это было давно, я только приблизительно помнил, как ее зовут. А фотка хоть и с подписью, но была настолько зашакалена что даже в файндклон ее сувать не получалось, не то что разобрать 5 пикселей с именем. Но зато была другая инфа - школа и год выпуска, можно работать
Я нашел несколько ребят того года выпуска (ну и +-1 на всякий) и написал скрипт. Он выкачивал список друзей, сверял его между ними и ранжировал по количеству раз, которе профиль там встречался. Я просматривал топ профили и либо добавлял их в "опорные", либо помечал как неверные
За несколько таких итераций это чудо мысли выдало похожий на правду профиль, но там не было нормальных фоток, да и в целом через 15 (или больше) лет я спокойно мог не узнать. Но у меня была знакомая, которая знала некоторых людей из того класса, и через них я все провалидировал
Нашел я действительно нужный профиль, даже имя запомнилось правильно, это было необычное сокращение, поэтому вызвало трудности. В конце концов я ей написал, но она видимо уже не заходит вк. Я в целом свой интерес тоже удовлетворил, поэтому дальше не рыпался. Такой вот кулсторибоб
Еще чутка про хакатоны. В прошлом году ездили на junction в хельсинки с @silyutinaolga и @_fyzbt и еще одним товарищем. Это такой огромный международных хакатон (в районе 1,5к участников вроде). На выбор дается куча разных тем от разных партнеров, первая сложность - выбрать тему
Мы ехали с некоторыми идеями что можно сделать (темы известны заранее), но в итоге весь первый день протупили в муках выбора. А спасение пришло от моего знакомого из другой команды - они мучались тем же, и в итоге мы занялись темой, которую они забраковали
Партнером был сам университет, на базе которого проводился хакатон. А тема была примерно следующая "вот у нас тут фид датки с вайфай роутеров, сделайте чонить с этим, кек"
Тут надо пояснить что за фид. На хакатоне была развернута вайфай сеть, ней естественно было много станций. Они умели отдавать фид эвентов подключения устройств, а так же приблизительное расстояние до них. Щепоточка триангуляции, и вот у вас уже координаты устройств в этой сети
Первым делом мы тупо в питоне нарисовали точки поверх карты кампуса (кстати у него довольно интересная архитектура). Перепилили это на js и вот мы уже в риалтайме смотрим, как они ездят туда сюда (это люди с телефонами в карманах ходят). Но конечно основной фишкой было не это
А то, что мы добавили возможность по клику покрасить точку в другой цвет. А дальше каждый тик она с некоторой вероятностью красила соседей в небольшой окрестности. Короче, мы моделировали зомби апокалипсис. По крайней мере так мы думали в 2019, оказалось конечно ковид-апокалипсис
Кроме тем у партнеров были челенджи, и одним из них было заюзать облачные сервисы этого партнера. Я глянул чо у них там есть и увидел инфлюкс с графаной. А почему бы и да, подумал я и запилил графики с количеством заражений, рейтом и так далее
В итоге можно было не только залипать в пиксели, но и делать вид что мы мутим какую-то серьезную симуляцию (ну вот же графики). Мне кажется нам именно за такое позиционирование в итоге дали дополнительный приз в размере 500 евросов (и футболочек лол). Я расцениваю это как победу
как-то так это все выглядело
И конечно наш дримтим (донор идеи инклюдед) instagram.com/p/B4-PemRIyWb/
Пятница
Ну пришло время кулстори про ботов и новый год. Это самый огонь который я приберег для пятницы, так что собираемся вокруг костра и слушаем, детки
Ещё до того, как в телеге появились боты, я запилил пару ботов на основе реальных аккаунтов. Один из них писал из-под моего акка, я его юзал чтобы по крону напомнить друзьям что пора бы со мной побухать. Ещё он одной девочке каждый день слал предложение поделиться нюдесами)))))))
Но эта шняга работала нестабильно, тк ТГ апи быстро менялось. В какой-то момент мне надоело поддерживать и я забил, бот продолжал периодически падать. Примерно через полгода наступал новый год, и я с друзьями поехал в евротрип. Ночь 31-1 мы проводили на пароме хельсинки-стокгольм
Я подумал, что не смогу всех поздравить, ТК там не будет инета, и можно запрогать бота, чтобы он поздравил всех за меня. В поезде, с мобильного инета поставил крон на 12 часов 31 декабря, чтобы разослать через моего бота поздравление всем моим контактам
В час Я у меня все хорошо, я бухаю на пароме. Но к сожалению инет там кое-какой был, и я смог зайти в телегу с веба. И в 12 я увидел, что ничего не отправилось(((( видимо бот в очередной раз лег. Где-то через 40 минут меня поздравил @lubfun_sk, и я подумал, что его можно заюзать
Скинул ему креденшалы от сервака с ботом, говорю глянь чё там не так, поправь. В итоге он поправил, я смотрю и вижу как улетает 200 поздравлений с новым годом по всем моим контактам, кибурпунк, радуюсь я. Кто-то мне отвечает, я проваливаюсь в диалог, пишу ответ, отправляю, и тут
Происходит что-то странное, вместо того что я написал улетает текст вида "кстати, давно хотел признаться и выйти из шкафа, если вы понимаете о чем я". Думаю странно тут телега работает. Возвращаюсь в список контактов, и оказывается этот текст улетел всем))))))
Оказалось это Сережа решил кекнуть и разослать такое сообщение по тому же списку рассылки (если вы не поняли его смысл, сходите в гугол). У меня кончено пригорело, я нагнал на Серёжу бочку и попросил следом разослать "простите, это друг телефон отобрал", что почти правда
Но его сообщение уже разлетелось по всем моим контактам, включая семью, коллег, клиентов по работе и случайных людей. Некоторые уже поздравляли меня за смелость, некоторые успели как-то накатать целую простыню в мою поддержку. Кто-то просто сказал "я так и знал"))))))
В целом сейчас я вспоминаю это только как веселую историю, Серёже благодарен за такой приколдес наивысшего уровня. Но перед парой случайных людей до сих пор немного стыдно. Иногда открываю переписку древнюю и там это последнее сообщение) такие дела
Суббота
Рассказ про бота-расиста и несбывшийся стартап fap.ai. они на самом деле тесно связаны и зародились на хакатоне, на который мы поехали с @libfun_sk. Там вместе с ребятами @lovevso и Артёмом запилили сразу два проекта, разные по смыслу, но схожие в технологии
Технология - это мы тупо взяли либу, которая умеет детектить лица на фотках и выдавать эмбединги. Первый проект, на который мы делали ставку назывался perfect wife. Я спарсил небольшой сайт с базой данных порноактрис. Мы проиндексировали их лица в эмбединги и искали по нему
То есть можно было скинуть боту фотку с лицом, он детектит его, считает эмбединг и ищет ближайшую по косинусному расстоянию порноактрису. Типа скидываешь своего краша и потом знаешь, кого гуглить вечером. Второй проект тоже был ботом, которому надо скидывать лицо, но там хитрее
Мы взяли выгрузку знаменитых людей из Википедии с фотками. Из текста статей находили этническую принадлежность, из лиц - эмбединги и научили классификатор второго по первому. Дальше вы понимаете, фотки юзеров классифицируется и выдаётся вероятность принадлежности к расе
Тема слегка скользкая, это понятно, поэтому во первых сразу дисклеймер - это на самом деле не работает от слова совсем - что там за эмбединги, что там выучила модель поверх - темный лес. Ну и изначально мы это позиционировали как прикол
Короче что-то пошло не так - наш главный проект про порно ничего не выиграл. Второй тоже, но через пару дней мы заметили что трафик запросов вырос с пары человек (это мы сами) до пары сотен в день. Короче, к концу недели мы получили больше 1кк фоток))))
Естественно наш хакатонный говнокод вообще не был на это рассчитан и я помню, как мы в огне переписывали все на вебхуки, очереди и селери. К этому моменту про бота написали уже несколько интернет порталов, тут в твиттере народ активно почтил скрины, короче это мощно завирусилось
При этом заголовки были в стиле "в телеграмме появился бот-расист", что вообще не то, на что я рассчитывал)))))))) У нас вроде даже хотели взять интервью, но как-то не срослось. Ну и как это бывает, через пару недель хайп ушел и все забыли. Про второй хакатон расскажу чуть позже
Воскресенье
Продолжение про бота-расиста и поиск по порно. Примерно через пару месяцев после первого хака случился второй, от Gagarin Capital. На нем мы решили развить обе идеи. С ботом расистом сделали более устойчивый к изменению ракурса алгоритм. Звездный час бота-расиста был позади
Зато поиск порноактрис мы прокачали. Во-первых, за неделю до хака я написал кравлер, который выкачал метаданные с xhamster. По ним отобрал выборку роликов и напарсил из них кадров (что-то типа 1 кадр каждые 15 секунд). На самом хаке мы переделали поиск на эти кадры
В итоге юзеру выдавались ссылки на конкретные ролики, а не просто актрисы (актрис мало и они по-разному в разных роликах выглядят). Правда качество самого поиска было неоч, либо выборка маленькая, либо эмбединги плохие, а скорее всего и то и то. Но это мы пофиксить не успели
Еще нам запилили лендинг, проект назвали fap.ai)) Ну и вишенкой был алгоритм трансфера лица в видео. Делалось это даже без сеток, так что результаты были угарно ужасными. Но такую технологию мы решили не вешать в паблик (хотя через год-полтора появился deepfake)
Главный приз в хакатоне был поездкой в долину с возможностью занетворкаться с инвесторами и впоследствии запустить стартап. Его выграла другая команда, но решением жюри нам досталась "дополнительная" награда. Она заключалась в возможности поехать в долину и нетворкаться))))))))))
Пообщавшись с организаторами хакатона, мы с ребятами решили что это наш шанс, и надо делать какой-то серьезный проект и уже его везти в долину. Побрейнштормили, что-то потыкали, но в итоге слились. Короче на угаре мы запилили нечто, а на серьезных щщах не вывезли. Морали нет
Штомш, время прощаться. Напоследок расскажу вам о таком модном молодежном движении, как сигбовик. Вообще это что-то типа первоапрельской научной конференции. Там кеки вроде статьи из 3 слов с ревью на 10 страниц, или статья про новую архитектуру нейронок с названием из 40 слов
Советую всем ознакомиться, это угар. Вот 2020 год, остальные поручаю найти в качестве домашнего задания sigbovik.org/2020/proceedin…
Понедельник
Довброшу напоследок. Вдохновившись этой движухой, мы с @kiselev1189 и ко сделали секцию на датафесте. Правда у нас уклон был не в стеб над академией, а просто на трешовые проекты. Началось все как раз с двача, ну а дальше завертелось
Например на 6 фесте был доклад от Антона Василькова про то, как использовать googlesheets в качесте gpu для инференса нейронок (бесплатно!). Отметились @ermakovpetr c ганом для куаркодов, @silyutinaolga и @_fyzbt c предсказанием эмоджи по твиту и Саша Бельских с кекасом
На этом точно все. С вами был TJ @mike0sv, счастливо оставаться. В этом треде - ссылки на треды
Вроде все. Те кто все это время ждал кровосток - велком в тред (текст писался для закрытой конфы, но мне уже лень конец переделывать)
Моя биография в стиле кровостока, разлетевашаяся по мемасным пабликам twitter.com/dsunderhood/st…
Про двач-бота будет проистекать отсюда
Про двач-бота twitter.com/dsunderhood/st…
Напоследок, в треде небольшая кулстори про коммит в спарк
Про коммит в спарк twitter.com/dsunderhood/st…
Итак, сижу я как-то в коворкинге напротив моей подруги, которая была ответственна за своевременную подачу данк мемасов в наши организмы. И она говорит "а кто будет присылать вам мемы когда я умру". Здравый вопрос. Все можно решить технологиями, так что челенж был аксептед. В тред
Про мемезойда twitter.com/dsunderhood/st…
Продолжение про мемы, ганы и космос. И начну с космоса. Осенью 18 года @silyutinaolga позвала меня на хакатон от NASA в команду к @_fyzbt и @mishaulitskiy. Конкретной задачи там не было, но были датасеты, один из них был с фотками с телескопа хаббл. Дальше в потоке
Продолжение про мемасы, ганы и космос twitter.com/dsunderhood/st…
Увидел я на видео с одного эвента девочку, которая показалась мне очень знакомой, но я не мог вспомнить, откуда. Решил ее найти, тем более что эвент был в моем "круге общения". Ну и дело было в дофандфейсовые времена (файндфейс и последователи фактически наш вид спорта убили)
Сталкерофф намба ван twitter.com/dsunderhood/st…
Следующая кулсторя немного похожа. Я лазил по сайту своей школы и нашел там фотки выпускников какого-то лохматого года. И узнал на ней девочку, с которой я дружил - если можно это так назвать, при том что я был классе в 1-2, а она выпускалась. Решил ее найти
Сталкерофф намба ту twitter.com/dsunderhood/st…
Еще чутка про хакатоны. В прошлом году ездили на junction в хельсинки с @silyutinaolga и @_fyzbt и еще одним товарищем. Это такой огромный международных хакатон (в районе 1,5к участников вроде). На выбор дается куча разных тем от разных партнеров, первая сложность - выбрать тему
Хакатон junction twitter.com/dsunderhood/st…
Ну пришло время кулстори про ботов и новый год. Это самый огонь который я приберег для пятницы, так что собираемся вокруг костра и слушаем, детки
Приколдес наивысшего уровня с новогодним поздравлением twitter.com/dsunderhood/st…
Рассказ про бота-расиста и несбывшийся стартап fap.ai. они на самом деле тесно связаны и зародились на хакатоне, на который мы поехали с @libfun_sk. Там вместе с ребятами @lovevso и Артёмом запилили сразу два проекта, разные по смыслу, но схожие в технологии
Хакатоны, бот-расист и поиск по лицу в порно намба ван twitter.com/dsunderhood/st…
Рассказ про бота-расиста и несбывшийся стартап fap.ai. они на самом деле тесно связаны и зародились на хакатоне, на который мы поехали с @libfun_sk. Там вместе с ребятами @lovevso и Артёмом запилили сразу два проекта, разные по смыслу, но схожие в технологии
Хакатоны, бот-расист и поиск по лицу в порно намба ту twitter.com/dsunderhood/st…
Штомш, время прощаться. Напоследок расскажу вам о таком модном молодежном движении, как сигбовик. Вообще это что-то типа первоапрельской научной конференции. Там кеки вроде статьи из 3 слов с ревью на 10 страниц, или статья про новую архитектуру нейронок с названием из 40 слов
Прощальный наброс про сигбовик twitter.com/dsunderhood/st…
На этом точно все. С вами был TJ @mike0sv, счастливо оставаться. В этом треде - ссылки на треды
Этот тред (кхххххх) twitter.com/dsunderhood/st…
