audience statistics Библиотека data scientist’а | Data Science, Machine learning, анализ данных, машинное обучение

Since the beginning of the war, more than 2000 civilians have been killed by Russian missiles, according to official data. Help us protect Ukrainians from missiles - provide max military assisstance to Ukraine #Ukraine. #StandWithUkraine

✍️ Правила внедрения машинного обучения от Google У Google есть целый документ, в котором перечислены лучшие практики для специалистов по машинному обучению. Мы приведём избранные правила. ✅ Не бойтесь запускать продукт без машинного обучения Для машинного обучения всегда нужны данные. Если с этим есть проблема, то стоит попробовать использовать для своего продукта нечто другое, какую-нибудь простую эвристику. Иными словами, если ML не является абсолютно необходимым для вашего продукта, не применяйте его, пока у вас не будет достаточно данных. ✅ Сначала придумайте метрики Прежде чем определиться, что будет делать ваша система машинного обучения, попробуйте отследить как можно больше показателей в вашей текущей системе. ✅ Между сложной эвристикой и машинным обучением выбирайте второе Простая эвристика может помочь быстро запустить продукт. Сложную эвристику трудно поддерживать. Как только у вас появятся данные и базовое представление о том, чего вы пытаетесь достичь, переходите к машинному обучению. ✅ Сделайте первую модель простой и правильно настройте инфраструктуру Прежде чем кто-либо сможет использовать вашу новую продвинутую систему машинного обучения, вам необходимо будет определить: - Как давать примеры на вход алгоритму. - Что такое «хорошо» и «плохо» для вашей системы. - Как интегрировать модель в ваше приложение. Специалисты Google также советуют выбирать простые признаки для модели. ✅ Постарайтесь обнаружить проблемы перед экспортом моделей В частности, убедитесь, что производительность модели на отложенных данных находится на разумном уровне. Если у вас остаются опасения по поводу данных, не экспортируйте модель. ✅ Не зацикливайтесь на выборе оптимизируемой цели На ранних этапах процесса машинного обучения можно заметить, что улучшаются все показатели, даже те, которые вы не оптимизируете напрямую. Например, вам важно количество кликов и время, проведённое на сайте. Если вы оптимизируете количество кликов, скорее всего, вы увидите и увеличение времени на сайте. Старайтесь сохранять процесс простым и не перегружайте себя размышлениями о балансе различных метрик. ✅ Выберите простую метрику для вашей первой цели Проще всего моделировать поведение пользователя, которое можно наблюдать непосредственно. Например, факт клика по ссылке, оценки чего-либо и т.д. Избегайте моделирования косвенных эффектов вначале: не стоит пытаться отследить посетил ли пользователь сайт на следующий день и как долго он находился на сайте. Наконец, не нужно пытаться заставить машинное обучение выяснить, счастлив ли пользователь. ✅ Логируйте Стоит сохранять набор признаков, используемых во время применения модели, а затем использовать их во время обучения. Даже если вы не можете сделать это для каждого примера, сделайте хотя бы для небольшой части. ✅ Не тратьте время на новые признаки, если проблемой стали несогласованные цели Если цели, поставленные перед алгоритмом или системой машинного обучения, не соответствуют общим целям продукта или бизнеса, то не стоит пытаться решить их примитивным добавлением новых признаков.

🤖 Машинное обучение для людей: Разбираемся простыми словами Этот блогпост представляет собой большое введение для тех, кто хочет разобраться в машинном обучении без формул и теорем. Автор даёт много примеров реальных задач и их решений, а также старается писать об этом простым языком. Вот темы, которые охватывает блогпост: 🔹составляющие машинного обучения; 🔹алгоритмы обучения с учителем; 🔹алгоритмы обучения без учителя; 🔹уменьшение размерности; 🔹обучение с подкреплением; 🔹ансамбли; 🔹глубокое обучение и нейросети. 🔗 Ссылка на материал

🤖🖼️ Как работают визуальные трансформеры: магия превращения пикселей в знания Визуальные трансформеры (Vision Transformers, ViTs) — класс моделей глубокого обучения, которые достигли выдающихся результатов в задачах классификации изображений. В основе ViTs лежит архитектура трансформеров, изначально разработанная для обработки естественного языка. В новой статье подробно рассказываем (с картинками), как работают такие модели компьютерного зрения. 🔗 Читать статью 🔗 Зеркало

💵Моделирование курса валют методом Монте-Карло Метод Монте-Карло позволяет исследовать какой-либо случайный процесс, многократно имитируя его. Новая статья на «Хабре» посвящена анализу и прогнозированию валютных курсов с помощью такого подхода. Автор привёл примеры кода на Python и объяснил каждую используемую функцию. 🔗 Читать статью целиком

🎓 Небольшая подборка бесплатных курсов по классическому машинному обучению ▫️Stanford CS229: Machine Learning by Andrew Ng Культовый курс по основам машинного обучения с Эндрю Ыном, американским учёным-информатиком. Представляет собой набор видеолекций. ▫️Алгоритмы Машинного обучения с нуля Курс на Stepik, на котором подробно разбираются основные алгоритмы классического ML: линейная и логистическая регрессии, метод k-ближайших соседей, случайный лес, метод главных компонент и др. ▫️HarvardX: CS50's Introduction to Artificial Intelligence with Python Курс, рассказывающий о концептах и алгоритмах, лежащих в основе современного ML. Также в программе есть теория вероятностей, нейросети, NLP и др. ▫️Машинное обучение (курс лекций, К.В. Воронцов) В курсе делается упор на глубокое понимание математических основ. Автор — зав. лаб. «Машинное обучение и семантический анализ» Института искусственного интеллекта МГУ.

ААА! Авторы Академии Аналитиков Авито выпустили бесплатный курс по прикладной статистике. В нём две части — первая по базе, которую важно знать для работы с данными, вторая по более сложным критериям. Пройти можно здесь. Курс научит собирать и валидировать кастомные критерии на реальных данных, а ещё решать задачи бизнеса с применением прикладной статистики.

⭐ PySpark: небольшой гайд по библиотеке PySpark — это Python API для Apache Spark. А Apache Spark, в свою очередь, представляет собой движок для распределённой обработки задач, связанных с большими данными. Так, PySpark позволяет работать с данными любого размера. Библиотека поддерживает все функции Spark, включая Spark SQL и DataFrames. 🔸Spark SQL предназначен для работы со структурированными данными и позволяет сочетать SQL-запросы с программами Spark. 🔸PySpark DataFrames позволяет читать, записывать, трансформировать и анализировать данные. 👆К посту мы прикрепили небольшую шпаргалку по этим двум основным инструментам PySpark

Телеграм-канал для ML-специалистов от Яндекса Yandex for ML — канал для ML-инженеров от Яндекса. Рассказываем, как мы обучаем наши модели и интегрируем их в продукты, как делаем сервисы с архитектурой сразу из нескольких нейросетей, как обучаем модели для специфичных задач и многое другое. Подписывайтесь 👉 @Yandex4ML

💬 Итак, настало время расшифровать аббревиатуры. На выбор: 🔹AI/ИИ 🔹ML 🔹DL 🔹GPT 🔹DS 👇Только неправильные ответы👇

Хотите учиться у экспертов в области IT? Школа анализа данных Яндекса принимает заявки до 12 мая, успейте зарегистрироваться. ШАД для вас, если вы: · интересуетесь Machine Learning · имеете хорошую математическую подготовку · уверенно владеете каким-либо языком программирования Программа длится два года, обучение бесплатное. Можно выбрать одно из направлений: Data Science, инфраструктура больших данных, разработка машинного обучения или анализ данных и ИИ в прикладных науках. Больше об учёбе в ШАД и возможностях для выпускников расскажем на днях открытых дверей. Узнать даты и зарегистрироваться можно по ссылке.

🐍🤔 «Задумчивый» код: временная сложность операций со структурами данных в Python Вы когда-нибудь задумывались, почему некоторые операции в Python выполняются мгновенно, а другие заставляют ваш код «задумчиво» работать? В новой статье разбираемся во временной сложности и узнаём, как писать быстрый и эффективный код. 🔗 Читать статью 🔗 Зеркало

🦾🧠🏋Качаем мозги к лету! Хотите начать работать с большими данными, применять методы машинного обучения, статистический анализ, а также разрабатывать алгоритмы для извлечения информации? Тогда наш полугодовой курс «Математика для Data Science» от преподавателей МГУ, подходит для этого. И мы можете попасть на него со скидкой 40% ➡️ Математика для Data Science 29 990 ₽ 17 994 ₽ Вас ждет развернутая обратная связь по всем домашним заданиям, а также ссылки на полезные дополнительные материалы. У вас не будет шансов не усвоить какие-то темы курса👌 ⭐️ Переходите и активируйте бесплатные вводные занятия курса – https://proglib.io/w/b1ca6fe9

⚡ Вышел PyTorch 2.3 Основное нововведение — поддержка пользовательских ядер Triton в torch.compile. Их можно переносить без снижения производительности или сбоев в графике. Triton — языковой компилятор для создания сильно оптимизированных ядер CUDA. Помимо этого в PyTorch 2.3: ▫️Tensor Parallel API, который позволяет реализовать распределённые вычисления. API был специально адаптирован для обучения трансформеров с очень большим количеством параметров. ▫️Подкласс torch.sparse.SparseSemiStructuredTensor, который реализует полуструктурированную разреженность и позволяет добиться ускорения вычислений до 1.6 раза по сравнению с умножениями плотных (dense) матриц. 🔗 Прочесть о релизе подробнее можно здесь

🥺 Итоги недели в мире ИИ и обзоры новых сервисов У нас вышла новая статья на 📰 по мотивам еженедельной рассылки про последние новости и тенденции в мире ИИ. Ниже — небольшая выдержка из статьи, а целиком читайте здесь 👈 💬 Новости 🔘Искусственный интеллект успешно прошёл сложные экзамены и сравнился по с человеческим IQ во многих областях. Например, ИИ так же хорош, как человек в понимании, объяснении и обсуждение текста, изображений и видео. 🔘Microsoft выпустила новую модель VASA-1, которая генерирует потрясающе реалистичные видео на основе одного фото и одной аудиозаписи. 🔘Появился первый в мире конкурс красоты и успешности для ИИ-инфлюенсеров Мисс AI. 🛠 Инструменты 🔘Vidyard AI Avatars — генерирует видео с участием вашего ИИ-двойника. 🔘Flim — ИИ-поисковик для креативных людей. 🔘EasyFolders — сохраняет диалоги с ChatGPT и Claude в удобных древовидных папках. 📈 Исследования 🔘ИИ помог учёным определить области мозга, связанные с психозом. Анализ данных МРТ с помощью нового алгоритма машинного обучения выявил характерные «подписи» в мозге людей с расстройствами. ➡ Вы можете подписаться на email-рассылку здесь

GitVerse – еще круче, быстрее и удобнее На онлайн-презентации «GitVerse: открой вселенную кода» СберТех представил новую функциональность платформы, которая поможет ускорить и упростить разработку. Рассказываем про новые фичи GitVerse: ✔️ CI/CD-инструменты Помогут автоматизировать сборку исходного кода и процессы поставки. А еще можно перенести свои проекты с Git-репозиториев в один клик. ✔️ Новые функции персонального AI-ассистента* GigaCode Теперь GigaCode умеет решать связанные с кодом задачи в окне чата прямо в среде разработки. А в репозитории в GitVerse можно получить объяснение, что делает конкретная часть кода, и советы по его улучшению. ✔️ Функциональность для организаций Отличная новость – разрабатывать на GitVerse теперь могут не только индивидуальные разработчики, но и малые и средние предприятия. Регистрируйтесь и воспользуйтесь новыми возможностями GitVerse! *AI, artificial intelligence — искусственный интеллект

🚀 Awesome Machine Learning — фреймворки и библиотеки для ML Этот репозиторий был вдохновлён другим — awesome-php. Включает в себя библиотеки, фреймворки и инструменты для машинного обучения на всех языках программирования: от С до Julia (Python, конечно, тоже есть). Вот темы, которые есть в списке, на примере Python: 🔸 Компьютерное зрение — SimpleCV — pytessarct 🔸 Обработка естественного языка — NLTK — Transformers 🔸 Анализ данных/визуализация — plotly — DataComPy 🔸 Код соревнований Kaggle 🔸 Обучение с подкреплением — DeepMind Lab — ViZDoom 🔗 Ссылка на репозиторий Awesome Machine Learning

🧑‍💻 Статьи для IT: как объяснять и распространять значимые идеи Напоминаем, что у нас есть бесплатный курс для всех, кто хочет научиться интересно писать — о программировании и в целом. Что: семь модулей, посвященных написанию, редактированию, иллюстрированию и распространению публикаций. Для кого: для авторов, копирайтеров и просто программистов, которые хотят научиться интересно рассказывать о своих проектах. 👉Материалы регулярно дополняются, обновляются и корректируются. А еще мы отвечаем на все учебные вопросы в комментариях курса.

💬 А вы используете в свой работе Jupyter Notebook? ❤️ — использую постоянно 👍 — иногда использую 🤔 — нет #интерактив

🛠️ NLP по-русски: подборка инструментов 🔹 Natasha Набор инструментов Natasha позволяет решать базовые NLP-задачи: токенизацию, сегментацию на предложения, морфологический и синтаксический анализ, лемматизацию, извлечение именованных сущностей. 🔹 DeepPavlov Это библиотека, созданная на базе PyTorch. Позволяет создавать чат-ботов и сложные диалоговые системы. Включает предобученные модели для русского языка. 🔹pymorphy2 Морфологический анализатор для русского и украинского языков. Может приводить слово к начальной форме и возвращать грамматическую информацию о нём. Также можно использовать форк pymorphy3, который сейчас развивается. 🔹SpaCy Библиотека для обработки естественного языка, поддерживающая 75+ языков, а также включающая предобученные векторы слов. NLP — Natural Language Processing, обработка естественного языка

✨ Визуализация эмбеддингов в браузере У TensorFlow есть онлайн-инструмент, который позволяет изучить пространство эмбеддингов (векторных представлений). Это не только залипательно, но и может быть полезно. Для пространств высокой размерности инструмент предварительно использует методы сокращения размерности (например, PCA). На странице доступны предобученные эмбеддинги — Word2Vec, Mnist (в виде картинок!) и Iris. Кроме того, есть возможность загрузить собственные. 🔗 Ссылка на инструмент TensorFlow

1 млн рублей за научную статью по AI/ML и возможность презентовать свои исследования на конференции AI Journey 2024 До 20 августа идет отбор статей для публикации в журнале «Доклады Российской академии наук. Математика, информатика, процессы управления» и его англоязычной версии Doklady Mathematics, которые выйдут в рамках ежегодной международной конференции по искусственному интеллекту AI Journey. Статья может быть оформлена на русском или английском языке, а также должна представлять только ранее не опубликованные сведения. Приз за лучшую статью — 1 млн рублей. Узнайте подробности и успейте подать заявку по ссылке.

📊🎲 Несколько полезных шпаргалок для дата-сайентистов Могут пригодиться при подготовке к собеседованию. 🔹Введение в теорию вероятностей 🔹Обзор способов визуализации данных 🔹Описательная статистика

Meetup по Data Science от X5 Tech ⚡️25 апреля в 19:00 в пространстве Articon + онлайн трансляция Присоединяйтесь к следующему митапу по Data Science от X5 Tech! Обсудим последние достижения в области ML и подходы к решению неэффективных процессов. Вы узнаете о мониторинге языковых моделей, чат-ботах на основе искусственного интеллекта, методах улучшения RAG-систем и многом другом! ⏳ Таймлайн: 18:30-19:00 — Начало регистрации участников. Вкусняшки и живое общение. 19:00-21:30 — Выступления спикеров 21:30 — AFTER PARTY 😎 Спикеры — X5 Tech и Звук. Регистрация открыта __ Реклама. ООО "Корпоративный центр ИКС 5", ИНН: 7728632689, erid: LjN8Jt27S

🌐 Онлайн-обучение в ML: что это такое В традиционном подходе модель обучается, используя весь набор данных сразу. Этот процесс часто сопровождается большими вычислительными затратами и не учитывает изменения в данных, которые происходят в реальном времени. ❓Что делать? Можно обучать модель на одной точке входящих данных за раз. Например, вы храните на диске (или получаете в реальном времени из какого-то источника) обучающую выборку и не загружаете её в оперативную память. Тогда вы можете считывать объекты по одному и соответственно обновлять веса. После обработки всех объектов обучающей выборки значение функции потерь уменьшится (однако часто нужно несколько десятков проходов по выборке, чтобы оно уменьшилось достаточно). 🤔 Где можно применять: ▫️Анализ финансовых рынков; ▫️Системы мониторинга показателей здоровья; ▫️Обнаружение мошенничества. 🤖 Ограничения метода: ▫️Чувствительность к порядку поступающих данных; ▫️Меньший контроль за обучением; ▫️Проблемы с интерпретацией.

Систематизируете и углубите знания бэкенд-разработки на Python на курсе Яндекс Практикума за 6 месяцев. Преимущества курса: — актуальная программа, которая постоянно обновляется; — много практики, лайвкодинг и хакатон; — возможность совмещать с другой учёбой или работой; — наставники из Яндекса и не только; — помощь с трудоустройством. ◾️Погружайтесь в Python, нарабатывайте нужные навыки и осваивайте инструменты для работы. Начните курс бесплатно, а если понравится, платите как удобно: в рассрочку или целиком. → Начать бесплатно

✅Ответы на вопросы с собеседований А вот и ответы на три вопроса с собеседований, которые мы недавно вам задавали! 1️⃣ Как оценить статистическую значимость анализа? Для оценки статистической значимости нужно провести проверку гипотезы. Сначала определяют нулевую и альтернативную гипотезы. Затем рассчитывают p – вероятность получения наблюдаемых результатов, если нулевая гипотеза верна. Наконец, устанавливают уровень значимости alpha. Если p < alpha, нулевая гипотеза отвергается – иными словами, анализ является статистически значимым. 2️⃣ Приведите три примера распределений с длинным хвостом. Почему они важны в задачах классификации и регрессии? Три практических примера: степенной закон, закон Парето и продажи продуктов (например, продукты-бестселлеры против обычных). При решении задач классификации и регрессии важно не забывать о распределении с длинным хвостом, поскольку редко встречающиеся значения составляют существенную часть выборки. Это влияет на выбор метода обработки выбросов. Кроме того, некоторые методики машинного обучения предполагают, что данные распределены нормально. 3️⃣ Что такое центральная предельная теорема, и почему она важна? Центральная предельная теорема (ЦПТ) говорит о том, что сумма достаточно большого количества слабо зависимых случайных величин с примерно одинаковыми масштабами имеет распределение, близкое к нормальному. Центральная предельная теорема важна, поскольку она используется при проверке гипотез и расчете доверительных интервалов. 👉Хотите больше вопросов и ответы на них? Читайте нашу статью: 🎲 40 вопросов по статистике с собеседований на должность Data Scientist

🧠 Теоретические основы популярных алгоритмов машинного обучения и их реализация с нуля на Python Автор «Хабра» Егор Захаренко составил список собственных статей с описанием популярных алгоритмов классического машинного обучения. К каждой статье прилагается код на Python. Обучение с учителем 🔸 Линейная регрессия и её модификации 🔸 Логистическая и Softmax-регрессии 🔸 Линейный дискриминантный анализ (LDA) 🔸 Наивный байесовский классификатор 🔸 Метод опорных векторов (SVM) 🔸 Метод K-ближайших соседей (KNN) 🔸 Дерево решений (CART) 🔸 Бэггинг и случайный лес 🔸 Алгоритмы AdaBoost (SAMME & R2) 🔸 Градиентный бустинг и его модификации 🔸 Стекинг и блендинг Обучение без учителя 🔹 Метод главных компонент (PCA) 🔹 Популярные алгоритмы кластеризации 👉 Ноутбуки с алгоритмами можно скачать на Kaggle и GitHub.

⚡️Как войти в Data Science всего за год? Очень кратко пересказываем историю одного специалиста, который устроился в Data Science после работы в авиационной промышленности. В карточках — его путь и одна из рекомендаций, а в статье по ссылке — большая подборка полезных ресурсов! 👉Читать статью А чтобы следовать совету и окружить себя подходящим информационным фоном, изучайте другие классные статьи про Data Science: ⭐️Математические основы генеративных нейронных сетей: что нужно знать для их изучения ⭐️Что такое GPT: раскрываем тайны трансформеров ⭐️Как работают языковые модели (LLM): простое объяснение через аналогию с кулинарией

⬆️ Дорожная карта дата-сайентиста 2024 Очередную Roadmap составил один из реддиторов. В ней он перечислил необходимые специалисту по ИИ библиотеки, фреймворки и платформы. Цветом автор разметил уровень навыков: 💚 — обязательные и относительно простые; 💛 — более сложные; ❤️ — самые сложные в освоении. 👇Мы приводим укороченную версию списка со ссылками на наши обучающие материалы👇 ▫️Python ▫️Pandas ▫️SQL ▫️Django ▫️Git ▫️Алгоритмы машинного обучения ▫️Kubernetes ▫️Большие языковые модели (LLM)