В копилку тем, кто много работает с json. Кажется интересная либа
https://lemire.me/blog/2026/10/12/parsing-json-at-tens-of-gigabytes-per-second-in-python/
Data Science и аналитика, страница 2
Посты публичных Telegram-каналов по теме «Data Science и аналитика», страница 2. У каждого поста есть ссылка на оригинал в Telegram, а цифры темы и ответы на вопросы о ней собраны на первой странице.
Лента темы
📖 Большие данные. Зачем, что и как?
Электронный учебник – сборник материалов, после изучения которого вы сможете получить краткое и емкое представление о работе с Большими Данными.
– Что такое Большие Данные?
– Откуда берутся Большие Данные и в чем их польза?…
Как выглядит мой рабочий день (удалёнщика аналитика-инженера)
🕘 9:00 - просыпаюсь, умываюсь, завтракаю. никакой йоги, бассейна, утреннего зала, покупки раф-кофе 😁 или других полезностей нет)
🕙 10:00 - открываю ноут, начинаю читать чаты и составлять план работы на день…
Карта похода Наполеона от Минара в советском справочнике задолго до того, как ее открыл Тафти западным дизайнерам
Таблицы из PDF: локальная библиотека или облачный API
Текст из PDF извлечён, а столбцы таблицы перемешались. Для отчёта важны не только слова, но и связи между строками, заголовками и ячейками.
В сравнении Docling и LlamaParse один документ обрабатывают двумя способами.…
Из Excel в Python: знакомые задачи с pandas 🐼
Фильтрация, сортировка, группировка и объединение таблиц — всё, что вы делаете в Excel, можно выполнять и в pandas.
• Фильтры → отбор строк по условиям.
• Сортировка →
sort_values().
• Группировка и итоги → groupby() и agg().…
В продолжение темы влияния через данные. В теории выглядит просто, а внедрить на практике сложнее.
Вот еще одна модель — лестница влияния
На нижней ступени — роль "живого API", вы просто делаете очередной, и уже не спрашиваете "а зачем вам те же самые данные, только в другой группировке?".…
Когда мы работаем с большими объемами данных и в одном файле храним и сами данные, и сводные таблицы по ним - такие файлы имеют очень большой размер. Чаще всего можно их немного оптимизировать.
Например, вы можете отключить хранение кэша сводной таблицы вместе с файлом.…
кажется я переобулась 
со вчерашнего дня я начала тестить работу российской платформы Холст иии была очень приятна удивлена !
во-первых, за последние несколько лет они очень сильно изменились - начиная от дизайна, который был довольно топорный, заканчивая наличием инструментов.…
Знакомство с системой…
🤔 В чём смысл Information Value (IV)?
Это метрика, используемая для оценки предсказательной способности признака относительно целевой переменной.
1. Высокое значение IV говорит о сильной связи между признаком и целевой переменной.
2.…
📈Дисней Клуб vs слова «Пастыря»
Интересная работа про архивную программную сетку Первого канала. Неочевидные открытые данные, которые лежат под самым носом. Мы когда-то ковыряли их руками в далеком 2017 году, снйчас с иишкой значительно быстрее и удобнее…
Интересное чтиво для начинающих аналитиков
Если вы вдруг плохо понимаете, почему все сервисы со временем становятся такими плохими, то самое время почитать книгу «Эншиттификация».
В ней подробно разбирается процесс одермления любой цифровой платформы.…
Котятки,
Вот уже месяц грызу задачку с мобильной версией BI на телефоне, и чем больше считаю, тем больше грущу. Вчера мой тимлид напомнил мне, почему грущу)
Итак, все крупные платформы Qlik, PBI, FineBI и пр этот сервис предоставляют.…
Почему клики в рекламе и сессии в аналитике не сходятся?
Вопрос, который я слышу дважды в неделю. Это если неделя спокойная.Вводные почти всегда одинаковые.
Meta показывает одно число кликов, Google Analytics - другое число сессий. И непонятно: кто прав и что делать?
Свежий кейс.…
Сводную таблицу FineBI можно раскрасить по строке, если цвет считает отдельная мера
Вопрос из чата сообщества FineBI: в сводной таблице по строкам товары или филиалы, по столбцам даты, и нужно, чтобы цвет ячейки показывал, где значение большое внутри своей строки. В идеале градиентом.…
Я понял чем мы сейчас занимаемся из-за повышенной нагрузки и использования AI агентов - reckless (data) engineering (безрассудный инжиниринг данных).
🤔 Как систематическая ошибка и дисперсии связаны между собой?
Высокая систематическая ошибка (bias) уменьшает сложность модели, но снижает точность, а высокая дисперсия (variance) приводит к переобучению. Баланс между ними важен для оптимальной работы модели.
Ставь 👍 если знал ответ, 🔥 если нет…
🤖Не Jev, а FRIDA-Decisions
FRIDA-Decisions: @artyfishl поделился рецептом как в кратчайшие сроки сделали свою decision-модель — FRIDA Decisions, всего на 0,8B и по качеству сравнимую с оригинальным Jev на бенчмарках.
Спойлерить не буду, читайте статью, из которой вы узнаете:…
🌍 SQL-задача: ближайшие точки на замкнутой карте
Карта 100 × 100: противоположные края соединены. Между координатами
1 и 99 через границу всего 2 единицы.
Для каждой точки найдите всех ближайших соседей, исключая саму точку.
WITH points(id, x, y) AS (…
Лучшие книги для аналитика (a/b тесты, статистика и data science)
В этом ролике автор рассмотрит что почитать аналитику, чтобы лучше делать свою работу. Автор расскажет про свои любимые книги про a/b тесты, статистику, машинное обучение, data science и аналитику в целом.…
🤔 Что такое debezium?
Она позволяет отслеживать изменения в базах данных (INSERT, UPDATE, DELETE) в реальном времени и передавать их в Kafka, Elasticsearch, MongoDB и другие системы.
🚩Как работает Debezium?
Подключается к базе данных
(PostgreSQL, MySQL, MongoDB, Oracle и др.).…
Lance
Недавно ковырялась в инструменте для обслуживания таблиц Apache Amoro и наткнулась на новый для меня термин - формат данных Lance
Lance - это колоночный формат хранения данных, созданный для AI/ML задач в лейкхаусе…
Если хочешь стать дата-инженером, изучи эти концепции: https://de-concepts.ssp.sh
Дальше можно пройтись по практическим навыкам — от команд Linux, контейнеризации и языков программирования до оркестрации в Kubernetes.…
