Как проходит собеседование на аналитика данных
В банках, маркетплейсах и продуктовых компаниях этапы похожи:
- Скрининг с рекрутером, 20-30 минут: опыт, стек, ожидания по деньгам. Типичные вопросы разобраны в статье про HR-скрининг.
- Техническая секция, 60-90 минут: SQL в онлайн-редакторе или общем документе, вопросы по статистике и A/B-тестам.
- Продуктовая секция: метрики, кейс «упала метрика», дизайн эксперимента.
- Тестовое задание иногда заменяет одну из секций.
- Финал с руководителем: задачи команды и мотивация.
От джуна ждут уверенного SQL и понимания p-value, от мидла: дизайна эксперимента целиком и умения перевести вопрос бизнеса в метрику и запрос. Решение нужно проговаривать вслух, как это делать, описано в статье про техническое собеседование.
Вопросы по SQL
1. В каком порядке выполняется SQL-запрос?
Что проверяют: понимаете ли вы, почему запрос ведёт себя именно так.
Ответ: логический порядок: FROM и JOIN, WHERE, GROUP BY, HAVING, SELECT, DISTINCT, ORDER BY, LIMIT. Поэтому в WHERE нельзя использовать агрегат, а в PostgreSQL и большинстве СУБД нельзя сослаться и на алиас из SELECT. В ORDER BY алиас уже доступен.
2. Чем WHERE отличается от HAVING?
Что проверяют: порядок выполнения на практике.
Ответ: WHERE фильтрует строки до группировки, HAVING фильтрует группы после неё. Условие на агрегат пишут в HAVING: HAVING SUM(amount) > 10000. Остальные условия лучше держать в WHERE: в группировку попадёт меньше строк.
3. Какие бывают JOIN и в чём ловушка LEFT JOIN?
Что проверяют: самую частую ошибку в рабочих запросах.
Ответ: INNER, LEFT, RIGHT, FULL OUTER, CROSS. Если после LEFT JOIN поставить в WHERE условие на столбец правой таблицы, например o.status = 'paid', строки без пары (там NULL) отфильтруются, и запрос фактически станет INNER JOIN. Такое условие переносят в ON. Вторая ловушка: джойн по неуникальному ключу размножает строки, и сумма выручки после него завышена.
4. Чем отличаются COUNT(*), COUNT(column) и COUNT(DISTINCT column)?
Что проверяют: работу с NULL и дублями.
Ответ: первый вариант считает все строки. Второй считает строки, где column не NULL. Третий считает уникальные непустые значения. «Сколько пользователей сделали заказ» считают через COUNT(DISTINCT user_id): у одного пользователя бывает много заказов.
5. Чем отличаются ROW_NUMBER, RANK и DENSE_RANK?
Что проверяют: базу оконных функций.
Ответ: разница в одинаковых значениях. На значениях 100, 90, 90, 80 ROW_NUMBER даст 1, 2, 3, 4, RANK даст 1, 2, 2, 4 (после повтора номер пропускается), DENSE_RANK даст 1, 2, 2, 3.
6. Как найти последний заказ каждого клиента?
Что проверяют: оконные функции в деле.
Ответ: пронумеровать заказы внутри клиента от новых к старым и взять первый: ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY created_at DESC) AS rn в подзапросе или CTE, снаружи WHERE rn = 1. Вариант с MAX(created_at) и обратным джойном хуже: при двух заказах в одну секунду он вернёт дубли.
7. Как NULL ведёт себя в сравнениях и агрегатах?
Что проверяют: тонкости, на которых ломаются отчёты.
Ответ: сравнение с NULL даёт неизвестность, поэтому WHERE col = NULL не вернёт ни одной строки, нужен IS NULL. Если в подзапросе для NOT IN есть хоть один NULL, результат будет пустым, безопаснее NOT EXISTS. Агрегаты SUM и AVG пропускают NULL: AVG считает среднее только по заполненным значениям.
8. Как посчитать накопительную сумму и скользящее среднее?
Что проверяют: рамки окна.
Ответ: накопительный итог: SUM(revenue) OVER (ORDER BY dt). Скользящее среднее за 7 строк: AVG(revenue) OVER (ORDER BY dt ROWS BETWEEN 6 PRECEDING AND CURRENT ROW). Оговорка: это 7 строк, а не 7 дней, поэтому дни без продаж сначала заполняют нулями.
Вопросы по статистике
9. Когда смотреть на медиану, а не на среднее?
Что проверяют: чувство данных.
Ответ: когда распределение скошено или есть выбросы: чеки, время в приложении, зарплаты. Пара крупных заказов сдвинет средний чек, а медиана почти не изменится. Но выручку определяет именно среднее: это среднее на пользователя, умноженное на их число.
10. Что такое p-value?
Что проверяют: самую частую ошибку интерпретации.
Ответ: вероятность получить такой же или более сильный эффект, если верна нулевая гипотеза (эффекта нет). Это не вероятность того, что нулевая гипотеза верна. Если p-value меньше выбранного заранее уровня значимости (обычно 0,05), нулевую гипотезу отвергают.
11. Что такое ошибки первого и второго рода и мощность?
Что проверяют: базу для дизайна экспериментов.
Ответ: ошибка первого рода: увидели эффект, которого нет, её вероятность ограничивает уровень значимости α. Ошибка второго рода: пропустили настоящий эффект, её вероятность β. Мощность равна 1 - β: шанс найти эффект заданного размера, если он есть. Обычные настройки: α = 0,05, мощность 0,8.
12. Что говорит центральная предельная теорема и зачем она аналитику?
Что проверяют: почему t-тест работает на ненормальных данных.
Ответ: при большой выборке распределение выборочного среднего близко к нормальному, даже если сами данные не нормальные (при конечной дисперсии). Поэтому средний чек на больших группах сравнивают t-тестом, хотя чеки несимметричны. При тяжёлых хвостах «большая» выборка может оказаться очень большой.
13. Как интерпретировать 95-процентный доверительный интервал?
Что проверяют: точность формулировок.
Ответ: если много раз повторить эксперимент и каждый раз строить интервал тем же способом, около 95% таких интервалов накроют истинное значение. В A/B-тесте смотрят на интервал для разницы между группами: если он не содержит ноль, разница значима на уровне 0,05.
14. Как отличить корреляцию от причинности?
Что проверяют: зрелость выводов.
Ответ: корреляция показывает, что величины меняются вместе, но не говорит, что одна вызывает другую. Пример: пользователи с включёнными push-уведомлениями удерживаются лучше, но они и так более вовлечённые. Причинность показывает эксперимент, без него используют квазиэксперименты вроде разности разностей.
Вопросы по A/B-тестам
15. Как вы спроектируете A/B-тест?
Что проверяют: главный навык продуктового аналитика.
Ответ: по шагам:
- Гипотеза: что меняем, на какую метрику повлияет и почему.
- Целевая метрика и барьерные: например, конверсия в заказ растёт, а отмены и средний чек не ухудшаются.
- Единица рандомизации: обычно пользователь, а не сессия.
- MDE, уровень значимости и мощность, из них размер выборки и длительность (целыми неделями из-за недельной сезонности).
- Проверка сплита (A/A-тест, контроль SRM), запуск и анализ строго по заранее записанному плану.
16. Что такое MDE и от чего зависит размер выборки?
Что проверяют: умение оценить, имеет ли тест смысл.
Ответ: MDE (minimum detectable effect) это минимальный эффект, который тест обнаружит с заданной мощностью. Выборка растёт, если уменьшить MDE (вдвое меньший эффект требует примерно вчетверо больше пользователей), если растёт дисперсия метрики, если снизить α или поднять мощность. Для прикидки при α = 0,05 и мощности 0,8 на группу нужно около 16σ²/δ² наблюдений, где σ² это дисперсия метрики, а δ ожидаемый абсолютный эффект.
17. Почему нельзя остановить тест, как только p-value стал меньше 0,05?
Что проверяют: знание проблемы подглядывания (peeking).
Ответ: если проверять результат каждый день и остановиться при первой значимости, реальная доля ложноположительных выводов окажется намного выше заявленных 5%. Решения: зафиксировать длительность заранее и подводить итог один раз или взять последовательное тестирование, рассчитанное на промежуточные проверки.
18. В тесте 10 метрик, одна значимо выросла. Это успех?
Что проверяют: множественные сравнения.
Ответ: не обязательно. При 10 независимых проверках на уровне 0,05 шанс хотя бы одной ложной значимости около 40% (это 1 - 0,95¹⁰). Поэтому до запуска выбирают одну целевую метрику, а для остальных применяют поправку: Бонферрони (делим α на число проверок), Холма или Бенджамини-Хохберга, которая контролирует долю ложных открытий.
19. Как сравнивать метрики-отношения, например CTR или средний чек?
Что проверяют: понимание зависимых наблюдений.
Ответ: в CTR рандомизируют пользователей, а считают показы. Показы одного человека зависимы, и t-тест по показам занижает дисперсию. Правильные подходы: дельта-метод, бутстрап по пользователям или линеаризация метрики. Со средним чеком то же самое.
20. Сплит задуман 50 на 50, а получилось 50,8 на 49,2 при миллионе пользователей. Что делать?
Что проверяют: контроль качества эксперимента.
Ответ: это SRM (sample ratio mismatch). Хи-квадрат покажет, что при честном сплите такое отклонение на миллионе пользователей практически невозможно. Результатам доверять нельзя: ищут причину (ошибка в рандомизации, редирект, разная скорость загрузки, фильтрация ботов только в одной группе), исправляют и перезапускают.
21. t-тест или Манна-Уитни: что выбрать?
Что проверяют: какую гипотезу на самом деле проверяет критерий.
Ответ: для средних обычно берут t-тест Уэлча: он не требует равных дисперсий в группах. Для конверсий подходит z-тест для долей. Манна-Уитни проверяет, что значения в одной группе в целом больше, чем в другой, и не является тестом на равенство средних или медиан. Если бизнесу важна выручка, то есть среднее, вывод Манна-Уитни может с ней разойтись.
22. Как сократить длительность теста без потери мощности?
Что проверяют: опыт с настоящими экспериментами.
Ответ: уменьшить дисперсию метрики. Основные способы: CUPED (значение метрики у тех же пользователей до теста как ковариата), стратификация, обрезка выбросов, более чувствительная метрика, связанная с целевой. Ещё помогает анализировать только пользователей, которые дошли до изменённого экрана.
Вопросы по метрикам
Эти темы пересекаются с собеседованием продакт-менеджера, но у аналитика больше спрашивают про расчёты.
23. Что такое retention и как его считать?
Что проверяют: базовую продуктовую метрику и точность определений.
Ответ: доля пользователей когорты (например, пришедших за одну неделю), которые вернулись в продукт. Retention N-го дня: вернулся ровно в день N. Rolling retention: вернулся в день N или позже, он всегда не ниже классического. Хороший знак для продукта: кривая удержания выходит на плато, а не стремится к нулю.
24. Чем отличаются ARPU, ARPPU, LTV и CAC?
Что проверяют: понимание денег в продукте.
Ответ: ARPU: выручка за период, делённая на всех активных пользователей. ARPPU: выручка на одного платящего. LTV: сколько маржи (или выручки) клиент принесёт за всё время. CAC: сколько стоит привлечь одного клиента. Юнит-экономика сходится, когда LTV по марже с запасом выше CAC.
25. Как выбрать метрику для новой фичи?
Что проверяют: продуктовое мышление.
Ответ: от цели фичи к поведению пользователя. Пример: в приложении доставки добавили сохранённые адреса. Целевая метрика: конверсия из корзины в заказ или время оформления. Барьерные: доля ошибочных адресов, отмены. Хорошая метрика чувствительна, быстро измеряется и связана с деньгами или удержанием, а DAU для отдельной фичи слишком шумный.
Вопросы по Python и pandas
26. Чем отличаются loc и iloc?
Что проверяют: базовую работу с таблицами.
Ответ: loc выбирает по меткам индекса и названиям столбцов, iloc по целочисленным позициям. Разница в срезах: df.loc['a':'c'] включает правую границу, df.iloc[0:3] не включает.
27. Как объединять таблицы в pandas и не размножить строки?
Что проверяют: аккуратность.
Ответ: merge работает как JOIN по столбцам, параметр how задаёт тип: inner, left, right, outer. join объединяет по индексу, concat склеивает таблицы по строкам или столбцам. После merge проверяйте число строк, а параметр validate='many_to_one' сразу выдаст ошибку, если ключ в правой таблице не уникален.
28. Чем отличаются agg, transform и apply после groupby?
Что проверяют: умение решать задачи без циклов.
Ответ: agg возвращает одну строку на группу. transform возвращает результат той же длины, что исходная таблица, поэтому удобен, чтобы добавить к каждой строке долю от суммы по пользователю: df['amount'] / df.groupby('user_id')['amount'].transform('sum'). apply самый гибкий и самый медленный.
29. Код на pandas работает медленно. Что сделаете?
Что проверяют: практический опыт.
Ответ: уберу циклы по строкам (iterrows, apply с Python-функцией) в пользу векторных операций, условия перепишу через np.where или np.select. Повторяющиеся строки переведу в тип category, при чтении возьму только нужные столбцы. А часто проще агрегировать в SQL и забирать в pandas уже маленькую таблицу.
Практические задачи и кейсы
Задача на SQL
Таблица orders(user_id, order_id, created_at, amount). Нужно посчитать долю пользователей, которые сделали второй заказ в течение 30 дней после первого.
- Пронумеруйте заказы пользователя по времени:
ROW_NUMBER() OVER (PARTITION BY user_id ORDER BY created_at) AS rn. - Сверните до строки на пользователя:
MIN(CASE WHEN rn = 1 THEN created_at END) AS first_atи так жеsecond_atдляrn = 2. - Посчитайте долю:
AVG(CASE WHEN second_at <= first_at + INTERVAL '30 days' THEN 1.0 ELSE 0 END).
Назовите крайние случаи сами: отменённые заказы, два заказа в одну секунду, пользователи, у которых 30 дней ещё не прошли (их исключают, иначе доля занижена).
Кейс «упала метрика»
«Конверсия из корзины в заказ в приложении доставки за неделю упала с 32% до 27%. Разберитесь». Порядок рассуждения:
- Проверить данные: трекинг, определение метрики, полноту загрузки.
- Сопоставить с событиями: релизы, цены, акции, праздники, сбои платёжного провайдера.
- Разрезать по сегментам: платформа и версия приложения, город, новые и старые пользователи, способ оплаты.
- Разложить на шаги воронки и найти, где теряем.
- Сформулировать гипотезу, проверить её и предложить действие.
Пример хорошего ответа:
Сначала убедился бы, что падение настоящее: сравнил бы число заказов в базе и в событиях аналитики. Если заказы в базе тоже просели, разрезал бы конверсию по платформам и версиям. Допустим, упало только iOS-приложение версии, вышедшей в понедельник. Тогда посмотрел бы шаги оплаты внутри этой версии и пришёл к команде с конкретным экраном, где теряются пользователи.
Кейс по A/B-тесту
«Новый экран оплаты: конверсия выросла на 3% с p = 0,03, средний чек снизился на 2%, но незначимо. Раскатываем?» Смотрите на выручку на пользователя: она объединяет конверсию и чек. Незначимое снижение чека не означает ноль, важна ширина доверительного интервала. Если выручка на пользователя не падает, SRM нет и барьерные метрики в норме, раскатывайте.
HR-часть и поведенческие вопросы
Помимо техники, вас спросят:
- Расскажите о проекте, где ваш анализ повлиял на решение.
- Как вы объясняете результаты людям без технического бэкграунда?
- Что делаете, если менеджер хочет, чтобы данные подтвердили нужный ему вывод?
Отвечайте историями по методу STAR, с результатом в цифрах:
В интернет-магазине электроники продакт хотел добавить видеообзоры на карточку товара. Я посмотрел воронку: главная потеря была не на карточке, а на выборе доставки, где в части регионов показывалась ошибка. Ошибку починили, и конверсия в этих регионах вернулась к среднему по стране. Видеообзоры потом проверили тестом, эффекта не нашли.
| Плохо | Лучше |
|---|---|
| «Строил дашборды в Tableau» | «Собрал дашборд по отменам, по нему логистика каждую неделю разбирает проблемные склады» |
| «Проводил A/B-тесты» | «Спроектировал и проанализировал 12 тестов в оформлении заказа, два раскатили» |
| «Хорошо знаю статистику» | «Нашёл SRM в тесте, который уже собирались раскатывать, после исправления сплита эффект исчез» |
Как назвать вилку по деньгам, разобрано в статье про зарплатные ожидания.
Как отрепетировать
SQL решайте в редакторе без автодополнения, проговаривая ход мысли вслух. Кейс «упала метрика» отвечайте с таймером на 5-7 минут и записывайте себя: на записи слышно, где вы перескакиваете шаги. Попросите знакомого аналитика задать вопросы из списка вразброс и перебивать уточнениями. Если такого человека нет, можно пройти бесплатное пробное собеседование: ИИ-интервьюер задаст вопросы по вашей вакансии с hh.ru голосом и после звонка разберёт ответы.
Частые вопросы
Нужен ли Python аналитику данных?
Чаще всего нужен базовый уровень: pandas, графики, простая статистика в scipy. Основной инструмент на собеседовании всё равно SQL. Если в вакансии упомянуты ML или автоматизация отчётов, к Python будут строже.
Какой уровень SQL нужен джуниор-аналитику?
Уверенные JOIN, GROUP BY и HAVING, подзапросы и CTE, оконные функции ROW_NUMBER, RANK, LAG и LEAD, работа с датами и NULL. Задачи уровня «последний заказ клиента» или «retention по когортам» нужно решать без подсказок, а оптимизацию запросов от джуна обычно не требуют.
Чем собеседование продуктового аналитика отличается от BI-аналитика?
Продуктового аналитика больше спрашивают про A/B-тесты, статистику и метрики. BI-аналитика: про модели данных, ETL, дашборды в Power BI, DataLens или Superset. SQL обязателен в обоих случаях.
Сколько готовиться к собеседованию на аналитика данных?
Если вы уже работаете с SQL и знаете основы статистики, обычно хватает одной-двух недель: каждый день задачи на SQL, повторение A/B-тестов и 5-10 продуктовых кейсов вслух. С нуля подготовка займёт месяцы.
Что делать, если не знаю ответа на вопрос по статистике?
Скажите, что не уверены, и порассуждайте вслух от того, что знаете. Например: «Точную формулу не помню, но размер выборки растёт с дисперсией и падает с размером эффекта». Уверенно выдуманный ответ хуже честно признанного пробела.
