Сжатые заметки: формулы, интуиция, на что смотреть при тюнинге. Это конспекты, а не полный учебник.
Итеративная оптимизация: θ := θ − η ∇_θ L(θ). Важны шаг обучения (scheduler), нормализация признаков и выбор оптимизатора (Adam, AdamW, SGD).
Бинарная классификация с сигмоидой и BCE‑лоссом. Регуляризация L1/L2, баланс классов, калибровка вероятностей.
Ансамбль деревьев с бутстрэппингом и случайным подпространством признаков. Устойчив к выбросам, зато может быть тяжелым.
Градиентный бустинг на деревьях. Ключи: max_depth, num_leaves, learning_rate, регуляризация, ранняя остановка.
Кластеризация: K‑Means — быстро, но сферические кластеры; DBSCAN — находит произвольные формы, требует eps, min_samples.
Снижение размерности: PCA — линейное; t‑SNE/UMAP — нелинейные для визуализации. Стандартизируйте данные.
Максимизация зазора, ядра RBF/Poly. Следите за масштабом признаков; тюньте C, gamma.
Классика и аддитивная модель для рядов. Диагностика стационарности, праздники и сезонность.
Рекуррентные сети для последовательностей. Градиентные пропадания сглаживаются воротами; смотрите на длину контекста и dropout.
Self‑Attention: softmax(QK^T / √d) V. Масштабируется, но требователен к данным; помогает регуляризация и pretraining.
MF/ALS, item2vec, ранжирование с бустингом, implicit feedback, negative sampling, offline vs online‑метрики.
Ценностные и policy‑методы. Replay‑буфер, target‑сеть, advantage‑оценка, клиппинг обновлений.
devML