机器学习常用激活函数及其选型
机器学习常用激活函数及其选型
本文按照激活函数的发展脉络，对深度学习中常用的激活函数进行了系统整理，涵盖其数学公式、取值范围、核心特点、PyTorch公式级实现代码、适用场景、出现背景（解决的具体问题）以及计算复杂度和参数情况等信息。通过这种方式，可以从工程和理论两个角度快速理解不同激活函数的设计动机与应用差异，帮助在实际模型设计（如推荐系统、CV、LLM 等）中进行合理选型。
机器学习常用损失函数及其选型
机器学习常用损失函数及其选型
在机器学习与深度学习实践中，损失函数（Loss Function）是连接模型预测与优化目标的核心组件，它定义了模型“什么样的预测是好的”。不同任务（如回归、分类、排序或表征学习）对应的损失函数形式和优化目标也各不相同，因此合理选择损失函数往往对模型效果具有决定性影响。本文整理了工程与论文中常见的损失函数，并按照回归、分类（Pointwise）、排序（Pairwise/Listwise）以及表征学习等典型任务场景进行分类，总结其数学形式、核心思想和适用条件，帮助读者在实际建模与系统设计中快速理解各类损失函数的作用及选型依据。