InBatchNeg采样去偏推导
InBatchNeg采样去偏推导
在学习 DSSM / Two-Tower 召回模型时,经常会看到 in-batch negative、sampled softmax、logQ correction 等概念。很多文章会提到 “logits − logQ 可以缓解热门偏置、提升长尾”,但很少从训练目标和负采样分布的角度把这个机制讲清楚。实际上,(-\log Q) 的核心作用并不是刻意优化长尾,而是用于纠正负采样分布带来的训练偏差(sampling bias),使 sampled softmax 的优化目标更接近 full softmax。本文整理了自己理解这一问题的过程,从负采样、logQ correction 到长尾采样策略,尝试用更直观的方式解释这些概念之间的关系。