Lazy loaded image
拉格朗日乘子法(Lagrange Multiplier) 和KKT(Karush Kuhn Tucker)
Words 473Read Time 2 min
2025-6-29
2026-3-3
type
Post
status
Published
date
Jun 29, 2025
slug
summary
tags
category
icon
password
😀
这里写文章的前言: 一个简单的开头,简述这篇文章讨论的问题、目标、人物、背景是什么?并简述你给出的答案。
可以说说你的故事:阻碍、努力、结果成果,意外与转折。
 

📝拉格朗日乘子法(Lagrange Multiplier)

先看一个三维的例子:假设有可微函数:f(x,y),要求其局部极值,且满足条件 ,其中 为常数。对不同 的值,不难想像出 「等高线」
 
而方程 的可行集所构成的线正好是 。想像我们沿着 的可行集走;因为大部分情况下 的等高线和 的可行集线不会重合,但在有解的情况下,这两条线会相交。
💡
处理「等式约束」
图1:绿线标出的是约束g(x,y) = c的点的轨迹。蓝线是f的等高线。箭头表示梯度,和等高线的法线平行。
图1:绿线标出的是约束g(xy) = c的点的轨迹。蓝线是f的等高线。箭头表示梯度,和等高线的法线平行。
想像此时我们移动 上的点,因为 是连续的方程,我们因此能走到 「更高或更低」的等高线上,也就是说 可以变大或变小。只有当
相切,也就是说,此时,我们正同时沿着
走。这种情况下,会出现极值鞍点
 
 
同时也意味着两者的梯度向量有如下关系(引入一个未知标量λ):
即:
一旦求出 λ 的值,将其套入下式,易求在「无约束」条件下的极值和对应的极值点。
 
注意:新方程 在达到极值时与 相等。因为 达到极值时 ,而 ,也就是说 等于零。
 
 

KKT条件(Karush-Kuhn-Tucker Conditions)

 
 
💡
这是一个使用广义拉格朗日函数的结果
处理「不等式约束」
将会存在一组所谓乘子的常数 ,
令到
,
 

观点2

引用的话语

🤗 总结归纳

总结文章的内容

📎 参考文章

 
💡
有关Notion安装或者使用上的问题,欢迎您在底部评论区留言,一起交流~
 
上一篇
Jacobian矩阵和Hessian矩阵
下一篇
如何从0开始设计一个MLP