梯度下降模拟器

Q: 梯度下降模拟器有哪些容易忽略的细节？

二次型误差按 |1 − ηλ|ᵏ 衰减；η > 1/λ_max 起振荡（符号交替），η > 2/λ_max 发散；c ≠ 0 的交叉项使海森非对角，梯度方向不再直指原点，路径呈折线形。 其余细节见页面注意事项一节。

Q: 怎么使用梯度下降模拟器？

首先，设置目标函数 f(x,y) = a·x² + b·y² + c·xy 的系数（a、b > 0 保证凸） 然后，选择学习率 η 与迭代起点 (x₀, y₀) 全程在页面内完成，结果即时更新。

什么是梯度下降模拟器？

梯度下降（gradient descent）沿负梯度方向反复更新参数以最小化目标函数：每一步 x ← x − η·∇f(x)。

负梯度方向是该点函数值下降最快的方向（方向导数最小方向）。

对凸二次函数可以完全解析地分析其收敛性：稳定收敛要求学习率 η < 2/λ_max（λ_max 是海森矩阵的最大特征值），η = 1/λ_max 时理论收敛最快。

这三条规律对深度学习同样起指导作用——损失函数病态（条件数大）时训练就会震荡。

xₖ₊₁ = xₖ − η·∇f(xₖ)，二次型稳定条件 0 < η < 2/λ_max

λ_max 为海森矩阵最大特征值。η = 1/λ_max 时收敛最快（最优固定步长）。

如何使用梯度下降模拟器

1
设置目标函数 f(x,y) = a·x² + b·y² + c·xy 的系数（a、b > 0 保证凸）
2
选择学习率 η 与迭代起点 (x₀, y₀)
3
点击计算，查看每 10 步的位置、函数值采样表与最终状态
4
对比不同 η：0.1（慢）、0.5~0.9（快）、1.1（振荡）、1.9（接近发散）

计算示例

例 1标准收敛 f = x² + y²，η = 0.3，起点 (4, −3)

λ_max = 2，稳定上界 2/λ_max = 1，η = 0.3 安全每步缩放因子 |1 − ηλ| = 0.7，误差按 0.7ᵏ 几何衰减约 20 步后 f 从 25 降到 25·0.7²⁰ ≈ 0.07 输出表显示位置沿直线滑向原点（梯度方向恒指向最优）

例 2学习率过大导致发散 η = 1.1

缩放因子 |1 − 1.1·2| = 1.2 > 1 每步误差放大 1.2 倍，位置在最优两侧越荡越远模拟在数步内触发发散判定把 η 降到 0.9 以下即恢复收敛——临界值正是 2/λ_max = 2 的一半附近开始振荡

注意事项

二次型误差按 |1 − ηλ|ᵏ 衰减；η > 1/λ_max 起振荡（符号交替），η > 2/λ_max 发散
c ≠ 0 的交叉项使海森非对角，梯度方向不再直指原点，路径呈折线形
真实深度学习用随机梯度（SGD）+ 动量/自适应学习率，本模拟是理解这些改进的基线
起点不影响收敛与否（凸函数），只影响初期轨迹；非凸函数则可能卡在不同局部极小
本模拟固定步长；实际训练常用学习率衰减（step decay / cosine schedule）兼得初期快与末期稳

常见问题

xₖ₊₁ = xₖ − η·∇f(xₖ)，二次型稳定条件 0 < η < 2/λ_max。 λ_max 为海森矩阵最大特征值。η = 1/λ_max 时收敛最快（最优固定步长）。在梯度下降模拟器计算器中输入参数即可按此公式自动求解，无需手工推导。

二次型误差按 |1 − ηλ|ᵏ 衰减；η > 1/λ_max 起振荡（符号交替），η > 2/λ_max 发散；c ≠ 0 的交叉项使海森非对角，梯度方向不再直指原点，路径呈折线形。其余细节见页面注意事项一节。

标准收敛 f = x² + y²，η = 0.3，起点 (4, −3)：λ_max = 2，稳定上界 2/λ_max = 1，η = 0.3 安全每步缩放因子 |1 − ηλ| = 0.7，误差按 0.7ᵏ 几何衰减约 20 步后 f 从 25 降到 25·0.7²⁰ ≈ 0.07 输出表显示位置沿直线滑向原点（梯度方向恒指向最优）

首先，设置目标函数 f(x,y) = a·x² + b·y² + c·xy 的系数（a、b > 0 保证凸）然后，选择学习率 η 与迭代起点 (x₀, y₀) 全程在页面内完成，结果即时更新。

梯度下降（gradient descent）沿负梯度方向反复更新参数以最小化目标函数：每一步 x ← x − η·∇f(x)。

两者同属相关计算链条：梯度计算器 - 二元函数偏导与方向导数解决的是与之衔接的另一层问题。完成梯度下降模拟器计算后，页面底部相关推荐区可直接跳转到梯度计算器 - 二元函数偏导与方向导数继续演算，参数在同类工具间口径一致，交叉验证更方便。

学习率过大导致发散 η = 1.1：缩放因子 |1 − 1.1·2| = 1.2 > 1 每步误差放大 1.2 倍，位置在最优两侧越荡越远模拟在数步内触发发散判定把 η 降到 0.9 以下即恢复收敛——临界值正是 2/λ_max = 2 的一半附近开始振荡

本页梯度下降模拟器计算器与页面内的公式、示例、对照表同源，全部数字由同一套程序实时计算。可用一个已知算例代入验证：先在示例一节找到演算过程，再用相同参数在计算器中复算一遍，两次结果一致即说明口径无误。

计算过程按双精度浮点执行，结果默认保留 4 位有效小数，页面会按数值大小自动切换科学计数法。对照表中的数值与计算器输出完全同源，不存在手工四舍五入引入的偏差。

函数在某点的变化率由方向导数 D_ûf = ∇f·û 给出，取 û = −∇f/|∇f| 时最小（等于 −|∇f|），所以负梯度是值下降最快的方向。

对已知二次型，理论最优是 η = 1/λ_max。实践中从 0.001~0.1 起试，观察损失曲线：下降太慢就增大、出现 NaN 或震荡就减小。学习率查找器（LR range test）是常用手段。

凸函数不会——任何驻点都是全局极小。非凸函数（如神经网络）会，但高维空间中鞍点远比局部极小普遍，且随机梯度噪声有助于逃逸。

参考资料

凯文内容作者Calcton 数学编辑组口径审核Calcton 编辑组交叉审核· 内容更新于 2026-09-12

负责 Calcton 的公式核对与内容撰写：每个工具的公式都注明出处，示例数字经过程序复算，健康与判定标准一律采用国际口径。

Calcton 数学编辑组：标准教科书（高中至大学低年级）与常用数学手册的公式口径。

参考来源与更新说明

本页公式与判定标准参考以下权威资料：

最后更新：2026-09-12。

免责声明：本页面提供的计算结果与说明内容仅供参考，不构成医疗、税务、投资或法律等专业建议。尽管我们力求公式与数据准确，仍可能存在误差；据此做出的任何决策，请结合专业机构意见。

梯度下降迭代模拟

什么是梯度下降模拟器？

如何使用梯度下降模拟器

计算示例

注意事项

常见问题

参考资料

引用本页

把这个计算器嵌入到你的网站

参考来源与更新说明

什么是梯度下降模拟器？

如何使用梯度下降模拟器

计算示例

注意事项

常见问题