梯度下降求函数最小值C++样例-白红宇

梯度下降求函数最小值C++样例

阅读量：686 次

发布时间：2019-03-17

本文共 1310 字，大约阅读时间需要 4 分钟。

【优化内容与技术讲解】

《深度学习的数学》这本书，这是一部由日本作家所著的通俗易懂的科普读物，是深度学习领域的数学基础著作。强烈推荐给对数学基础和机器学习感兴趣的读者阅读。

代码示例：

#include 
   
    #include 
    
     using namespace std;double compute(){    return start_x * start_x * start_x * start_x + start_y * start_y;}

以下是简单的梯度下降算法实现示例，用于最小化函数z = x^4 + y^2。代码基于以下原理：

计算目标函数的梯度：

x方向梯度为4x³

y方向梯度为2y

点更新：

delta_x = learning_rate * (-gradient_x)

delta_y = learning_rate * (-gradient_y)

参数更新：

start_x += delta_x;start_y += delta_y;

优化终止条件：

当delta_x和delta_y均为零时，停止迭代

以下是完整示例代码：

#include 
      
       #include 
       
        using namespace std;double compute_cost(double x, double y){    return x * x * x * x + y * y;}void gradient_descent(double& x, double& y, const double& learning_rate){    double gradient_x = 4.0 * x * x * x;    double gradient_y = 2.0 * y;    // 更新参数    x -= learning_rate * gradient_x;    y -= learning_rate * gradient_y;        // 优化判断    if (fabs(x) < 0.01 && fabs(y) < 0.01) {        cout << "已经找到最优解：" << x << "," << y << endl;        break;    }}int main(){    // 参数初始化    double x = -5.0;    double y = -5.0;    double learning_rate = 0.1; // 可以根据需要调整学习率    // 开始优化    while (true)     {        // 计算梯度        double curr_x

这个优化后的版本：