梯度函数最小化

library(torch)

a <- 1
b <- 5

# defining rosenbrock
rosenbrock <- function(x) {
  x1 <- x[1]
  x2 <- x[2]
  (a - x1)^2 + b * (x2 - x1^2)^2
}

num_iterations <- 1000   # 迭代1000次 1000 iterations

lr <- 0.01   # Set the learning rate to 0.01

x <- torch_tensor(c(-1, 1), requires_grad = TRUE)   # 初始化一个张量 x，初始值为 (-1, 1)，并设置 requires_grad = TRUE 以便计算梯度。

for (i in 1:num_iterations) {
  if (i %% 100 == 0) cat("Iteration: ", i, "\n")   # 每100次迭代输出当前的迭代次数。

  value <- rosenbrock(x)   #计算Rosenbrock函数在当前 x 值下的函数值。
  if (i %% 100 == 0) {  # 每100次迭代输出当前的函数值。
    cat("Value is: ", as.numeric(value), "\n")
  }

  value$backward()   # 计算函数值对 x 的梯度。
  if (i %% 100 == 0) {   # 每100次迭代输出当前的梯度值。
    cat("Gradient is: ", as.matrix(x$grad), "\n")
  }

  with_no_grad({   # 在不计算梯度的上下文中更新参数 x。
    x$sub_(lr * x$grad)   # 用梯度下降法更新参数 x，即用学习率乘以梯度的值从 x 中减去。
    x$grad$zero_()   # 将 x 的梯度清零，以便在下一次迭代中重新计算梯度。
  })
}

x