正在开发中…
$F_{\mu}$
$F_a + F_b = F_c$
$F_a = F_b + F_c + F_{\mu}$
公式是这样的 $F_a = F_b + F_c + F_{\mu}$，你必须理解它，才能看懂下面这些公式：
$$\begin{aligned} \dot{x} & = \sigma(y-x) \\ \dot{y} & = \rho x - y - xz \\ \dot{z} & = -\beta z + xy \end{aligned}$$实验目的
- 进一步理解线性回归和梯度下降的原理。
- 在小规模数据集上实践。
- 体会优化和调参的过程。
数据集
- 线性回归使用的是LIBSVM Data中的Housing数据，包含506个样本，每个样本有13个属性。请自行下载scaled版本，并将其切分为训练集，验证集。
- 线性分类使用的是LIBSVM Data中的australian数据，包含690个样本，每个样本有14 个属性。请自行下载scaled版本，并将其切分为训练集，验证集。
实验步骤
线性回归和梯度下降
- 读取实验数据，使用sklearn库的load_svmlight_file函数读取数据。
- 将数据集切分为训练集和验证集，本次实验不切分测试集。使用train_test_split函数切分数据集。
- 线性模型参数初始化，可以考虑全零初始化，随机初始化或者正态分布初始化。
选择Loss函数及对其求导，过程详见课件ppt。
求得所有样本对Loss函数的梯度。
取梯度的负方向，记为。
更新模型参数，。为学习率，是人为调整的超参数。
在训练集上测试并得到Loss函数值，在验证集上测试并得到Loss函数值。
重复步骤5-8若干次，画出和随迭代次数的变化图。
$F$
$$
\begin{eqnarray}
\nabla\cdot\vec{E} &=& \frac{\rho}{\epsilon_0} \
\nabla\cdot\vec{B} &=& 0 \
\nabla\times\vec{E} &=& -\frac{\partial B}{\partial t} \
\nabla\times\vec{B} &=& \mu_0\left(\vec{J}+\epsilon_0\frac{\partial E}{\partial t} \right)
\end{eqnarray}
$$