1.2 元学习的类型

元学习有多种分类标准，例如寻找最优的权重集与学习优化器。我们将元学习分为以下3类：

❑ 学习度量空间

❑ 学习初始化

❑ 学习优化器

1.2.1 学习度量空间

在基于度量的元学习场景中，我们将学习合适的度量空间。假设我们想学习两幅图像之间的相似性。在基于度量的场景中，我们使用一个简单的神经网络从两幅图像中提取特征，并通过计算两幅图像特征之间的距离找到相似性。这种方法被广泛应用于数据点较少的少样本学习中。接下来的章节将介绍基于度量的学习算法，如孪生网络、原型网络和关系网络。

1.2.2 学习初始化

在这个方法中，我们尝试学习最优的初始参数值。这是什么意思呢？假设我们正在构建一个神经网络来对图像进行分类。我们首先初始化随机权重，计算损失，并通过梯度下降来最小化损失。因此，我们将通过梯度下降找到最优权重，使损失最小。如果不随机初始化权重，而是用最优值或者接近最优值的值来初始化权重，那么就可以更快地收敛，并快速学习。接下来的章节将介绍如何通过MAML、Reptile和Meta-SGD等算法来精确地找到这些最优的初始权重。

1.2.3 学习优化器

在这个方法中，我们尝试学习优化器。一般如何优化神经网络呢？答案是通过基于大数据集的训练来优化神经网络，并使用梯度下降来最小化损失。但是在少样本的学习场景中，梯度下降失效了，因为我们的数据集较小。因此，在这种情况下，我们将学习优化器本身。我们将有两个网络：试图学习的基网络和优化基网络的元网络。后面的章节会详细探讨。