区别
机器学习、深度学习和人工智能是计算机科学中相关的概念，但它们之间存在一些区别。下面是对它们的简要概述和区分：
人工智能（Artificial Intelligence, AI） ：人工智能是一门研究如何创建能模拟人类智能的计算机系统的学科。它的目标是让计算机能够理解、学习、推理和解决问题。人工智能可以分为两类：弱人工智能（Weak AI）和强人工智能（Strong AI）。弱人工智能是专门为特定任务而设计的智能系统，如语音识别、图像识别等。强人工智能则是具有广泛的认知能力，能够在多种任务中展现出智能行为的系统。
机器学习（Machine Learning, ML）：机器学习是人工智能的一个子领域，它专注于开发算法让计算机能从数据中学习。通过对大量数据进行训练，机器学习模型可以识别数据中的模式、关系或特征，然后对新数据进行预测或分类。机器学习的方法可以分为监督学习、无监督学习、半监督学习和强化学习等。
深度学习（Deep Learning, DL）：深度学习是机器学习的一个子领域，它主要关注使用多层神经网络（尤其是深度神经网络）对数据进行表示和学习。深度学习在许多任务，如图像识别、语音识别、自然语言处理等方面已经取得了显著的成功。深度学习模型通常需要大量的计算资源和数据才能达到理想的性能。
总结一下，人工智能是一个广泛的概念，旨在让计算机具有类似人类的智能。机器学习是实现人工智能的一种方法，它通过让计算机从数据中学习来实现智能。深度学习是机器学习的一个子领域，它侧重于使用深度神经网络来学习数据的表示。
词语
准确率（Accuracy）
越高越好
这是最简单，最直观的度量标准，是正确预测的数量与总预测数量的比例。
精确率（Precision）
越高越好
又称为正预测值，它表示被模型预测为正例的样本中实际为正例的比例。它是 $Precision = \frac{TP}{TP+FP}$ 的比例，其中 $TP$ 是真正例（模型正确预测的正例），$FP$ 是假正例（模型错误预测的正例）。
召回率（Recall）
越高越好
又称为真正例率，它表示实际为正例的样本中被模型正确预测的比例。它是 $Recall = \frac{TP}{TP+FN}$ 的比例，其中 $FN$ 是假反例（模型错误预测的反例）。
F1分数
越高越好
精确率和召回率的调和平均数。它试图平衡精确率和召回率。$F1 = 2 * \frac{Precision * Recall}{Precision + Recall}$。
AUC-ROC
越接近1越好
ROC曲线下的面积（Area Under the ROC Curve）。ROC曲线是通过改变二元分类器阈值得到的假正例率（FPR）和真正例率（TPR）的曲线。
均方误差（Mean Squared Error，MSE）
越低越好
用于回归任务，表示预测值与实际值之间差的平方的平均值。
交叉熵（Cross-Entropy）
越低越好
常用于分类任务，特别是多类别分类任务。它衡量的是实际分布与预测分布之间的差异。
任务（Task）
指的是机器学习模型需要完成的工作类型，如分类（classification），回归（regression），聚类（clustering），生成模型（generative modeling）等。
Epoch
一个epoch意味着模型已经看过整个训练数据集一次。在一个epoch中，模型对所有训练数据进行一次前向传播和一次反向传播。一个epoch中的前向传播和反向传播过程可以被视为一个迭代的优化过程，其目标是减少模型对训练数据的预测误差。
前向传播（forward propagation）
前向传播是指数据在神经网络中的传播过程。这个过程开始于输入层，经过各个隐藏层，最终达到输出层。在每一层中，数据会被当前层的权重加权，然后经过一个激活函数，输出到下一层。这就是前向传播的过程。
反向传播（backpropagation）
反向传播是神经网络训练中的关键步骤，用于更新神经网络的权重和偏置。在前向传播后，我们可以通过比较模型的预测输出和实际目标，计算出一个损失函数（loss function）。反向传播的目标就是计算这个损失函数相对于每个权重和偏置的梯度，然后使用这些梯度来更新权重和偏置，以此减少损失函数的值。这个过程基于链式法则，从输出层向输入层逐层计算并传播梯度。
批量大小（Batch Size）
指的是在每次更新模型参数时，从训练数据集中取出的样本数量。批量大小对训练速度和效果都有影响。
损失函数（Loss Function）
用来评估模型的预测与实际值之间的差距。我们的目标是最小化损失函数。
学习率（Learning Rate）
用于控制模型参数在每次更新时移动的步长。学习率的设定对模型的训练效果有很大的影响。
过拟合（Overfitting）
当模型在训练数据上的表现很好，但在未见过的数据（如验证或测试集）上表现较差时，我们说模型过拟合了。
欠拟合（Underfitting）
当模型在训练数据上的表现也不好，表明模型可能太简单，没有学习到数据的内在规律。
验证集（Validation Set）
用于在训练过程中评估模型的表现，以便调整超参数，如学习率等。
测试集（Test Set）
用于在模型训练完成后，评估模型在未见过的数据上的泛化性能。
正则化（Regularization）
是一种用于防止过拟合的技术，常见的方法包括L1正则化，L2正则化和dropout等。