机器学习

• Loss function 损失函数
• Regularization 正则化
• Overfitting 过拟合
• Underfitting 欠拟合
• Generalization 泛化
• Expectation 期望值/数学期望
• Variance 方差
• Bias 偏差
• Error 误差
• Residual 残差
• Regression 回归
• Classification 分类
• Feature selection 特征选择
• Pattern recognition 模式识别
• Supervised learning 监督学习
• Unsupervised learning 无监督学习
• Reinforcement learning 强化学习
• Discriminative model 判别模型
• Generative model 生成模型
• Clustering 聚类
• Bootstrap method 自助抽样法
• Ensemble learning 集成学习
• Least Squares Estimation 最小二乘估计
• Maximum Likelihood Estimation 最大拟然估计
• Expectation Maximization 期望最大化
• Closed-form solution 闭合解/解析解

传统机器学习模型

• Linear Regression 线性回归
• Logistic Regression 逻辑回归
• Support Vector Machine 支持向量机
• Perceptron 感知机
• Decision Tree 决策树
• Gradient Boosting 梯度提升
• Gradient Boosting Decision Tree 梯度提升决策树
• Random Forest 随机森林
• Gaussian Mixed Model 混合高斯模型
• K-means clustering K均值聚类

概率图模型

• Distribution 分布
• Conditional distribution 条件分布
• Joint distribution 联合分布
• Marginal distribution 边缘分布
• Binomial distribution 二项分布
• Bernoulli distribution 伯努利分布
• Categorical distribution 分类分布
• Multinomial distribution 多项分布
• Gamma distribution 伽玛分布
• Beta distribution 贝塔分布
• Dirichlet distribution 狄利克雷分布
• Gaussian distribution 高斯分布
• Bayes' Rule 贝叶斯法则
• Prior probability 先验概率
• Conjugate prior 共轭先验
• Posterior probability 后验概率
• Cross Entropy 交叉熵
• Negative Log Likelihood 负对数拟然
• KL divergence 相对熵/KL散度
• Sampling 抽样
• Importance sampling 重要性抽样
• Gibbs sampling 吉布斯抽样
• Random walk 随机游走
• Monte Carlo Method 蒙特卡罗方法
• Markov Chain Monte Carlo 马尔科夫蒙特卡罗
• Detailed balance condition 细致平衡条件
• Variational inference 变分推断
• Probabilistic Graphical Model 概率图模型
• Naive Bayes 朴素贝叶斯
• Hidden Markov Model 隐马尔科夫模型
• Conditional Random Field 条件随机场

深度学习

• Forward propagation 正向传播
• Backward propagation 反向传播
• Gradient 梯度
• Stochastic Gradient Descent 随机梯度下降
• Convergence 收敛
• Convex optimization 凸优化
• Non-convex optimization 非凸优化
• Activation function 激活函数
• Neuron 神经元
• Weight 权重
• hidden layer 隐藏层
• Tensor 张量
• Hyperparameter 超参数
• Batches 批次
• Epochs 周期
• Pooling 池化
• Padding 填充/补白
• Dropout 丢弃法
• Embedding 嵌套
• Initialization 初始化
• Batch normalization 批量归一化
• Neural Network 神经网络
• Residual Network 残差网络
• Recurrent Neural Network 递归神经网络/循环神经网络
• Long Short-Term memory 长短时记忆
• Backpropagation through time 沿时反向传播
• Convolutional Neural Network 卷积神经网络
• Variational Autoencoder 变分自动编码器
• Generative Adversarial Network 生成对抗网络

(未完 。。。)