- 研究背景
极限学习机（Extreme Learning Machine, ELM）在2004年由Guang-Bin Huang、Qin-Yu Zhu和Chee-Kheong Siew提出，并发表于当年的IEEE国际交互会议（IEEE International Joint Conference）中，目的是为了解决反向传播算法（backward probagation）学习效率低、参数设定繁琐的问题[1]。2006年，ELM原作者在对算法进行了进一步的测评后，将结论发表至Neurocomputing并获得关注 [2] 。
ELM最初是为监督学学习问题而设计的，但在随后的研究中，其应用范围被推广至几乎所有机器学习领域，包括聚类[3]和特征学习[4-5] （representational learning）等，并出现许多变体和改进算法。在ELM的发展过程中，南洋理工大大学的Guang-Bin Huang等人作为ELM的原作者，对ELM的理论和应用进行了持续的研究[6]。ELM的学习策略被认为与某些生物学习过程相近[7]，也为机器学习领域带来了诸多启发，影响了RKS [8]（Random Kitchen Sinks）和No-Prop[9]（No-Propagation）等算法。
正如在第九届极限学习机国际会议（ELM2018）提到的，极限学习机（ELM）旨在实现普遍的学习和普遍的智能。正如ELM理论所倡导的那样，从长远的角度看机器学习和生物学习的融合是令人兴奋的。ELM可能是填补机器学习和生物学习之间差距的基本“学习粒子”之一（激活功能甚至是未知的）。ELM代表了一套（机器和生物）学习技术，其中隐藏的神经元无需调整：从祖先继承或随机生成。ELM学习理论表明，只要它们是非线性分段连续的，就可以基于随机生成的隐藏神经元（生物神经元，人工神经元，小波，傅立叶级数等）推导出有效的学习算法，独立于培训数据和应用程序环境。越来越多的神经科学证据表明，类似的原则适用于生物学习系统。ELM理论和算法认为“随机隐藏神经元”捕获了生物学习机制的一个重要方面，以及生物学习效率不需要依赖神经元计算能力的直观感觉。因此，ELM理论暗示了为什么大脑比现有计算机更智能和有效的可能原因。ELM理论和算法认为“随机隐藏神经元”捕获了生物学习机制的一个重要方面，以及生物学习效率不需要依赖神经元计算能力的直观感觉。因此，ELM理论暗示了为什么大脑比现有计算机更智能和有效的可能原因。ELM理论和算法认为“随机隐藏神经元”捕获了生物学习机制的一个重要方面，以及生物学习效率不需要依赖神经元计算能力的直观感觉。因此，ELM理论暗示了为什么大脑比现有计算机更智能和有效的可能原因。
- 研究现状
近年来众多专家学者投身于其研究的方向如下：
（1）随机生成参数的优化：由于隐含层节点参数随机选取，从而使得隐含层不具有调节功能，因此，隐含层元在构建的单隐含层网络中不具有多大的作用。在不影响ELM算法学习能力和预测能力的情况之下，对其隐含层进行优化显得更加重要。2010年黄广斌和Lan Y等提出CS_ELM和TS_ELM，用不同的方法对随机生成的隐含层节点参数进行筛选，淘汰显着性较弱的隐含层，来实现对已得ELM算法的优化。
（2）最优外权的求解：由于ELM的外权求解过程中要用到求解隐含层输出矩阵的广义逆，而隐含层矩阵奇异和接近奇异的情况下不能得到有效的避免，为提高所构建ELM算法的学习能力，避免噪音带来的广义扰动所产生的偏差，Toh K.A等均借助添加正则项的方法优化了最优外权的选取。
（3）最优隐含层节点个数的选取：针对ELM算法需要较多的隐含层节点个数来弥补隐含节点参数随机选取带来的缺陷这一问题，黄广斌等在2006年和08年先后提出了I-ELM和EI-ELM来优化随机选取的隐含节点参数，从而大大简化了ELM算法的复杂程度，提高了其优化效率，然而由上述算法过程可知最终确定的外权不能保证是相应单隐含层的最优外权。针对该问题，黄广斌等在2009年提出EM_ELM实现了在增加隐含层元的过程中，求得相应单隐含层的最优外权，同时又避免了对上一级隐含层输出矩阵的重复计算。
（4）ELM核函数：在原始的ELM算法中，黄广斌等在2004年提出了训练对应于常加法型隐含层节点网络以及径向基型隐含层节点的单隐含层网络的ELM算法。结合支持向量机的学习原理黄广斌等又在2010年提出了极限学习机的核函数，利用该方法所构建的ELM算法较Liu Q和Frenay B所提出的极限SVMs有着更少的约束条件和更好的学习能力。
下面我将介绍极限学习机在高光谱图像分类中的应用以及卷积极限学习机算法。
2.1 极限学习机在高光谱图像分类中的算法——多层急速学习机(ML-ELM)
