神经网络的应用
神经网络是一种崭新的非算法的信息处理方法,即人工神经元网络.他们以互连结构将人脑建模成连续时间的非线性动态系统,以摹仿人脑机制以模拟智能行为.在这种互连机制中,以大量互连神经元(或处理单元)之间权值的分布表示代替以往的符号结构化表示.在算法中它不需要关键决策流.实现智能神经网络信息处理的基本特性是：
（1） 分布存储与容错性。信息在神经网络内的存储是按内容分布于大量的神经元之中，而且每一个个神经元实际上存储着多种不同信息的部分内容。一定比例的神经元（结点）不参与运算，对整个系统的性能不会产生重大影响。
（2） 并行处理性。固有的并行结构和并行处理，在神经网络中，大量的神经元可同时进行同样的处理，因而是大规模的并行处理。
（3） 信息处理与存储的合二为一，每一个个神经元兼有信息处理和存储功能。
（4） 可塑性与自组织性，自适应，学习性，推理能力和可训练性。层次性与系统性。
神经网络也有它的局限性：
（1） 训练时间长；
（2） 还没有一种独立于问题的好的选择网络拓朴结构的方法；
（3） 初始参数极大地影响概念的学习；
（4） 训练后的人工神经网络往往难以解释它们的结果；
（5） 不适于高精度计算；
（6） 受硬件限制等等
神经网络的模型的最初提出是在1943年，McCulloch和Pitts提出了神经元的形式化模型，神经元可用简单的阈值函数表示，并完成逻辑函数功能。
1949年，D.Hebb 认为信息能被存储在神经元的联接上，提出了更新神经元联接的学习机制，目前被称为Hebb 学习规则。
1958年，F.Rosenblatt提出了感知器，通过修改联接的权值，它能学习分类一定的模式。因感知器的概念简单，首次提出时很受重视，但随后Minsky和Papert从数学上证明：感知器不能完成复杂的逻辑函数。
60年代初，B.Widrow和M.Hoff提出了Adaline(Adaptive linear element), Adaline采用最小均方（least mean square, LMS）算法调节权值，使输出与期望输出的差最小。因LMS算法严格的数学基础， Adaline的线性和自适应性，它已成为自适应信号处理的有力工具。
70年代初期，当Paul Werbos研究社会科学问题时，发现了BP算法的数学原理。Amari研究了神经网络的数学理论。
70年代，基于人脑自动组织它的识别码（recognition code）思想，Grossberg与世隔绝Gail Garpenter提出自组织(Adaptive resonance theory, ART)映射理论，网络的动态特性用一阶微分方程描述。 Kohonen 发展了自组织映射。
1982年，J.Hopfield提出了Hopfield神经网络，又掀起了神经网络研究的一个热潮。
80年代中期，Rumelhert和他的同事出版了著名的并行分布式处理（Paralle distributed Processing）专著，建立了BP算法和前向神经网络。
90年代，又提出了基于知识的人工神经网络和进化神经网络等。
神经网络的类型可分为：前向神经网络，反馈神经网络，随机神经网络及自组织神经网络等。
神经网络的学习类型
1． 有教师学习，对于给定的输入模式，当实际的输出结果和正确的期望输出（教师信号）有误差时，网络将通过自动调节机制调节相应的联结强度，向减少误差的方向改变联结强度，经过多次重复训练，最后和正确的结果相吻合。
2． 无教师学习不需要教师信号，学习表现为自适应于输入空间的检测规则。其学习过程为：给系统提供动态输入信号，以使各个单元以某种方式竞争，“获胜者”神经元本身或其相邻域得到增强，其它神经元进一步抑制，从而将信号空间划分成为有用的多个区域。
学习规则
神经网络已被应用到许多领域，如模式识别、信号处理、专家系统、组合优化和自动控制等。下面是它目前的主要应用领域。
1． 文字识别。
一种方法是将每个文字的代表模式存入计算机，这一代表模式包含了该文字的主要特征，如对称性、重心位置、笔划数量及走向等。识别的主要任务是从含有大量噪声的输入识文字模式中抽取这一文字的主要特征，并将这些特征与计算机内存储的特征进行比较，得到对输入文字模式的正确响应。
2． 语音识别。
让计算机模拟人的听觉，对由麦克风或电话传入的声信号进行识别.语音信号是受说话人物特性(如声源和声道结构)、环境特性（如背景噪声和传输信道）等因素影响的复杂函数，因此不同人之间以及同一人在不同时间收集的语音数据有很大的变化。神经网络的自适应学习功能可以适应这种变化。
3． 图像处理。
把原始图像或经过适当预处理的图像当作网络的输入信号，在网络的输出端对输入图像进行分类或识别。主要包括：图像数据压缩、图像边缘检测、图像自动分类、医学自动诊断，目标自动识别和图像补正。
4． 组合优化。
利用神经网络求解组合优化问题。如用Hopfield网求解旅行商问题（Traveling Salesman Problem, TSP）。有价证券的选择，根据市场的变化情况，对各种证券本身效益及证券之间相互关系的分析，选择最佳方案。通过对投资分散性的控制，在保证投资效益不变或尽量最大的前提下，使投资风险减少到最低程度。
5． 神经网络专家系统。
一般它由知识获取、知识库、推理机和I/O接口等部分组成。知识获取系统包括网络结构、输入学习样本模式的组织形式、网络学习算法等。知识库主要表现为网络的联接权矩阵。推理机系统包括针对特定网络结构的网络运行算法，进行网络前向计算，完成由输入模式到输出模式的非线性映射。I/O接口是用户与系统对话的界面。
6． 神经网络控制。
因为有很多被控对象的模型十分复杂，以致无法建立精确的模型，特别是那些不确定性的系统或过程。应用神经网络可通过对网络的训练，掌握控制对象的非线性函数关系，从而作出恰当的控制决策。神经网络作为控制系统中的一个环节，常常被用作前馈和反馈补偿环节、自适应控制参数估计器和模糊控制器等。基于神经网络的控制系统可看作是一种特殊形式的自适应控制系统。
7． 预测问题。
神经网络的学习能以及通过学习掌握数据间的依从关系，可用于解决各种预测问题。如股票预测、商品价格预测、油气田产量预测和天气预报等。
（1） 分布存储与容错性。信息在神经网络内的存储是按内容分布于大量的神经元之中，而且每一个个神经元实际上存储着多种不同信息的部分内容。一定比例的神经元（结点）不参与运算，对整个系统的性能不会产生重大影响。
（2） 并行处理性。固有的并行结构和并行处理，在神经网络中，大量的神经元可同时进行同样的处理，因而是大规模的并行处理。
（3） 信息处理与存储的合二为一，每一个个神经元兼有信息处理和存储功能。
（4） 可塑性与自组织性，自适应，学习性，推理能力和可训练性。层次性与系统性。
神经网络也有它的局限性：
（1） 训练时间长；
（2） 还没有一种独立于问题的好的选择网络拓朴结构的方法；
（3） 初始参数极大地影响概念的学习；
（4） 训练后的人工神经网络往往难以解释它们的结果；
（5） 不适于高精度计算；
（6） 受硬件限制等等
神经网络的模型的最初提出是在1943年，McCulloch和Pitts提出了神经元的形式化模型，神经元可用简单的阈值函数表示，并完成逻辑函数功能。
1949年，D.Hebb 认为信息能被存储在神经元的联接上，提出了更新神经元联接的学习机制，目前被称为Hebb 学习规则。
1958年，F.Rosenblatt提出了感知器，通过修改联接的权值，它能学习分类一定的模式。因感知器的概念简单，首次提出时很受重视，但随后Minsky和Papert从数学上证明：感知器不能完成复杂的逻辑函数。
60年代初，B.Widrow和M.Hoff提出了Adaline(Adaptive linear element), Adaline采用最小均方（least mean square, LMS）算法调节权值，使输出与期望输出的差最小。因LMS算法严格的数学基础， Adaline的线性和自适应性，它已成为自适应信号处理的有力工具。
70年代初期，当Paul Werbos研究社会科学问题时，发现了BP算法的数学原理。Amari研究了神经网络的数学理论。
70年代，基于人脑自动组织它的识别码（recognition code）思想，Grossberg与世隔绝Gail Garpenter提出自组织(Adaptive resonance theory, ART)映射理论，网络的动态特性用一阶微分方程描述。 Kohonen 发展了自组织映射。
1982年，J.Hopfield提出了Hopfield神经网络，又掀起了神经网络研究的一个热潮。
80年代中期，Rumelhert和他的同事出版了著名的并行分布式处理（Paralle distributed Processing）专著，建立了BP算法和前向神经网络。
90年代，又提出了基于知识的人工神经网络和进化神经网络等。
神经网络的类型可分为：前向神经网络，反馈神经网络，随机神经网络及自组织神经网络等。
神经网络的学习类型
1． 有教师学习，对于给定的输入模式，当实际的输出结果和正确的期望输出（教师信号）有误差时，网络将通过自动调节机制调节相应的联结强度，向减少误差的方向改变联结强度，经过多次重复训练，最后和正确的结果相吻合。
2． 无教师学习不需要教师信号，学习表现为自适应于输入空间的检测规则。其学习过程为：给系统提供动态输入信号，以使各个单元以某种方式竞争，“获胜者”神经元本身或其相邻域得到增强，其它神经元进一步抑制，从而将信号空间划分成为有用的多个区域。
学习规则
神经网络已被应用到许多领域，如模式识别、信号处理、专家系统、组合优化和自动控制等。下面是它目前的主要应用领域。
1． 文字识别。
一种方法是将每个文字的代表模式存入计算机，这一代表模式包含了该文字的主要特征，如对称性、重心位置、笔划数量及走向等。识别的主要任务是从含有大量噪声的输入识文字模式中抽取这一文字的主要特征，并将这些特征与计算机内存储的特征进行比较，得到对输入文字模式的正确响应。
2． 语音识别。
让计算机模拟人的听觉，对由麦克风或电话传入的声信号进行识别.语音信号是受说话人物特性(如声源和声道结构)、环境特性（如背景噪声和传输信道）等因素影响的复杂函数，因此不同人之间以及同一人在不同时间收集的语音数据有很大的变化。神经网络的自适应学习功能可以适应这种变化。
3． 图像处理。
把原始图像或经过适当预处理的图像当作网络的输入信号，在网络的输出端对输入图像进行分类或识别。主要包括：图像数据压缩、图像边缘检测、图像自动分类、医学自动诊断，目标自动识别和图像补正。
4． 组合优化。
利用神经网络求解组合优化问题。如用Hopfield网求解旅行商问题（Traveling Salesman Problem, TSP）。有价证券的选择，根据市场的变化情况，对各种证券本身效益及证券之间相互关系的分析，选择最佳方案。通过对投资分散性的控制，在保证投资效益不变或尽量最大的前提下，使投资风险减少到最低程度。
5． 神经网络专家系统。
一般它由知识获取、知识库、推理机和I/O接口等部分组成。知识获取系统包括网络结构、输入学习样本模式的组织形式、网络学习算法等。知识库主要表现为网络的联接权矩阵。推理机系统包括针对特定网络结构的网络运行算法，进行网络前向计算，完成由输入模式到输出模式的非线性映射。I/O接口是用户与系统对话的界面。
6． 神经网络控制。
因为有很多被控对象的模型十分复杂，以致无法建立精确的模型，特别是那些不确定性的系统或过程。应用神经网络可通过对网络的训练，掌握控制对象的非线性函数关系，从而作出恰当的控制决策。神经网络作为控制系统中的一个环节，常常被用作前馈和反馈补偿环节、自适应控制参数估计器和模糊控制器等。基于神经网络的控制系统可看作是一种特殊形式的自适应控制系统。
7． 预测问题。
神经网络的学习能以及通过学习掌握数据间的依从关系，可用于解决各种预测问题。如股票预测、商品价格预测、油气田产量预测和天气预报等。