神经网络理论的发展与前沿问题
2015/12/16 哲学园

     作者简介:刘永红,研究领域为神经网络理论、智能控制等.

     作者单位:武汉工业大学自动化系

     摘 要:系统地论述了神经网络理论发展的历史和现状,在此基础上,对其主要发展趋向和所涉及的前沿问题进行了阐述.文中还作了一定的评论,并提出了新的观点.

     关键词:神经网络理论,神经计算,进化计算,基于神经科学和数学的研究

     1 引言

     神经网络是一门活跃的边缘性交叉学科 . 研究它的发展过程和前沿问题,具有重要的理论意 义 .

     神经网络理论是巨量信息并行处理和大规模平行计算的基础,神经网络既是高度非线性动力 学系统,又是自适应组织系统,可用来描述认知、决策及控制的智能行为.它的中心问题是 智能的认知和模拟.从解剖学和生理学来看,人脑是一个复杂的并行系统,它不同于传统 的 Neumann 式计算机,更重要的是它具有“认知”“意识”和“感情”等高级脑功能 .我们以人工方法摸拟这些功能,毫无疑问,有助于加深对思维及智能的认识. 80 年代初, 神经网络的崛起,已对认知和智力的本质的基础研究乃至计算机产业都产生了空前的刺激 和极大的推动作用.

     近十年来,神经网络理论与实践有了引人注目的进展,它再一次拓展了计算概念的内涵,使 神经计算、进化计算成为新的学科,神经网络的软件模拟得到了广泛的应用.近几年来科技 发达国家的主要公司对神经网络芯片、生物芯片独有情钟.例如 Intel 公司、 IBM 公司、 AT &T 公司和 HNC 公司等已取得了多项专利,已有产品进入市场,被国防、企业和科研部门选 用,公众手中也拥有神经网络实用化的工具,其商业化令人鼓舞.尽管神经计算机、光学神 经计算机和生物计算机等研制工作的艰巨性和长期性,但有一点可以使人欣慰:它现在还只 是初露锋芒,有巨大的潜力与机会,前景是美好的.

     事实上,探究大脑—思维—计算之间的关系还刚刚开始,道路还十分漫长,关于脑的计算原 理及其复杂性;关于学习、联想和记忆过程的机理及其模拟等方面的研究已受到人们的关注 ,它未来的发展必将是激动人心的.神经网络理论的前沿问题将渗透在 21 世纪科学的挑战性 问题中,可能取得重大的突破.

     2 发展历史及现状

     神经网络诞生半个多世纪以来,经历了 5 个阶段:

     (1) 奠基阶段 . 早在 40 年代初,神经解剖学、神经生理学、心理学以及人脑神 经元的电生理的研究等都富有成果.其中,神经生物学家 McCulloch 提倡数字化具有特 别意义.他与青年数学家 Pitts 合作[ 1 ],从人脑信息处理观点出发,采用数理 模型的方法研究了脑细胞的动作和结构及其生物神经元的一些基本生理特性,他们提出了第 一个神经计算模型,即神经元的阈值元件模型,简称 MP 模型,他们认识到了模拟大脑可 用于逻辑运行的网络,有一些结点,及结点与结点之间相互联系,构成一个简单神经网络模 型.其主要贡献在于,结点的并行计算能力很强,为计算神经行为的某此方面提供了可能性 ,从而开创了神经网络的研究.这一革命性的思想,产生了很大影响.

     举例说,数学家 Kleene 在此基础上抽象成一种有限自动机理论. Wiener 是控制论的创 始人之一, 1948 年他出版了著名专著 Cybernetics [ 2 ] , 探讨了动物和机器的控制 和通讯问题,他在 1961 年增补了两章内容,主要是讨论学习和自生殖问题,他选择机器学习 下棋问题作为研究对象,对脑电波与自组织系统进行了探索.尤其是, MP 模型是最终导致 Neumann 电子计算机诞生的重要因素之一,数学家 Neumann [ 3 ]是现代计算机科学 的创始人之一,又是最初的神经网络设想者之一.他研究了自我繁衍自动机,而且证明了至 少存在一种确实能够自我繁衍的分子自动机模型, 1966 年他提出了元胞自动机,可用来模拟 生命系统所具有的自复制功能,还可用来模拟其他的自然现象.但有很多元胞自动机也并不 一定对某个连续系统的离散化描述得好.于是, Neumann 又设想一种新的计算机:基于 自动机理论、自然和人工智能知识的计算机.

     此外,数学家 Turing 建立了通用计算机的抽象模型[ 4 , 5 ],他和 Post [ 6 ]都证明了一个重要定理:原则上存在着一种“万能自动机”,它能识别任何别的自 动机能够识别的符号串. Turing 机理论,为带有存贮程序的计算机的形式程序语言的发 明提供了理论框架.重要的是,他研究了算法而不是公理系统的效率.并行处理和串行处理 在原则上尽管相同,但区别在于,整个计算的效率或速度不同.值得注意的是, Turing 机和逻辑神经网络之间或多或少的等价值得到了证明,使人们对于大脑和计算机之间的类似 性的信念进一步加强了.可惜当时人们认为这种类似都是基于逻辑单元的相似性,而作为信 息处理工具的神经系统,人们还缺乏认识.

     1949 年神经生物学家 Hebb [ 7 ]的论著 The Organization of Behavior ,对大脑神经细胞、学习与条件反射作了大胆地假设,称为 Hebb 学习规则.他的基本思想是,假 设大脑经常在突触上做微妙的变化,突触联系强度可变是学习和记忆的基础,其强化过程导 致了大脑自组织形成细胞集合 ( 几千个神经元的子结合 ) ,其中循环神经冲动会自我强化,并继续循环,任何一个神经元同属于多个细胞集合,可以说,细胞集合是大脑思维信息的基本 量子.他给出了突触调节模型,描述了分布记忆,它后来被称为关联论 (connectionist ) .由于这种模型是被动学习过程,并只适用于正交矢量的情况,后来研究者把突触的变化 与突触前后电位相关联,在他的基础上作了变形和扩充.说明 Hebb 对神经网络的发展起 到了重大的推动作用,至今仍然被人们引证.

     50 年代初,神经网络理论具备了初步模拟实验的条件. Rochester , Holland 与 IBM 公司的研究人员合作,他们通过网络吸取经验来调节强度,以这种方式模拟 Hebb 的学习规则,在 IBM701 计算机上运行,取得了成功,终于出现了许多突现现象,几乎有大脑的处理风格.但,最大规模的模拟神经网络也只有 1000 个神经元,而每个神经元又只有 16 个结合点.再 往下做试验,便受到计算机的限制. Hebb 的学习规则理论还影响了正在 IBM 实习的 研究生 McCarthy ,他参入 IBM 的一个小组,探讨有关游戏的智能程序,后来他成为 人工智能的主要创始人之一. 人工智能的另一个主要创始人 Minsky 于 1954 年对神经系统 如何能够学习进行了研究,并把这种想法写入他的博士论文中,后来他对 Rosenblatt 建 立的感知器 (Perceptron) 的学习模型作了深入分析.

     1952 年英国生物学家 Hodgkin 和 Huxley 建立了长枪乌贼巨大轴索非线性动力学微分方程 ,简称 H-H 方程,形如

     解释略.由于 Hodgkin 和 Huxley 研究的成果有重大理论及应用价值,他们荣获了 诺贝尔生理医学奖 .他们的著名方程引起了许多学者的关注,方程中包含了丰富的内容,对理论和实践产生了极大的作用, 有些学者对 H-H 方程研究得到了很多有意义的结果.如,发现了神经膜中所发生的非线性现象:自激振荡、混沌及多重稳定性等,几乎都可用这个方程来 描述 .

     1954 年生理学家 Eccles 提出了真实突触的分流模型[ 8 ],并通过突触的电生理实验得到证实.其重要意义是,为神经网络模拟突触的功能提供了原型和生理学的证据. 1956 年 Uttley 发明了一种由处理单元组成的推理机,他称这种处理单元为信息子 (informo n) ,用推理机模拟行为及条件反射现象.它是一种线性分离器,利用 Shannon 的熵值与输 入输出概率之比的自然对数来调节其输入参数.他在 70 年代中期把它应用于自适应模式识别 ,他认为这种模型是实际神经系统的工作原理,并出版了专著 Information Transmission in the Nervous System .

     (2) 第一次高潮阶段. 1958 年计算机科学家 Rosenblatt [ 9 ]基于 MP 模型,增加了学习机制,推广了 MP 模型.他证明了两层感知器能够将输入分为两类,假如这两种类型是线性并可分,也就是一个超平面能将输入空间分割,其感知器收敛定理:输入和输出层之间的权重的调节正比于计算输出值与期望输出之差.他提出的感知器模型,首次把神经网络理论付诸工程实现.例如, 1957 年到 1958 年间在他的帅领下完成了第一台真正的神经计算机,即: Mark Ⅰ的感知器.他还指出了带隐层处理元件的 3 层感知 器这一重要的研究方向,并尝试将两层感知器推广到 3 层.但他未能找到比较严格的数学方法来训练隐层处理单元.这种感知器是一种学习和自组织的心理学模型,其结构体现了神经生理学的知识.当模型的学习环境有噪音时,内部结构有相应的随机联系,这种感知器的学习规则是突触强化律,它可能应用在模式识别和联想记忆等方面.可以说,他的模型包含了一些现代神经计算机的基本原理,而且是神经网络方法和技术上的重大突破,他是现代神经网络的主要建构者之一. Rosenblatt 之举激发了许多学者对神经网络研究的极大兴趣. 美国上百家有影响的实验室纷纷投入这个领域,军方给予巨额资金资助,如,对声纳波识别 ,迅速确定敌方的潜水艇位置,经过一段时间的研究终于获得了一定的成果.这些事实说明 ,神经网络形成了首次高潮.

     1960 年 Widrow 和 Hoff 提出了自适应线性元件 ADACINE 网络模型[ 10 ],是一 种连续取值的线性网络,主要用于自适应系统.他们研究了一定条件下输入为线性可分问题 ,期望响应与计算响应的误差可能搜索到全局最小值,网络经过训练抵消通信中的回波和噪 声,它还可应用在天气预报方面.这是第一个对实际问题起作用的神经网络. 他们还对 3 层 网络进行过尝试,但仍给不出数学解. 可以说,他们对分段线性网络的训练有一定作用,是 自适应控制的理论基础. Widrow 等人在 70 年代,以此为基础扩充了 ADALINE 的学习能力 , 80 年代他们得到了一种多层学习算法.

     在神经网络中,出现一种持续不衰减的周期性兴奋波,称为回响 (reverberation) 现象 .人们关心的问题是产生回响的条件,网络的参数对回响的周期、幅度等性质的影响,以及 如何通过外部来控制回响波.从而利用神经网络的节律性,并解释脑电波中的α节律. 1961 年意大利科学家 Caianiello 基于神经元模型,引入了不应期特性,提出一个神经方程

     式中 1 [ . ]是单位阶跃函数, Si 是第 i 个神经元所受到的外界刺激,θ i 是第 i 个神经元的阈值, t-r 是过去的某一时刻, H 是影响网络所持续的最长时间, Wij(r) 是影响权重,它有兴奋性和抑制性两种输入.该方程同时考虑神经元的空间和时间性质,而且取离散值,用网络内部结构不变的方式来描述神经网络中的回响现象.它的局限性在于,不能反映学习和记忆过程.由于该方程中出现一个非线性函数,所以用它研究回响现象时,就会 遇到一个在非线性系统中求周期解的问题,而这是一个相当复杂的问题.随后, Caianiello 根据 Hebb 假说,发展了他自己的模型,描述了学习和记忆过程中重复强化因素,以及遗忘过程为饱和性质,给出了一种记忆方程

     有趣的是, Cainaniello 对脑的某一状态所对应不同的参数作了举例说明.比如,对应于理解、联想、忘记、睡眠和梦等出现的情况.但他给出的方程组很难求出定量解,并且还未与神经系统的结构相结合,仅仅对神经系统的功能作一些定性分析.当然,他的非线性时变方程组,在一些简化的特殊条件下可以得到解析解.所以许多学者在计算机上用模拟方法研究这个相当复杂的问题.

     1962 年 Rosenblatt 对他的感知器作了总结[ 11 ].还有些科学家采用其它数学模 型,如,用代数、矩阵等方法来研究神经网络.值得一提的是,我国中科院生物物理所在 19 65 年提出用矩阵法描述一些神经网络模型.他们重点研究视觉系统信息传递过程和加工的机 理以及建立有关数学模型.此外, Fogel 、 Owens 和 Walsh 在 1966 年出版了一本关于进化规 划的专著 Artificial Intelligience Through Simulated Evolution .由于该书所提倡的 思想方法根本不合当时人工智能的主流,受到学术界的怀疑 ,一直到 90 年代初才被人们重视 .

     60 年代中、后期, Grossberg [ 12 , 13 ]从信息处理的角度,研究了思维和大脑结合的理论问题,运用数学方法研究自组织性、自稳定性和自调节性,以及直接存取信息的有关模型.他建立了一种神网络结构,即:他给出的内星 (instar) 、外星 (outstar) 和雪崩 (av alanche) 为最小的结构.他提出的雪崩网可用于空间模式的学习和回忆以及时间模式的处 理方面,如,执行连续语音识别和控制机器人手臂的运动.他的这些成果,对当时影响很大 ,有些学者与 Grossberg 合作,他组建的自适应系统中心取得了丰硕的成果,几乎涉及到 神经网络的各个领域.日本神经网络理论家 Amari 注重生物神经网络的行为与严格的数学 描述相结合,尤其是对信任分配问题的研究,得到许多重要结果. Willshaw 等人[ 14 ]提出了一种模型:存贮输入信号和只给出部分输入,恢复较完整的信号,即全息音 ( holophone) 模型.这为利用光学原理实现神经网络奠定了理论基础,为全息图与联想记 忆关系的本质问题的研究开辟了一条新途径. Nilsson 对多层机,即具有隐层的广义认 知机作了精辟论述[ 15 ],他认为网络计算过程实质上是一种坐标变换或是一种映射.他已对这类系统的结构和功能有比较清楚的认识.但他没有给出一种实用的学习算法.那时,尚无人知道训练由多层阈值逻辑单元 (TLUs) 组成的多层机的实用方法. 60 年代,美国在视感控制方面曾热过一阵子,由于识别视觉特征的功能一直得不到增强,于是受到冷落,主要是缺乏理论的正确指导.不言而喻,要解决这样复杂的问题就应该建立它的基本理 论.直到 80 年代初, Ullman 指出了似运动机制的计算理论、 Marr 的视觉理论,他们为 这一领域的发展奠定了坚实的理论基础.

     (3) 坚持阶段. 神经网络理论那遥远但并非遥不可及的目标着实吸引了很多人的目光, 美国军方 认为神经网络工程应当比“原子弹工程”更重要,并对它的投资兴趣非常大,而对其实践的 效果也比较满意. 这时, Minsky 警觉的是,人工智能的发展与前途问题.以顺序离符号推导为其基本特征与神经网络大相径庭.他引发学术界的争议,导致对人工智能投资的增加.他从感知器的功能及局限性入手,在数学上进行了分析,证明了感知器不能实现 XOR 逻辑函数问题,也不能实现其它的谓词函数.他认识到感知器式的简单神经网络对 认知群不变性无能为力. 1969 年 Minsky 和 Papert 在 MIT 出版了一本论著 Percertrons ,对 当时与感知器有关的研究及其发展产生了恶劣的影响,有些学者把研究兴趣转移到人工智能 或数字计算机有关的理论和应用方面.这样,推动了人工智能的发展,使它占了主导地位. 美国在此后 15 年里从未资助神经网络研究课题,前苏联有关研究机构也受到感染,终止了已经资助的神经网络研究的课题.

     Minsky 对感知器的评论有一定启发性.然而更多的是他的偏爱和误导. 美国科学家 Simon 甚至在 1984 年出版的一本论著 Patterns and Operators : The Foundation of Data Re presentation 中还在判感知器死刑.说明他对神经网络理论在 70 年代至 80 年代初有关 感知器方面的成果缺乏了解. 更遗憾的是, Minsky 和 Papert 没有看到日本科学家 Amari 在 1967 年对信任分配问题的数学求解这一重要成果. 如果他们知道,写那本书就会谨慎,也 就绝对不会产生当时那种影响 .后来, Minsky 出席了首届国际神经网络会议 (1987 年 ) , 他 发表演说:过去他对 Rosenblatt 提出的感知器下的结论太早又太死,在客观上,阻碍了神 经网络的发展.

     最有意义的是,仍然有少数天才的具有远见卓识的科学家在坚持不断的研究神经网络理论, 有的科学家在此期间投入到这个领域,带来了新的活力.他们取得了理论上的一系列重要成 果.举例如下:

     Holland 于 1960 年卷入基因遗传算法及选择问题的数学方法分析和基本理论的研究中,经过长期探索与实践,建立了遗传算法理论[ 16 , 17 ].遗传算法是一种借鉴生物界自然选择和自然遗传机制的高度并行、随机、自适应搜索算法,从而开拓了神经网络理论的一个新的研究方向.然而, 当时产生共鸣的只有他指导的博士和人工智能中少数的学者,在计算机科学世界里没有把他的“古怪”的理论真的当一回事. 与此同时, Holland 也没有把自己的理论应用到会引起广泛注意的那些实用问题并可争取到不少的投资.他从不对自己的理论外廓喧染,而是只顾那种兴趣以及他的研究进展.当然, Holland 的研究与人工智能的主流研究方向正相反.他认为学习问题和来自环境的反馈问题是生物进化的 根本问题,竞争比连贯一致更为本质.他设计的分类器系统的规则会随时间而改变和进化, 这很重要,并在计算机上模拟了突现模型,系统具有开采—探险式学习能力.后来,他的一 名学生 Goldberg 博士在 1983 年将这个理论成功的应用到煤气管道的模拟系统上 . 在一些 心理学实验中他的理论也得到了验证.

     1974 年 Stein, Lenng, Mangeron 和 Oguztoreli 提出了一种连续的神经元模型[ 18 ],采用泛函微分方程来描述各种普通类型的神经元的基本特征,方程形如

     式中把 t 时刻规范化的轴突冲动频 x(t) (0 ≤ x(t) ≤ 1) 和神经细胞的输入 f(t) 联系起来.常数 a > 0, 0 < p < q 和 b 是个别神经元的特性或某特殊类神经元的特性.若 b 值取负 ( 通常情况 ) , 则积分项表示抑制新冲动的产生. 1976 年 Heiden 研究这个方程的性质,他引入变量,即

     把他们的方程化为 3 维动力系统,形如

     Heiden 得到了一些重要的结论[ 19 ].如,该系统可化为竞争系统,方程至少有一周期轨道,其 Floquet 特征乘数的模不大于 1 和系统存在唯一的渐近稳定的周期轨道等,表明神经元中存在振荡行为,并且还是循环的.

     1976 年 Grossberg [ 20 ]提出自适应共振理论 (ART) ,这是感知器较完善的模型,即 superrised 学习方式.本质上说,仍是一种 unsuperrised 学习方式.随后,他与 Carpen ter 一起研究 ART 网络,它有两种结构 ART1 和 ART2 ,能够识别或分类任意多个复杂的二元输入图像,其学习过程有自组织和自稳定的特征,一般认为它是一种先进的学习模型.

     类似的情形: Werbos [ 21 ]提出的 BP 理论以及提出的反向传播原理; Fukushima [ 22 ]提出了视觉图象识别的 Neocognitron 模型,后来他重新定义了 Neocognitron; Am ari [ 23 ]对神经网络的数学理论研究受到一些学者的关注; Feldmann , Ballard , Ru melhart 和 McClelland 等学者致力于连续机制,并行分布处理 (PDP) 的计算原则和算法研究, 他们提出了许多重要的概念和模型; Rechenber 提出了进化随机策略,并成功的应用到物体风洞试验中; Kohonen 出版了一本专著 Associative Memory-A System Theoretic Approach (1977 年 ) ,他阐述了全息存储器与联想存储器的关系,详细讨论了矩阵联想存储器,这两 种存储都是线性的,并以互联想的方式工作,实现起来比较容易.

     上述研究成果的影响在扩大,坚定的神经网络理论家仍在继续研究,为掀起第二次高潮作好 了准备.可以肯定,神经网络理论在坚持阶段不仅有活力,它的独立性非常强,许多论文和专著将逐步融入科学知识中.

     (4) 第二次高潮阶段. Kohonen 提出了自组织映射网络模型[ 24-26 ],映射具有拓扑性质,对一维、二维是正确的,并在计算机上进行了模拟,通过实例 所展示的自适应学习效果显著.他认为有可能推广到更高维的情况.当时,他的自组织网络 的局部与全局稳定性问题还没有得到解决.值得一提的是, Hinton 和 Anderson 的著作 Para llel Models of Associative Memory 产生了一定的影响.由于理想的神经元连接组成的理 论模型也具有联想存储功能,因此特别有意义.这类神经网络从 40 年代初就有学者在研究. 当然,不同时期总有新的认识. 1982 年生物物理学家 Hopfield [ 27 ]详细阐述了它的 特性,他对网络存储器描述得更加精细,他认识到这种算法是将联想存储器问题归结为求某 个评价函数极小值的问题,适合于递归过程求解,并引入 Lyapunov 函数进行分析.在网络中 ,节点间以一种随机异步处理方式相互访问,并修正自身输出值,可用神经网络来实现,从 而这类网络的稳定性有了判据,其模式具有联想记忆和优化计算的功能.并给出系统运动方 程,即 Hopfield 神经网络的神经元模型是一组非线性微分方程

     其中 ui 是第 i 个神经元的膜电位, Ci 、 Ri 分别是输入电容和电阻, Ii 是电路外的输 入电流, Tij 是第 J 个神经元对第 i 神经元的联系强度, f(u) 是 u 的非线性函数,一般 取 S 型曲线或阶跃函数.他构造出 Lyapunov 函数,并证明了在 Tij=Tji 情况下,网络在平衡点附近的稳定性,并对这种模型以电子电路来实现.这样,研究取得了重大的突破,对神经网络理论的发展产生了深远的影响. 1982 年 Hopfield 向美国科学院提交了关于神经网络的报告, 其主要内容是,建议收集和重视以前对神经网络所做的许多研究工作,他指出了各种模型的实用性.从此,第二次高潮的序幕拉开了.

     Marr 开辟了视觉和神经科学研究的新篇章,他的视觉计算理论对视觉信息加工的过程进 行了全面、系统和深刻的描述,对计算理论、算法、神经实现机制及其硬件所组成的 3 个层 次作了阐述. 1982 年 Marr [ 28 ]的著作 Vision 使许多学者受益,被认为是最具权 威性和经典性的著作.在 Marr 的理论框架的启示下, Hopfield 于 1982 年至 1986 年提出了 神经网络集体运算功能的理论框架[ 29-31 ],随后,引起许多学者研究 Hopfield 网络的热潮,对它作改进、提高、补充、变形等,至今仍在进行,推动了神经网络的发展 .例如: 1986 年 Lee [ 32 ]引入高阶突触连接,使这一网络的存储有相当大的提 高,并且收敛快,但随着阶数的增加,连接键的数目急剧增加,实现起来就越困难,得不到 技术的支持. Lapedes [ 33 ]提出的主—从网络是对它的发展,并充分利用了联 想记忆及制约优化双重功能,还可推广到环境随时间变化的动态情况,但对于大 N ,主网络 的维数很高,也成为一个实际困难;一些研究者发现 ,Hopfield 网络中的平衡点位置未知,即使给出一具体平衡位置,用他的方法也不能确定其稳定性,只得到极小值点满足的必要条件,而非充分条件. Hopfield 网络在求解 TSP 问题上也存在一些问题,需要改进. 另外,有些学者试图建立实用稳定性,有一定理由,它可以体现容错能力.

     1983 年 Kirkpatrick 等人[ 34 ]首先认识到模拟退火算法可应用于 NP 完全组合优化问题的求解.这种思想最早是由 Metropolis 等人在 1953 年提出的,即固体热平衡问题,通过模拟高温物体退火过程的方法,来找全局最优或近似全局最优,并给出了算法的 接受准则.这是一种很有效的近似算法.实际上,它是基于 Monte Carlo 迭代法的一种启 发式随机搜索算法. 1984 年 Hinton 等人[ 35 , 36 ]提出了 Boltzmann 机模型,借用 统计物理学中的概念和方法,引入了模拟退火方法,可用于设计分类和学习算法方面,并首 次表明多层网络是可训练的.它是一种神经网络连接模型,即由有限个被称之为单元的神经 元经一定强度的连接构成,又是一种神经计算机模型. Sejnowski [ 37 ]于 1986 年 对它进行了改进,提出了高阶 Boltzmann 机和快速退火等.这些成为随机神经网络的基本 理论.

     Poggio 等人[ 38 , 39 ]以 Marr 视觉理论为基础,对视觉算法进行了研究,在 1984 年和 1985 年他提出了初级视觉的正则化方法,使视觉计算的研究有了突破性进展.我国生物 物理学家汪云九提出了视觉神经元的广义 Gabor 函数 (EG) 模型,以及有关立体视觉、纹 理检测、运动方向检测、超视觉度现象的计算模型.汪云九等人还建立了初级视觉神经动力 学框架,他们开辟了一条新的途径.

     Hecht-Nielsen 是一位地道的学者式企业家 ,他是神经计算机最早的设计者之一,对神 经网络理论、应用及商业化作出了重要贡献.早在 1979 年,他开始制定 Motorola 神经计 算的研究与发展计划,在此基础上,于 1983 年又进一步制定了 TRW 的计划,构造了一种 对传网络的多层模式识别神经网络,主要适用图象压缩和统计分析,他还成功设计了一种神 经计算机称为 TRW Mark Ⅲ, 1987 年将它投入商业应用,并且设计了 Grossberg 式时 空匹配滤波器.他在 1988 年证明了反向传播算法对于多种映射的收敛性[ 40 ].

     1986 年 Rumelhart 和 McClelland 合著的 Parallel Distributed Processing: Exploratio n in the Microstructures of Cognition 两卷书出版,对神经网络的进展起了极大的推 动作用.它展示了 PDP 研究集团的最高水平,包括了物理学、数学、分子生物学、神经 科学、心理学和计算机科学等许多相关学科的著名学者从不同研究方向或领域取得的成果. 他们建立了并行分布处理理论,主要致力于认知的微观研究.尤其是, Rumelhart 提出 了多层网络 Back-Propagation 法或称 Error Propagation 法,这就是后来著名的 BP 算法 ,受到许多学者的重视.

     此外,我国系统科学家钱学森在 80 年代初倡导研究“思维科学”. 1986 年他主编的论文 集《关于思维科学》出版[ 41 ],书中有关神经网络方面的论文:刘觐龙对“思 维神经基础”的探讨;洪加威对“思维的一个确定型离散数学模型”的研究;陈霖的长篇文 章“拓扑性质检测”.这本书引起了国内学术界有关人士的极大反响.

     1987 年在圣地雅哥召开了首届国际神经网络大会,国际神经网络联合会 (INNS) 宣告成立 .嗣后, INSS 创办的刊物 Journal Neural Networks 问世,还诞生十几种国际著名的神经 网络学术刊物.神经网络理论经过半个多世纪的发展,人们看到它已经硕果累累.于是,美 国国防部高级预研计划局 (DARPA) 组织了一批专家、教授进行调研,走访了三千多位有关 研究者和著名学者,于 1988 年 2 月完成了一份长达三百多页的神经网络研究计划论证报告. 并从 11 月开始执行一项发展神经网络及其应用的八年计划,投资 4 亿美元.美国国家科学基 金会 (NSF) 于 1987 年拨款 50 万美元, 1989 年 NSF 、 ONR & AFOSR 投资达 1 千万美元. DARP A 的看法是,神经网络是解决机器智能的唯一希望.世界上一些著名大学纷纷成立神经网络 研究所、制订有关教育计划.许多国家相应成立了神经网络学会,定期召开国际性、区域性 会议,如: 1990 年欧洲召开首届国际会议 Parallel Problem Solving from Nature (PPSN), 1994 年 IEEE 神经网络学会主持召开了第一届进化计算国际会议.

     我国学术界大约在 80 年代中期关注神经网络领域,有一些科学家起到先导的作用 ,如中科 院生物物理所科学家汪云九,姚国正和齐翔林等[ 42 ];北京大学非线性研究中心在 1988 年 9 月发起举办了 Beijing International Workshop on Neural Networks: Learning and Recognition, a Modern Approach . INNS 秘书长 Szu 博士在会议期间作了神经网络一 系列讲座,后来这些内容出版了[ 43 ].从这时起,我国有些数学家和计算机科学家 开始对这一领域产生兴趣,开展了一定的研究工作.

    http://www.duyihua.cn
返回 哲学园 返回首页 返回百拇医药