用深度学习模型,解构并重构人类思维

2017-10-09 · 作者:人机与认知实验室

[导读]从感知,到表征,到意识,是人类思维的解构过程。

【文章作者 邓侃】

微信图片_20171009162246.jpg

[1]笔记让人脑洞大开

2017年9月26日,深度学习大佬YoshuaBengio在Arxiv上发表了一篇笔记,标题是TheConsciousnessPrior意识先验【中文翻译详见本微信工作号昨天文章】。

之所以说这篇文章,不是严谨的论文,而是笔记,是因为这篇文章,既没有严谨的算法和公式,也没有严谨的实验结果和分析,而是一篇冥想和提议。

但是笔记往往比论文更有启发,就如同与教授喝咖啡聊天,往往更容易学到教授的思想方法。

[2]人类思维的解构

YoshuaBengio在这篇文章里,把人类思维解构为三个层次,感知Perception、表征Representation、和意识Consciousness。

面对一张人物照片,人类“感知”到的,是一堆像素。进而抽象到“表征”,包括五官、发型、服饰、背景等等。再进一步抽象到“意识”,包括凝重的表情、粗犷的外表、苍凉的环境等等。

YoshuaBengio提议,可以借鉴深度学习模型,譬如RNN,来模拟从感知到表征的第一次抽象的过程。

h_{t}=F(s_{t},h_{t-1}),其中s_{t}是感知的像素,h_{t-1}是前序的表征,h_{t}是修正后的表征。

他进而又提议,从表征到意识的第二次抽象的过程,也可以借鉴深度学习模型来完成。

c_{t}=C(h_{t},c_{t-1},z_{t}),其中c_{t}是意识,z_{t}是噪音。

之所以有噪音,是因为意识的界定,往往模糊。譬如粗犷和野性,虽然有区别,但是难以并没有严格界定。

假如我们有大量做好标签的照片,就可以训练从感知到表征的深度学习模型F(*),和从表征到意识的模型C(*)。

一个简单的系统架构,是3-layerstackedRNN。当然也可以尝试用更多层的复杂架构,或者用CNN替换RNN,或者用Attention-basedTransformer来替换RNN。

[3]人类思维的重构

从感知,到表征,到意识,是人类思维的解构过程。为了验证解构的正确,YoshuaBengio提议通过重构来完成验证。

训练好从感知到表征的模型F(*),和从表征到意识的模型C(*)以后,假如电脑能够自动合成一张人像照片,表情凝重、外表粗犷、背景苍凉,那么重构宣告成功。

如果重构成功,那么解构也被证明是成功的。

重构的模型可以用GAN和VAE来尝试。

[4]打破语言的束缚,解放思维

模型F(*)的输出,是表征,譬如五官、发型、服饰、背景等等。模型C(*)的输出,是意识,譬如表情凝重、外表粗犷、背景苍凉等等。

意识的形态是张量,是一组数字。但是人类习惯用词汇来表达意识。YoshuaBengio提议意识与词汇之间的关系,仍然可以用深度学习模型来模拟,

u_{t}=U(c_{t},u_{t-1}),其中c_{t}是意识,u_{t-1}是前序词汇,u_{t}是修正后的词汇。

哲学家维特根斯坦曾说,“人有着这种感觉,他心里想说的话,总比他用言辞表述得更为清楚”。U(*)这个模型,把维特根斯坦的判断,表述得既清晰又简练。

人类的知识,往往由事实fact和规则rule组成,而且人类习惯于用简练的词汇,来表达事实和规则。所以,维特根斯坦认为,人类思维受制于语言结构,语言的界限决定思维的界限。

YoshuaBengio提议,直接用意识c_{t}来表达知识,而不受语言u_{t}的制约。

进而推论,不妨尝试用深度学习模型,或者强化学习模式,来重构思维逻辑,而不屈从于规则和一阶逻辑那样的推理演绎方式的束缚。

相关推荐

评论文章

全部评论(0)

人机与认知实验室

北京邮电大学人机交互与认知工程实验室 联系方式:twhlw@163.com

关注
格式jpg品质60图片即可

推荐文章