introbotics’s blog

人工知能、機械の心について思いついたことを並べてます

スポンサーリンク

感情を得るための人工知能の報酬について

ぼんやり考えていたことへのメモ

 

ニューラルネットワーク型の人工知能が感情を得るためには、
報酬の与え方が重要と考える。
特に、身体からの報酬が重要だと考えた。

 

脳細胞へ与えられる報酬として、ドーパミンが思いついたので
これを人工知能に実装するにはどうすれば良いか
方針決定のために情報収集した。

 

大脳辺縁系の側坐核という器官がドーパミンの効力をうけ喜びの結果を与えるらしい。
なお、同様の器官である偏桃体は恐怖の感情を与えるらしい。

 

側坐核を無効化したマウスは飲料の摂取量が変わらなかったとの論文があった
しかしこれは成長しきったマウスの論文である。
人工知能に心を実装する参考とするには、受精卵から成長する過程、発達過程で
側坐核を無効化された生物がどうなるかの記述が知りたい。
⇒インターネットにはなかった

 

しかし、側坐核は大脳基底核に位置していることは分かった。
大脳基底核は比較的原始的な生物にも存在する様子。


もっと原初の生命について推測する
ドーパミン、および側坐核や偏桃体がどの程度の生物から備わっているかわからないが
原初の生物に側坐核があったとすれば、
それは食事、生殖、睡眠などの生存に必要な器官に付随する神経細胞だったと想像できる

 

つまりそれまでは反射的に食料を摂取していたものが、
食料を摂取する際にドーパミンを発生・受容する器官が備わったことでより貪欲に
食事を摂取するようになったのではないかと思われる
(全部推測)

 

そして、多種多様な生物は多種多様な報酬ルールを持ちます。
エサを得る方法も千差万別です。
どのようにこの報酬ルールを実装しているか考えると、
エサを得る行動の神経網が、側坐核などの付近や影響を受けやすい位置に
存在するのではないか。

 

つまり側坐核に報酬ルールが刻まれているのではなく、
側坐核には食事などの時に報酬を与える程度のルールしかない。

 

しかしエサを得る行動の神経網が、
側坐核に近しい位置に配置されるような遺伝子になった
(形成された生物が生き残った)のではないだろうか。

 

もちろんこれは個人の妄想であり
確認する方法すらわからない
とりあえずこれで実験してみて人工知能がうまく動くか試してみようと思う

 

従って人工知能への報酬としてやるべきことは

・特定の刺激に報酬を設定する(胃への刺激⇒満腹中枢てきな刺激)
・脳は報酬を獲得した状況すべてを報酬と結びつける
 結果、食事を与える親や食事を得る状況すべてを好むようになる
 それがやがて趣向を産み、情動を産む

注意点として、報酬は常にあると反応に変化がなくなるので、
使うと無くなる刺激が好ましい

 

======
参考
http://www.rui.jp/ruinet.html?i=200&c=400&m=266511
 脳のなかで最も古い部分は脊髄の上端をとり巻く形をした脳幹で、ひととおりの神経系を持つ生物種にはすべて共通に備わっている。脳幹は呼吸や代謝など生命維持の基本にかかわる機能を調節し、またあらかじめ決まっている反応や動作をコントロールしている。この原始的な脳は、考えたり学習したりする機能をもたない。むしろ、生命を維持し命を守るのに必要な機能をあらかじめ決められたプログラムに従って調節するのが、脳幹の役割だ。爬虫類の時代には、この脳が主役だった。(中略)


脳の進化は、神経系を持つ生物にほぼ備わっている「脳幹」から始まります。脳幹は主に生命維持の為の機能を果たし、反応・動作をコントロールします。

その上に、本能的は感情、情動を支配する機能が塗り重なってきます。それが「大脳辺縁系」です。食べられるか否か、性行動の対象か、敵か見方かなどの本能的な判断を下します。それだけではなく、怒り、おびえ、そして恋愛などの感情もここで起こります。