introbotics’s blog

人工知能、機械の心について思いついたことを並べてます

スポンサーリンク

開発日記-DB連携

f:id:clay0:20190910072046j:plain

以前の開発において、NNプログラムにおいてパラメータの保存をファイルからDBに変更した
メリットは、下記のようにファイル数が減らせること
現状:ニューロン1000個ごとに1ファイル
DB:1ファイル

数万個程度であれば問題ないが、数百億のニューロンを再現するとなるとファイル数は膨大になる。
ファイル数が多くなると、3000個を超えたあたりでWindowsOS側の制限に引っかかるのかフォルダが開けなくなる。
また、1ファイルあたりのニューロンを増やせば1回あたりの読み込み時間が長くなる。
DB化はこのあたりを解消してくれる

あとSQLが体験できて勉強になる事

さて、昨日は上記のDB連携プログラムにおいて、
数値処理もまとめてSQL化していたが、
保存部分のみをSQL化する方式に変更した。

これはプログラムの稼働時間が200万ニューロンで150秒前後かかるため
(メモリ上で数値処理すると15秒くらい)
処理時間を少しでも短くできないか確認するため、保存部分のみのプログラムを作成した。
次に実行時間の比較を行いたいと思う。

が、あと数日で引っ越しのためまずは引っ越しを優先する。