世界最高の学習速度を達成!高精度なAIを実現する「Deep Learning」の最先端技術
トップ> AI(人工知能) 記事一覧> 記事
多層ニューラルネットの大量データによる学習手法として研究が進む「Deep Learning」
最近、耳にする機会が多い「Deep Learning」(ディープラーニング・深層学習)。ニューラルネット(注1)を用いて大量のデータを何度も学習することで、認識や分類などの精度向上を図る手法です。近年、急速に研究が進んでおり、特に画像認識や文字認識、音声認識においては、人間を超える認識率が達成されています。
Deep Learningでは、精度を上げるために大量のデータを扱います。このため、CPU(中央処理装置)よりも高速な演算に適している「GPU」(注2)が広く利用されています。特に、近年、ニューラルネットは多層化などの大規模化が進んでおり、それに伴って大量データの学習には膨大な時間がかかるため、「複数のGPUを並列に動作させ、高速化を図る」など、GPUを活用する技術が注目されています。
1台のコンピュータで搭載できるGPU数は上限があるため、多数のGPUを利用するためには高速なネットワークで複数のコンピュータを相互接続し、データを共有しながら学習処理を進める必要があります。しかし、並列処理では共有が必要なデータ量と演算時間にばらつきがあるのに加え、データ共有が複雑になるため、コンピュータ間の通信時間が余分にかかります。また、GPUで搭載しているメモリの量は一般的なコンピュータより小さいため、高速に学習できるニューラルネットの規模が制限されるという課題がありました。
(注1)人間の脳の神経回路の仕組みを模したモデル。コンピュータに学習能力を持たせることにより、様々な問題を解決する。
(注2)Graphics Processing Unit。パーソナルコンピュータやワークステーション等の画像処理を担当する主要な部品の一つ。近年は、GPUを汎用演算に用いるGPGPU(General Purpose GPU)としての活用が注目されている。
二つの技術でDeep Learningの高速化&大規模化を図る

これらの課題を解決するため、富士通研究所では以下の技術を開発しました。
1. Deep Learningの高速化処理技術
Deep Learningの処理の順序と共有するデータサイズの特徴に合わせて処理方法を変えるため、連続的に続く複数の演算で、次の学習処理の開始に必要となるデータが先にそれぞれのコンピュータで共有されるように転送の優先順序を自動的に制御し、次の学習処理の開始までの待ち時間を短縮します(図1)。

(図1)データ共有のスケジューリング技術
また、演算結果を全コンピュータで共有する処理において、元となるデータの量に応じて最適な演算方法を行うよう自動で振り分けることにより、全体の演算時間を最小にします(図2)。

(図2)共有データサイズが小さい場合(上段)と大きい場合(下段)による、処理の違い
2. GPUのメモリ効率化技術
大幅に学習速度が低下してしまうモデル並列の手法を使わずに、1台のGPUで計算できるニューラルネットの規模を拡大できるメモリ効率化技術を開発しました。学習の開始時に、ニューラルネットの各層の構造を解析し、より大きなデータを配置しているメモリ領域を再利用できるように演算の処理順序を切り替えることにより、メモリ使用量を削減します(図3)。
20170112_01_index_pic_1

メモリ効率化技術
世界最高の学習速度を達成!高精度な開発が可能に

富士通研究所では、上記二つの技術をそれぞれDeep Learningフレームワーク「Caffe」に実装し、学習時間、ならびにGPUの内部メモリ使用量を計測しました。
学習時間においては、GPUを1台だけ使用した場合に比べ27倍の速度を達成。本技術適用前と比較すると、GPU16台で46%、64台で71%の学習速度の向上を実現しました(当社比/世界最高速度・図4)。また、GPUの内部メモリ使用量においては、本技術適用前と比較し40%以上のメモリ使用量削減を達成するなど、GPU1台あたり最大で約2倍の規模のニューラルネットを学習することが可能になりましました。

(図4)複数GPU使用時の1GPU使用時に対する高速化率
二つの技術を組み合わせることで、ニューラルネットの高速化&大規模化が実現し、ロボット・自動車の自動制御や、医療・金融などの分野において病変分類や株価予測に独自のニューラルネットモデルを開発する場合など、複雑な処理が求められる大規模なニューラルネットにおいて、GPUの性能を生かした高速な学習演算が可能となります。これにより、Deep Learningの研究開発時間を短縮することができ、より高精度・高品質なモデルの開発の加速が可能となります。
富士通研究所では、これらの二つの技術を富士通のAI技術「Human Centric AI Zinrai(ジンライ)」の一部として、2017年4月から順次実用化を予定しています。今後も、学習速度のさらなる向上に向けてし、技術の改善を行っていきます。

関連記事
「ムーアの法則」はもはや限界! 「組合せ最適化問題」を解決する新アーキテクチャーを開発
http://journal.jp.fujitsu.com/2017/02/15/01/

(記事引用)