書籍転載:Thinking Machines ― 機械学習とそのハードウェア実装(15)
国別(中国/米国/欧州/日本)の機械学習・AI関連の研究開発動向
機械学習(AIを含む)関連の研究開発を行っている主要な国・地域(中国、米国、ヨーロッパ、日本)における国家水準での取り組みを紹介する。
前回は、書籍『Thinking Machines ― 機械学習とそのハードウェア実装』から「付録B Advanced Network Models、B.1 CNN Variants、B.2 RNN Variants、B.3 Autoencoder Variants、B.4 Residual Networks」を転載しました。今回は、「付録C 国別の研究開発動向、C.1 中国、C.2 米国、C.3 欧州、C.4 日本」を転載します。
書籍転載について
本コーナーは、インプレスR&D[Next Publishing]発行の書籍『Thinking Machines ― 機械学習とそのハードウェア実装』の中から、特にBuild Insiderの読者に有用だと考えられる項目を編集部が選び、同社の許可を得て転載したものです。
『Thinking Machines ― 機械学習とそのハードウェア実装』(Kindle電子書籍もしくはオンデマンドペーパーバック)の詳細や購入はAmazon.co.jpのページもしくは出版元のページをご覧ください。書籍全体の目次は連載INDEXページに掲載しています。
ご注意
本記事は、書籍の内容を改変することなく、そのまま転載したものです。このため用字用語の統一ルールなどはBuild Insiderのそれとは一致しません。あらかじめご了承ください。
■
付録C 国別の研究開発動向
この章では中国、米国、ヨーロッパ、日本における国家水準での機械学習(AIを含む)関連の研究開発に対する取り組みを紹介する。日本国内中心に海外も含めて資料【234】がまとめて紹介しているので詳細は割愛する。
C.1 中国
中国では半導体事業への投資が盛んであり、計算機システムの内製化が始まっている。例えば清華大学を軸とした紫光集団が半導体事業に積極的で、台湾や米国の企業にアプローチしている【235】【236】【237】【238】。メモリ事業を利用して半導体製造技術をキャッチアップし、後に独自の計算機システムを製造・外販する事が予想される。現在、機械学習ハードウェアの研究は中国が先行しており、半導体事業への積極投資による内製計算機が機械学習ハードウェアシステムとなる可能性が十分にある。
C.2 米国
C.2.1 SyNAPSE program
アメリカ国防高等研究計画局(DARPA:Defense Advanced Research Projects Agency)は生物学水準でスケールするelectronic neuromorphic machineを開発するプログラムであるSyNAPSE(Systems of Neuromorphic Adaptive Plastic Scalable Electronics)プログラムを立ち上げた【239】。このプロジェクトは、人間の脳と同様の形式と機能を持つ新しい種類の計算機、例えば知性のあるロボットを構築することを試みている。2008年に開始され、2013年1月に1.026億ドルの予算を得た。このプロジェクトは2016年度までの計画で、IBMのTrueNorthプロジェクト【147】がこれに該当する。
C.2.2 UPSIDE program
DARPAは従来のComplementary Metal-Oxide-Semiconductor(CMOS)を基にした電子工学の代わりに、物理学を基にしたデバイスアレイによる信号処理を目指すUPSIDE(Unconventional Processingof Signals for Intelligent Data Exploitation)プログラムを立ち上げている【240】。デジタルプロセッサでは必要なプログラミングが不要となる、入力に応じて自己組織化するアレイの構築を目指している。プログラムは3段階の学際的アプローチで構成されている。Task1は計算モデルを構築して画像処理アプリケーションによりデモとベンチマークをとるプログラムである。Task2はTask1の結果を元にmixedsignalCMOSで実装した推論モジュールをデモし、Task3ではnon-CMOS emerging nanoscale deviceで実装してデモを行う。Cortical Processorプロジェクトは物理学に基づくデバイスをmixed signal CMOSにより実装することで、高速・低消費電力の計算処理を目指している。大きい訓練データ無しで常時学習する方法、特に動きと異常認識に対して高い推論を示すことを2016年の目標としている。
C.2.3 MICrONS program
アメリカ情報高等研究開発活動(IARPA:The Intelligence Advanced Research Projects Activity)は、脳内における認知と計算処理を理解するための学際的アプローチによる研究プログラムであるMICrONS(Machine Intelligence from Cortical Networks)を支援している【241】。機械学習を革新するために、脳のアルゴリズムのリバースエンジニアリングを行う。このプログラムは5年計画で3段階の計画であり、第一段階は一般化と分類、第二段階は普遍的な認識機能の解明、第三段階はそれぞれのプロジェクトの評価からなる。
C.3 欧州
Human Brain Project(HBP)は、ICTを基に神経科学、計算機科学、脳に関係した創薬などの産業や科学における研究を促進するための科学研究インフラストラクチャを提供することを目標としている【242】。Ramp-Up Phaseでは6つのICTプラットフォームを構築し、利用者に提供している。Ramp-Up Phaseを継承したSpecific Grant Agreement One(SGA1)ではこれらのプラットフォームを拡張し統合する期間で、2016年4月から2018年4月の計画である。この期間、神経科学の分科会では脳を利用した計算機とロボット科学を支援するのと同時に、洗練された脳モデルとシミュレーションを確立するため脳の組成と理論の研究を推進する。マンチェスター大学のSpiNNakerプロジェクト【145】がこれに該当する。
C.4 日本
C.4.1 総務省
情報通信研究機構(NICT)において、従来よりビッグデータ処理に基づく人工知能技術や、脳科学の知見に学ぶ人工知能技術について最先端の研究開発に取り組んでいる。2016年4月から開始した第4期中長期計画ではデータ利活用基盤分野において脳情報通信技術を重点化し、脳情報通信融合研究センター(CiNet)において研究開発を推進している。CiNetは視覚と運動の制御についての研究に重点を置き、痛み、多感覚の統合、高次の認知、意思決定、言語、社会神経科学などの高次脳機能領域について研究している。情報通信技術(ICT)に関する先端的な研究開発に取り組んでいる国際電気通信基礎技術研究所(ATR)では、脳科学の知見をロボットに適用するための技術開発を行っている。
C.4.2 文部科学省
2016年から人工知能/ビッグデータ/IoT/サイバーセキュリティ統合プロジェクトであるAIP(Advanced Integrated Intelligence Platform Project)を開始している。2016年4月14日、理化学研究所に革新知能統合研究センターを新設した。革新的な人工知能の基盤技術の研究開発や、サイエンスの飛躍的発達の推進、応用領域の社会実装への貢献、人工知能等が浸透する社会での倫理的・社会的課題への対応、データサイエンティスト、サイバーセキュリティ人材等の育成に取り組んでいく。ポスト「京」の萌芽的課題のうち、「思考を実現する神経回路機構の解明と人工知能の応用」において、大量のデータを融合した大規模多階層モデルを構築して大規模シミュレーションにより思考を実現する脳の大規模神経回路を再現し、人工知能への応用を図る。
C.4.3 経済産業省
2015年5月1日、産業技術総合研究所(AIST; National Instituteof Advanced Industrial Science and Technology)に次世代脳型人工知能やデータ・知識融合型人工知能の大規模目的研究、人工知能の要素技術の利活用を促進する次世代人工知能フレームワーク・先進モジュールの研究開発、人工知能技術の標準的評価手法等の共通基盤技術の整備等を行う人工知能研究センターを設立した。次の2つのテーマを柱とする研究開発に取り組んでいる。
- 人間の知能を発現させる仕組みを人間の脳から工学的に学ぶことで、脳のように柔軟でしなやかな情報処理を行うコンピュータシステムを実現する次世代脳型人工知能や、脳の神経回路と神経細胞が情報を処理する動きをコンピュータの情報処理の動作に取り込んだニューロコンピューティングの研究。
- 膨大なデータから規則性を学習する機械学習技術と、人間社会が蓄積してきたテキストや知識を理解する意味理解技術やテキスト・知識を使った推論技術とを自然に融合することで、複雑な判断や行動の決定とその過程の説明ができるデータ知識融合型人工知能の研究。
産業技術総合研究所は2016年11月25日、ABCI(AI Bridging Cloud Infrastructure)を発表し【243】、2017年度の稼働を目指している。これは自動運転、工作機械の運転状況の把握、医療診断支援等への利用を想定しており、深層学習モデル開発基盤や学習データの利用者間の共用を図ると見られ、米国企業主導の深層学習に対抗する即効性のある基盤構築を目指している【244】。
C.4.4 内閣府
内閣府革新的研究開発推進プログラム(ImPACT)により、多様な心の有り様を可視化する脳情報のデコーディング技術、及び自分が望む脳の状態へと整えるフィードバック技術、大規模脳情報蓄積基盤の開発とその国際標準化を進め、2020年までに共有可能なリソースとして提供するための取組みを行っている。
C.4.5 全脳アーキテクチャ・イニシアティブ
全能アーキテクチャ・イニシアティブ【245】はNPO法人組織である。同法人が提唱する全脳アーキテクチャ・アプローチは、「脳全体のアーキテクチャに学び人間のような汎用人工知能を創る(工学)」をミッション・ステートメントに掲げた人工知能の研究開発アプローチで、2030年頃を目標として脳を越えた汎用人工知能の構築を目指している。人類社会と調和した人工知能の発展に資する、開かれた研究開発コミュニティによる汎用人工知能の技術開発を、長期的に支援することを目的としている。世界初の汎用人工知能の構築にむけて、関係する諸分野の研究者のネットワーキング、脳の各器官を模した機械学習モジュールやそれらを結合するソフトウェアプラットフォーム等の研究開発を行う。自らの研究成果や開発技術のオープン化を目指すとともに、各研究機関や企業等も同様の研究開発のあり方を実践できるよう、開かれたコミュニティの形成を目指している。
■
書籍『Thinking Machines ― 機械学習とそのハードウェア実装』からの転載は今回で終了です。
【参考文献】
- 【145】 M. M. Khan, D. R. Lester, L. A. Plana, A. Rast, X. Jin, E. Painkras, and S. B. Furber. SpiNNaker: Mapping neural networks onto a massively-parallel chip multiprocessor. In 2008 IEEE International Joint Conference on Neural Networks (IEEE World Congress on Computational Intelligence), pages 2849-2856, June 2008.
- 【147】 Paul A. Merolla, John V. Arthur, Rodrigo Alvarez-Icaza, Andrew S. Cassidy, June Sawada, Filipp Akopyan, Bryan L. Jackson, Nabil Imam, Chen Guo, Yutaka Nakamura, Bernard Brezzo, Ivan Vo, Steven K. Esser, Rathinakumar Appuswamy, Brian Taba, Arnon Amir, Myron D. Flickner, William P. Risk, Rajit Manohar, and Dharmendra S. Modha. A million spiking-neuron integrated circuit with a scalable communication network and interface. Science, 345(6197):668-673, 2014.
- 【234】 次世代人工知能推進戦略. http://www.soumu.go.jp/main_content/000424360.pdf.
- 【235】 中国の清華HD、米マイクロンと買収に向け協議継続中=徐会長. http://jp.reuters.com/article/tsinghua-micron-chairman-idJPKCN0PX0JX20150723, July 2015.
- 【236】 Tim Culpan and Brian Womack. China's Tsinghua Buys Western Digital Stake for $3.8 Billion. https://www.bloomberg.com/news/articles/2015-09-30/china-s-tsinghua-buys-western-digital-stake-for-3-8-billion, September 2015.
- 【237】 Tim Culpan and Jonathan Browning. China's Tsinghua Buys Western Digital Stake for $3.8 Billion. https://www.bloomberg.com/news/articles/2015-12-11/tsinghua-unigroup-to-buy-1-7-billion-stake-in-siliconware, December 2015.
- 【238】 服部 毅. 中国最大のメモリメーカー誕生へ - 紫光集団がXMCのメモリ製造部門を統合. http://news.mynavi.jp/news/2016/07/29/213/, July 2016.
- 【239】 DARPA SyNAPSE Program. http://www.artificialbrains.com/darpa-synapse-program, 2008.
- 【240】 UPSIDE / Cortical Processor Study. http://rebootingcomputing.ieee.org/images/files/pdf/RCS4HammerstromThu515.pdf, Dan Hammerstrom.
- 【241】 Neuroscience Programs at IARPA. https://www.iarpa.gov/index.php/research-programs/neuroscience-programs-at-iarpa.
- 【242】 Human Brain Project. https://www.humanbrainproject.eu/en_GB/2016-overview.
- 【243】 AI Bridging Cloud Infrastructure (ABCI). http://www.itri.aist.go.jp/events/sc2016/pdf/P06-ABCI.pdf, Nevember 2016.
- 【244】 浜田 健太郎. 産総研、AI特化のスパコン開発に着手 深層学習で世界一狙う. http://jp.reuters.com/article/sansoken-idJPKBN13K0TQ?pageNumber=2, November 2016.
- 【245】 The Whole Brain Architecture Initiative. http://wba-initiative.org/, August.
※以下では、本稿の前後を合わせて5回分(第11回~第15回)のみ表示しています。
連載の全タイトルを参照するには、[この記事の連載 INDEX]を参照してください。
11. 機械学習ハードウェアモデル ― 深層学習の基本
深層学習における、パラメーター空間と順伝播・逆伝播演算の関係を説明。また、代表的な学習の最適化方法と、パラメーターの数値精度についても紹介する。
13. ネットワークモデル開発時の課題 ― 深層学習の基本
訓練と交差検証で誤差率が高い場合は、バイアスが強い「未適応状態」もしくはバリアンスが強い「過適応状態」である。このバイアス・バリアンス問題の調整について概説。
14. CNN(畳み込みニューラルネットワーク)/RNN(再帰型ニューラルネットワーク)/AE(自動符号化器)の応用モデル
CNN、RNN、AEといったネットワークモデルを拡張あるいは組み合わせた「Deep Convolutional Generative Adversarial Networks」「Highway Networks」「Stacked Denoising Autoencoders」「Ladder Networks」「Residual Networks(ResNet)」を紹介する。