高校生向け:今日からはじめるCGLA(non-CGRA)

6つ目は，いよいよCGRAです。浮動小数点積和演算器を使いますが，ノイマン型とは，考え方を含めて，いろいろ違います。

CGRAの歴史はシストリックアレイに遡ります。でも，最初は絵に描いた餅で，多くの回路を規則的に並べる手段がありませんでした。半導体の集積度が低かったので，1つのLSIパッケージにCPUを1つ実装するのが精一杯でした。1つのパッケージに複数のCPUを実装できるようになったのは1990年代からです。多くの演算器を並べて実用的なCGRAを作れるようになったのは2000年代からですね。つい最近のことです。そもそも，CGRAは使う人が好きに設計するので，使う人の数だけ種類があります。国内でも相当数のメーカーが独自CGRAを開発していました。でも，当時は，キラーアプリがなかったんですね。キラーアプリというのは，そのハードウェアと組み合わせることで，無敵の力を発揮するプログラムのことです。とにかく，国内のCGRAは，ほぼ消滅して，今では見る影もありません。ところが，その後，AIが注目を浴びるようになって，AIとシストリックアレイを組合せたのが，2016年にGoogleが発表したTPUです。これで，シストリックアレイの知名度が一気に上がりました。そして，2017年には，ほとんど名前が知られていなかったWavecomputing社がCGRAを発表しました。これで，CGRAを実用的にするための雛型が世の中に知られるようになりました。未だに，様々なアイデアが乱立していますが，演算器とメモリを組にして，たくさん繋ぎ合わせる構成が，標準になってきました。

CPUとSIMDとCGRAがプログラムを実行する様子を比べてみましょう。左から順に，CPU，SIMD，CGRAです。CPUは機械語命令を順に実行します。SIMDも同じです。ただし，1つの機械語命令が多くのデータを処理できます。ここまでがノイマン型です。一方，CGRAは，機械語命令レベルの機能をたくさんのALUにセットした後に，データを流し込みます。1つのデータ流に対して様々な演算を行うことができます。1つのALUに着目すると，連続して投入されるデータに対して同じ演算を行います。CGRAは非ノイマン型です。

プログラムの視点から見てみましょう．CPUの場合，ループのイタレーションに従って，機械語命令を順に実行します．スーパスカラやVLIWは，複数の機械語命令を同時に実行しますが，基本的には，距離が近い命令が同時実行の対象です．

ベクトルは，複数のイタレーションの，同じ位置にある機械語命令をまとめて実行するモデルです．ベクトル長を長くできるベクトルプロセッサでは，ループ構造そのものをなくすことができます．ところで，ベクトル長が256程度しかないものをベクトルプロセッサと呼ぶ人がいますが，そもそもベクトルプロセッサは，16要素を一度に演算できたりするので，256要素程度のベクトル演算は，たった16サイクルで終ってしまいます．主記憶遅延が数百サイクルもある時代に，16サイクルで終ってしまうベクトル演算は，せいぜいキャッシュメモリを相手にするしか出番がありません．キャッシュメモリに入ってしまうようなオモチャのアプリを相手にしても，未来はありません．ベクトル長を長くできないベクトルプロセサには，存在価値がありません．

一方、CGRAは、レジスタや演算器がたくさん並んでいて、ループ構造の中の機械語命令をそのまま貼り付けることができます。CGRAの動きは、CPUとも、ベクトルとも違っていて、イタレーション間をパイプライン動作します。CPUは、イタレーションの中でパイプライン動作するので、命令間に依存関係があると、スーパスカラやVLIWの効率が低下します。しかし、CGRAは、命令間に依存関係があってもパイプラインが止まることはありません。同様に、ベクトルは、複数イタレーションを同時実行する際に、連続データの先頭主記憶アドレスをベクトルレジスタの先頭に合わせる、アライメント機構が必要になります。しかし、CGRAは、複数イタレーションをパイプライン実行するので、複雑なアライメント機構を必要としません。CGRAの欠点は、ループ構造の中の機械語命令が、一度に写像可能な数を超えると、分割が必要になることです。しかし、CISCのような高機能機械語命令を採用し、さらに、位置制約をなくしたリング構造とすることで、欠点を克服することができます。

もう少し，CGRAを詳細化しましょう。図の左側では，山形のALUと長方形のメモリが組になっています。重みのように繰り返し使うデータは，ALUのすぐ側に格納しておくと，データを遠くから届けずに済みます。データの移動を最小限にすることが，消費エネルギーの節約に貢献します。

CGRAの祖先をいくつか見てみましょう。(a)は前に説明したFPGAです。(b)はノイマン型の演算器を多段構成にしたALUカスケーディングです。通常のALUは，1つの結果をレジスタに格納します。一方，カスケーディングは，引続き次のALUに結果を送って，別の計算に使ってもらう仕組みです。この考え方を多くのALUに適用することが，CGRAの設計思想の1つと言えます。(c)は初期のCGRAの構成です。ALUを基本構成要素として，データを上から下に1方向に流します。(d)は上下左右に流すことができる構成です。初期のCGRAでは，たくさんのALUが格子状に接続されて，全体が協調して動作します。

では，どうやってプログラムするのでしょう。まず，ノイマン型コンピュータを使った，メディアンフィルタと呼ぶ画像処理プログラムの例を示します。C言語で書いてあります。メディアンフィルタは，3x3の領域の色成分（赤・緑・青）を明るさ順に並べて，中央の値を計算結果とすることで，輪郭をぼかすことなく，色だけをぼかすことができる便利な画像フィルタです。ただし，明るさ順に並び替える作業が必要です。3x3の領域から9個の画素値を取り出します。そして，各々8ビットの色成分ごとに比較をして，並べ替えていきます。並べ替えには，わかりやすいバブルソートを使っています。隣どうしを比べて，逆順なら入れ換えることを繰り返すだけです。クイックソートのように，より高速なアルゴリズムもありますが，要素数が9しかないし，まん中の値が求まった時点で，残りを打ち切ることができるので，これで十分です。6行目と7行目に2重ループがありますね。ループの中の比較と入れ換え処理が8，9，10行目です。この3行が，合計8+7+6+5+4=30回繰り返されます。これでようやく1つの出力画素が求まるので，全体ではかなりの計算量になります。

次がCGRAの場合です。前の例では，2重ループを使って並べ替えていました。でも，CGRAの構成図を見ると，データが1方向に流れるように変形する必要がありそうです。そこで，8ビット単位に大小比較をして，指定した順番の値を出力する5つの基本操作を新たに定義します。max3(A,B,C)は，3つの画素値（各々4バイト）を入力とし，3つの赤成分（8ビット）から最大値，3つの緑成分（8ビット）から最大値，3つの青成分（8ビット）から最大値を選択して出力する操作です。同様に，mid3(A,B,C)は中間値，min3(A,B,C)は最小値を出力します。max2(A,B,C)とmin2(A,B,C)は，２つの画素値を入力とし，Cは無視します。これらを使うと，2重ループを使わずに済みます。プログラムでは，3行目で，9個の画素値をr0からr8に取り出しています。4，5，6行目が図(a)に対応しています。まず，縦に3画素ずつまとめます。r5とr1とr7をmax3，mid3，min3に与えると，最大値，中間値，最小値が計算できます。これを改めてr5とr1とr7に代入すると，3つの画素の並べ替えが完了です。同様に，r3とr0とr4も並べ替えます。さらに，r6とr2とr8を並べ替えます。これで，9個の画素値を図(a)の関係に並べ替えることができました。次は，横に3画素ずつまとめます。r5とr3とr6をmax3，mid3，min3に与えて並べ替えます。同様にr1とr0とr2，r7とr4とr8を並べ替えます。結果，図(b)の関係に並べ替えができました。さて，この時点で何がわかるでしょうか。(a)の時点で，上の3つの画素値は，各々のグループで最大です。そして，下の3つの画素値は，各々のグループで最小です。(b)では，3つの最大値の中の最大値，つまり全体の中での最大値が右上角に移動します。同様に，3つの最小値の中の最小値，つまり全体の中での最小値が左下角に移動します。最後に欲しいのは，全体の中の中間値なので，右上角と左下角の値は捨てることができます。以上を繰り返すと，最大値と最小値が順に捨てられて，最後の(g)に到達します。画素値が3つだけ残っているので，18行目でmid3を実行して，中間値r0を取り出します。この方法を考えたのが2008年，本にしたのが2012年。まさに光陰矢の如しです。

この図は，さっきのプログラムを機械語命令に書き換えて並べたものです。max，mid，minは，3入力演算器を使って1命令で実行できるとします。(a)〜(g)は，前の図の各状態に対応しています。ループ構造がなくなって，データが上から下に流れるように，機械語命令が並んでいますね。この機械語命令列は，横1列を1つのVLIWにまとめることができます。ということは，1つの出力画素が，わずか16命令で求まることになります。そして，CGRAの場合，全ての機械語命令が，2次元構造に配置された多数のALUに一度にセットされます。上から水のようにデータを流し込むと，下から，途切れることなく出力画素が生成されます。つまり，VLIWの16倍速になりました。元々のノイマン型コンピュータのプログラムからは想像もつかない速度です。高校生の時に，水トランジスタが気になったと言いましたが，ここに至って，水に戻ってきたわけです。高校生の時に気になったことには，ずっと影響を受け続けるのかもしれません。

さらに，1から3行目の命令に入力データを供給するメモリを接続します。16行目の命令には演算結果を格納するメモリを接続します。

このビデオは，ハードウェアと同じ動きをするCGRAシミュレータが動作する様子です。画面が小さい場合は，ブラウザの幅を狭くすると，逆に大きくなるはずです。再生ボタンを押してみましょう。最初，画面の上のほうで，ちらちら色が変わります。CGRA起動準備のためにVLIWが動いている状態です。一瞬，水色の部分が更新されます。ハードウェアがVLIWをCGRAにセットした瞬間です。そして，紫色のデータが上から絶えまなく流れ落ちてきます。CGRAが動作している状態です。新しいコンピュータを作る時には，まず，仕様書を書きます。どういう思想のコンピュータなのか，機械語命令はどうするのかなど，他の開発者にも理解してもらえる文書を書きます。そして，仕様書を見ながら，プログラミング言語を使って，ハードウェアそっくりに動くシミュレータを作ります。回路設計だけがコンピュータ開発ではありません。シミュレータを使って，仕様書が間違っていないか，また，思った通りに動くかどうかを確認します。ここはとても大事なポイントです。人が作るものには，必ず間違いがあります。検証する手段を何重にも用意しておかなければ，いつまでたってもまともに動くコンピュータができません。全く新しいコンピュータであれば，コンパイラやライブラリといった，プログラミングに必要な開発環境も全て自分で作らなければなりません。VPPも，OROCHIも，LAPPも，実際にそうやって作りました。

これは，計算の順序を示しています。左はCPU，中央はGPGPUです。上から下に向かって，時間順にデータが処理されていく様子を示しています。一方，右はCGRAです。縦は時間順であると同時に，空間的位置も示していて，ある瞬間のスナップショットになっています。先行する計算は下のほうに進んでいて，後続の計算が上から入っていきます。ある一つのデータに注目すると，正しく上から順に処理されていきますが，次のデータが即座に投入されるので，スナップショットをとると，様々なデータが，異なる場所で同時に処理されている様子がわかります。

さらに，計算と同時に，空いているメモリに次の計算に必要なデータを供給したり，前回の計算結果が格納されたメモリからデータを取り出すこともできます。

左がGPUやSIMD，右がCGRAです。そして，●がALU，■がメモリです。CGRAでは，ALUの側にメモリを配置し，計算に必要なデータを近くのメモリから供給することで消費電力を下げます。

データの配置の観点から，GPUとCGRAを比べてみましょう。GPUはSIMDのように動作しますが，実際には，大量のノイマン型コンピュータが搭載されていて，それぞれが機械語命令を実行します。D=A+BxCといった積和演算のためには，A，B，C，Dの全てがALUに揃っている必要があります。一方，CGRAでは，ALUは自身に必要なデータを近くのメモリから取り出すだけで良く，1つのメモリに全部詰め込む必要がありません。このため，以前，飛行機の座席を例に説明した，データの追い出し合いが起こり難い利点があります。また，GPUと違って，CGRAの各ユニットは，自ら主記憶までデータを取りに行くことはしません。各ユニットは外部からデータが一斉に届けられるのを待つことで，メモリからの一斉送信を整然と受け取ることができ，主記憶動作を減らすことができます。さらに，あらかじめ，データ転送の順番を決めておくことができ，お互いに邪魔することもないので，高速かつ性能予測が簡単です。

さて，はじめのほうで，CGRAはオーダーメイドのコンピュータと言いました。標準品というのがないんですね。だから，自分で作るしかありません。でもLSIを作るのには相当のお金がかかるので，何度も作り直すことができません，もちろん，CGRAは小さいので，企業なら作り直しができるでしょう。でも，大学は貧乏なので簡単には改良できません。そこでFPGAの出番です。あれれ？ FPGAは細粒度で，CGRAは粗粒度といったじゃないかと思ってますよね。もちろんそうです。プログラマにとって，FPGAは，高位合成を使って，プログラムをハードウェア化するための道具です。でも，元々は，書き換え可能なハードウェアの仕組みであって，あらゆるコンピュータのプロトタイプとしても使うことができます。動作周波数はLSIの数分の1しかありませんが，いろいろ実験して仕組みを評価するには便利な道具です。この写真は，CGRAをFPGA上に実装して，実際に使えるようにしたシステムです。リング構造が2つ重なっている図がありましたね。このシステムには，4基の★CGRAが入っています。つまり，リング構造が4つです。あとで詳しく説明しますが，1つのCGRAに，★SIMD型★パイプラインALUとメモリブロックの組（物理ユニットと呼びます）が64組入っています。1つのALUでは最大6命令を同時実行でき，メモリブロックでは最大4つのデータを読み書きできる，★VLIWとして使えます。さらに，★マルチスレッディングにより，1つの物理ユニットが，4つの論理ユニットに相当する機能を持っています。つまり，1つのCGRAに対して，(6+4)x4x64=2560命令に相当する機能を一度にセットできます。CGRAが4基あるので，合計，10240命令に相当する機能を一度にセットできることになります。かなり大規模な実験ができますね。ところで，ページ番号14に，○が並んだ表がありましたね。★の数は，左端のIMAXについている○の数と同じです。つまり，この写真がIMAXです。パイプライン，SIMD，VLIW，マルチスレッディング，そして，シストリックアレイの全部が入っています。これ，いくらするんでしょうね。ひみつです。😀

FPGA上に実装したIMAXを使って，性能を測定してみたのがこの表です。左から順に，CPU（1.2GHz），小型GPU（1.3GHz:メモリ性能480Gbps），IMAX（140MHz:メモリ性能30Gbps），大型GPU（1.6GHz:メモリ性能3872Gbps）です。IMAXはFPGAに実装しているので，動作周波数は他の6分の1以下です。また，メモリ性能も小型GPUの1/16，大型GPUの1/130しかありません。縦には5種類のプログラムが並んでいて，順に，転置を使わない行列積，畳み込み，距離画像生成，疎行列積です。転置を使わないのはメモリ節約のためです。距離画像というのは，2台のカメラ映像から得られる視差を使って，物体までの距離を画像にしたものです。表の値は実行時間です。どうです。周波数もメモリ性能も桁違いに最低なのに，小型GPUよりも高速で，大型GPUにも肉薄しています。さらに，IMAXをLSI化できたら，面積は大型GPUの1/100，周波数とメモリ性能ともに6倍になると見積もっています。わくわくしますね。面積が小さければ，消費電力も小さいので，温暖化抑止に貢献できそうですね。

CGRAというと、まず演算器だけ並べてしまうひとがいますが、コンパイルに必要なデータパス探索にとても時間がかかってしまい、コンピュータとして役に立たなくなります。

そこで，まず，このように，CPUの構造を基本部品とすることで、複雑さのオーダーを下げることができます。

そして，横に並べます。

次に，縦に並べます。

マルチコアに似ていますが、各々が独立に動作するのではなく、全体がデータを加工しながら、一方向にデータを流していきます。

浮動小数点演算を効率よく実行するために、論理的な４列構造を物理的１列構造に束ねます。

位置制約をなくすために、リング構造にします。

メモリバスにたくさん刺します。

これで、８万オペレーションを同時実行できます。

冒頭に，CGRAには大きく２種類あると言いました。この図の左上は，FPGAを拡張したもの，その他は，これまでに説明した，CPUを拡張したものです。コンパイルが高速だと，Pythonに組み込んで，実行しながらコンパイルすることもできます。

以上で，スリット検出器の6種類の実装方法が揃いました。図は，おおまかな特性をまとめたものです。上に行くほど消費電力が大きく，左に行くほど計算が正確です。左上には，ノイマン型のCPUとGPUが入ります。CAMも近くに入ります。これまでは，半導体微細化のおかげで消費電力が下がっていたので，微細化が止まると真下に移動することができません。下に行けるのは，非ノイマン型だけということですね。あとは，計算の不正確さをどこまで許容できるかで，どこまで消費電力を下げられるかが決まります。お金の計算をするコンピュータはどうでしょう。不正確は許されませんね。CGRAが限界です。天気予報や衝突シミュレーションなどの科学技術計算も同様です。AIはどうでしょう。精度が低いコンピュータでは，まだ，複雑な識別のために必要な大量の重みを計算することが困難のようです。重みが計算できたとして，識別に使うだけであれば，そして，大規模化と省電力化がうまく達成できれば，使う場面によっては，一番下までいけるかもしれません。一番下は，人間の脳のレベルです。20wattと言われています。いずれにせよ，今，ノイマン型コンピュータで走る様々なプログラムを移植して，みなさんが実験することができる非ノイマン型コンピュータは，CGRAだけです。未来のコンピュータと称して，この図にはない，様々な物理現象を利用するものが研究されています。でも，競争相手は，もはやCPUではなく，CGRAです。CGRAに勝てるものが出てくるでしょうか。そして，みなさんが使える日が来るでしょうか。それは何十年後のことでしょうか。

いいえ。普通の高校生は，ここでおしまい。頭が硬くなってしまって，定年まで何とかなればいいやと思ってる現役エンジニアも管理職も，ここでおしまい。ここからは，本当に興味を持った人だけの世界。日本に何人いるでしょうね。このパワーポイント，社会人向け技術セミナーに使うと言いました。でも，予想では，全国から参加者3人くらいでしょうね。1人しかいないと，セミナー自体が取りやめになります。参加費高いし。そのくらい，日本は横並びが大好きです。他がやらないから自分もやらずに済むと安心する，半導体工場も消滅する，白色矮星的世界です。参加者が誰もいないことがわかったら，この記事を書く気も失せます。そしたら，この知識は誰にも知られることなく，ホームページも6年後に消滅します。なかったことになります。だから，今，書いています。たまたま見つけて気に入った高校生が3人いれば，この記事を書いた甲斐があったというものです。3人いれば文殊の知恵です。では，ここからは，3人しか読んでいないと思って続けます。大学の授業に出席しても，学生が数人しかいないことが結構ありました。先生の他には誰もいない教室を見たこともあります。そんな雰囲気，嫌いじゃありません。真剣に聞く学生しかいないのですから。そういえば，日本では，国が，半導体復活をかけて，すごいお金を投入するそうです。枯木に水をやるよりも，3人の高校生に全部あげたほうがいいですね。6年経てば現役社会人です。すごいCGRAを作ってくれるはずです。他の人は，ただ，邪魔をしなければいいのです。

では，初級編をはじめます。え？ と思った人は，覚悟が足りません。さて，この図は，自ら関わり，実際にLSIになった多くのコンピュータのうち，CGRAに関連がある初期のものです。VPP（Vector Parallel Processor）は，社会人になって最初に関わったスパコンです。VLIWとベクトル演算器の両方を搭載していました。F，D，E，C，Wという文字が並んでいますね。Fは命令フェッチ（学生が列に並ぶ），Dは命令デコード（注文を聞く），Eは演算実行（うどんゆでる），Cはキャッシュ参照（器に盛る），Wは結果格納（うどん渡してお金受けとる）です。以前に説明した5分割と少し違いますが，この分割がコンピュータの動作に近いです。上側がVLIW，下側がベクトルです。ベクトルのDは，100人分の同じうどんの注文ですね。Dは別にして，3つのパイプラインが繋がってデータが流れていく様子は，CGRAの動きに似ています。ただし，ベクトルでは，連結できるパイプラインは2本程度しかありません。FPU（浮動小数点演算ユニット）パイプラインだけたくさん繋げることはできません。

2つ目はOROCHIです。VLIWとスーパスカラの両方を搭載していました。ページ番号75に，CGRAへ繋がる前段階としてVLIWがありましたね。OROCHIは，たくさんのVLIWを命令バッファ（B）に溜めながら，隙間にARMの機械語命令を紛れ込ませて実行します。頭が2つで，胴体が1つなので，OROCHIです。VLIWは規則的なプログラムの消費電力を減らす効果があるので，こういう構成を考えました。実は，命令バッファの部分が，IMAXの原型です。

3つ目はLAPP（Linear Array Pipeline Processor）です。スーパスカラが無くなって，VLIWとCGRAになりました。演算ユニット（E）がたくさん並んでいる部分がCGRAです。最大の特徴は，普段はVLIW命令を実行し，ループ構造を検出すると，ハードウェアが自分で連続するVLIWをCGRAにセットして，高速動作に切り替わる点です。VLIW命令互換のCGRAということですね。ただし，演算器にメモリを付けつつ，VLIW互換を維持するのは難しく，メモリ容量を小さくする必要があったため，CGRA動作できるプログラムに制約がありました。

図の上がLAPPで動かせるプログラムです。画像処理や，ステンシル計算と呼ぶ科学技術計算が得意でした。そして，最近では，下のように，もっと複雑なプログラムを動かす必要が出てきました。LAPPをどんどん改良することで，上に加えて，ライトフィールド画像のレンダリングや距離画像生成，グラフ構造解析，逆行列，文字列検索，機械学習に必要なテンソル計算，畳み込み演算や行列積など，複雑なメモリ参照が必要なプログラムがいろいろ動くようになりました。

この図には，VPP，OROCHI，LAPPも含まれています。4つ目は(d)のEMAX（Energy-aware Multimode Accelerator eXtension）です。ここからは，ノイマン型コンピュータは内蔵されておらず，CGRAだけの構成です。好きなCPUに繋いで使うことを想定しています。LAPPがメモリ容量を大きくできなかった理由は，VLIW互換のためでした。EMAXは，互換を諦めることで，メモリ容量を大きくし，複雑なメモリ参照を伴うプログラムが動くようになりました。また，LAPPでは，プログラム実行中にハードウェアがVLIWを解釈し，CGRA内のネットワークを切り替えていたのに対し，EMAXでは，あらかじめ，コンパイラが切り替え情報を生成しておくことで，ハードウェアを簡略化しました。スーパスカラに必要であった命令スケジューラが，VLIWでは不要になったのと，同じ考え方です。これで，CGRA部分がとても小さくなりました。5つ目は(e)のIMAXです。EMAXでは演算器が4列ありましたが，IMAXでは1列に減っています。また，演算器の中でデータを回せるようになりました。回す機能というのは，計算結果を累算するために必要です。特に，浮動小数点積和演算を回すことが，最近のプログラムでは重要になっています。ところが，4段パイプライン演算器の中に，回す機能が増えると，4回に1回しか計算することができません。稼働率25%です。これでは，4列用意する意味がありませんね。そこで，マルチスレッディングを導入して，プログラマに対しては，論理的に4列にあるように見せつつ，物理的には1列で作ります。これで，演算器の稼働率を25%から100%に戻すことができました。最後は(f)のTandem CGRAです。これはまだ考え中です。CGRAを起動する際のオーバヘッドを減らすアイデアですが，まだ，シミュレータができていません。

各々の機能を表にしました。LAPPまではノイマン型であるVLIW内蔵，EMAXまではAXIマスター，IMAXはAXIスレーブです。AXIマスターは，EMAXが自律的にCPUのメモリにデータを取りにいく能動的接続方法，AXIスレーブは，CPUからデータが送り付けられる受動的接続方法です。あとで詳しく説明します。AXIスレーブにすることで，IMAXはさらに小さく，また，たくさん繋ぐこと（Chiplet）ができるようになりました。

IMAXに入っているそれぞれのユニットは，実は，CPUの構造に似ています。ノイマン型の効率が悪いから非ノイマン型にしたのに，結局似てるなんて，誰かの呪いでしょうか。そうかもしれません。みなさんは，IMAXの構造を最初に見てしまいました。ここで，改めて，CPUの構造を見てみましょう。左の図は，前に紹介した教科書から持ってきました。図の真中に，上から，Fetch，Decode，Execute，Cache，Writeと書いてあります。どこかで見たことがありますね。ページ番号87です。この5分割されたハードウェア構造が，パイプラインの正体です。ただし，正しいCPUになる直前の構造です。上から見ていきましょう。Fetchは，機械語命令が入っている命令キャッシュから，命令を1つ取り出して，命令バッファと呼ぶ場所に書き込みます。Decodeは，機械語命令を解釈して，必要なデータをレジスタファイルと呼ぶデータの置き場所から，何個か取り出して，演算器の手前のレジスタに準備します。Executeは，用意されたデータを使って加算などを行い，結果を出口のレジスタに書き込みます。Cacheは，計算結果をオペランドキャッシュに書き込むか，オペランドキャッシュからデータを取り出します。Writeは，演算結果やキャッシュから取り出したデータをレジスタファイルに書き込んで，次の機械語命令が使えるようにします。一見，正しそうです。でも，気づいた人がいるはずです。これはCPUの構造としては間違っています。教科書では，次の図（ここには載せてないので教科書買いましょう 😀）で，正しい構造を説明しています。どこがおかしいのでしょう。

一番下にレジスタファイルがあって，Writeが書き込むところまで説明しました。でも，この下に何もないですね。これでは，次の機械語命令がデータを引き継ぐことができません。だから，CPUを作るためには，一番下にレジスタファイルを置くのではなく，Writeは，Decodeに入っているレジスタファイルに書き戻さなければなりません。これでCPUのでき上がりです。一方，右の図にあるIMAXは，一番下にレジスタファイルを置いたままにし，さらに下に，次のユニットを繋ぎます。最後はぐるっと回って先頭に繋がります。前に言った，リング構造のでき上がりです。CPUとIMAXは，上に戻すか，下に進むかの違いだけなんですね。ハードウェア機能に連続性を持たせることで，CPUに慣れ親しんだプログラマも，IMAXのプログラムにすんなり入っていけます。これがIMAXの設計思想であり，狙いです。

左端は，CPUと少しだけ違う基本構造で，論理的にも物理的にも1列分です。左上の山形がパイプライン演算器，右上の山形がメモリ参照のためのアドレス生成器，長方形が多数並んでいる中央の箱がメモリです。一番上と一番下に，細長い長方形が4本ずつのレジスタファイルがあります。ここから，IMAX2に進化させてみましょう。真ん中は，浮動小数点演算器の稼働率を100%に維持するマルチスレッディングを追加した構造です。論理的に4列分を収容するために，演算器は1つのままで，レジスタが4倍の16本に増えます。さらに，下に繋げるユニットに対して，4列分の状態をしばらく維持しておくことが必要なので，2倍の32本が必要になります。右端は，メモリに，CPUと接続するための外部インタフェースを付けた構造です。

どんどんいきましょう。左端に，回す仕組みが入りました。一番下のレジスタファイルや，演算器の出力から，上に戻る青い線が増えています。真ん中では，メモリの2箇所に同時アクセスするために，デュアルポートメモリに変更して，右上のアドレス生成器も2つに増えました。右端では，このユニットを飛ばして，上に繋ぐユニットから，下に繋ぐユニットにデータを直接送るための伝搬レジスタと配線を追加しました。

この図は，1つのユニットの中に，5個のループを作り，データを各所に同時に流すことで，無駄なく疎行列計算をするタイミングチャートです。同じパターンが繰り返されている中で，下から上にデータが戻る矢印が5種類見えますね。これが5個のループを表現しています。ちょうど五輪開催時期に考えました。余談ですが，ハードウェアを設計する時には，このようなタイミングチャートを書きます。プログラムは上から順に実行されるので理解しやすいです。でも，ハードウェアは全体が同時に動くので，可視化して確認する作業が必要です。空間的センスが要求されますね。左側は5個のループで構成されていますが，まだ隙間がありますね。二重化して10個のループを埋め込んだものが右側です。これで性能が2倍になりました。これをみて，CGRAの動きを読める人は，ハードウェアのセンスがある人です。

緑の線が，疎行列のために追加した配線です。これで，IMAX2の基本ユニットが完成しました。各所に隙間なくハードウェアが入っていることがわかります。右側の図は，疎行列計算の時のデータの流れです。とても複雑に見えますが，IMAX2のハードウェアは，このようなデータの流れをプログラムで自然に表現し，回路を動作させることができます。

ここで，はじめて，IMAX2プログラムの具体例を紹介します。上の8行が，1つのユニットで疎行列計算をするIMAX2のプログラムです。C言語の関数呼び出しの形式で書いてあります。VLIWのように見えますね。その通りです。たくさんの機能をユニットにセットすることができます。IMAX2は，このプログラムをたった4サイクルで実行できます。60ユニットで実行すれば，さらに60倍の並列処理になります。下は，同じプログラムをノイマン型コンピュータ向けに変換したプログラムです。とても長いプログラムになりました。これは4サイクルでは到底実行できません。IMAX2は，多くの機能をコンパクトかつ巧妙にデータパスに埋め込んで，効率良く計算する仕組みであることがわかりますね。単に，CGRAにしたからできるというものではありません。例えるなら，ノイマン型コンピュータは都心の有名大型デパート，ふつうのCGRAはコンビニ，IMAX2は秋葉原高架下の超高密度電気街といったところです。

同じ説明の繰り返しです。ユニットの各部分がどういう役割を果たすかをまとめた図です。CPUより遥かに複雑に見えるかもしれませんが，CPUと違って，機械語命令を取り出したりスケジューリングする機能が不要なので，小さく作ることができます。コンパクトな構造なのに複雑なデータフローが写像できるというのは，まさに，「神は細部に宿る」ということでしょう。

具体的なプログラムの書き方を理解するために，まず，書き方によって，ハードウェアの動きが変わることを見ていきます。前に説明した回す機能が何種類かあって，どのように書くと有効になるかさえ理解すれば，残りはたいしたことありません。まず，図の青い部分が，論理ユニット1つ分です。ALU，2個のアドレス生成器(EAG)，および，デュアルポートローカルメモリが見えますね。横に4つ並べて，1行4列分です。そして，右端に，IMAX2プログラムの簡略表記が，縦にならんでいます。各々の記述の中に，行や列の位置情報を追加すると，コンパイラがその場所に強制的に配置するところが，ミソです。位置情報がなければ，コンパイラは，回す機能は使いません。この図(a)は，位置情報を記述せず，配列A，B，C，Dを用いて，2要素毎に"D=C+BxA"を計算する単純なケースです。まず，IMAX2の1行目に，Load A，Load B，および，Load Cがセットされ（4列目は省略），A，B，Cを入力とする積和演算FMAおよびStore Dが，CGRAの2行目に写像されます（3および4列目は省略）。位置情報を書かない場合，このように，上から下への単純なデータフローが形成されます。

一方，図(b)は，配列A，B，Cを用いて，2要素毎に"D=C+B*A"を計算し，結果をCに書き戻すケースです。Loadの格納先C，および，FMAの結果を一時格納する変数Dに，位置情報を足すと，配列CへのLoadとStoreを同時に行います。IMAX2の1行目にLoad A，Load Bがセットされ，2行目にLoad Cがセットされます。積和演算FMAの結果を一時格納する変数Dが，Cと同一行に指定された場合，演算器の入力A，B，Cは，一度，同じ行の下側のレジスタに送られた後，演算器入力へ戻されます。配列Cに対するDのStoreも，同一行にセットされるため，同じローカルメモリの配列Cに対する，ロード-演算-ストアとなります。

図(c)は，(b)を1行に収容するケースです。デュアルポートローカルメモリは，物理的には，IMAX2の1行に1個のみ装備されていて，時分割多重により，最大4列分の独立した論理メモリに見せています。このため，(b)では，1つの物理ローカルメモリを配列AとBで共有するのに対し，(c)では，配列Cも共有するため，配列あたり使用可能なメモリ空間は減少します。それでも，1行に収容するメリットがある場合は，Loadの格納先Cには位置情報を付加せず，FMAの結果を一時格納する変数Dのみに，位置情報を付加します。まず，Load A，Load B，および，Load Cがセットされ，積和演算FMAと，配列Cに対するDのStoreも，同一行に写像されます。

図(d)は，一時格納する変数Dを使用せず，積和演算FMAを"C=C+B*A"と記述したケースです。Store Cには位置情報を付加しません。プログラム上は，ローカルメモリにストアしたデータを再度ロードする，積和演算の繰り返しになります。しかし，ストア後に同一アドレスからロードして，演算に回す計算は，とても時間がかかるので，CPUでも回避しなければならないハードウェア動作の1つです。一方で，CGRAの場合，この動作は，演算器内のアキュムレート，つまり回す機能により，時間をかけずに容易に吸収できます。(c)との違いは，FMAが，単純なロード-演算-ストアではなく，入力C0が，LOOPの初回のみ配列Cのロード結果に接続され，そして次回以降は，演算結果に接続される，ロード-アキュムレート-ストアとなる点のみです。もちろん，パイプライン浮動小数点演算器の場合，演算器内アキュムレートは，単独では毎回の実行が不可能です。IMAX2は，4列マルチスレッディングにより，アキュムレートがあっても，論理UNITの動作にオーバヘッドが生じない特長があるため，性能低下の懸念なく(d)を利用できるというわけです。

以上のように，似たような積和演算でも，4種類の書き方があります。どれにするかを別に指定する方法を使えば，コンパイラは楽に作れます。でも，以前に，IMAX2のプログラムは，CPUでも動くことが重要と言いました。C言語の制約の中で正しく動き，かつ，IMAX2上で狙い通りに高速動作させるための，うまい仕掛けです。

図(a)〜(f)は，IMAXが対応している計算パターンをまとめたものです。山形はALU，長方形はメモリを示していて，プログラムの視点では，4列構成です。(a)は，0の要素が少ない密行列を8並列のSIMD命令で処理するパターンです。青色メモリから，一度に配列Aの連続8要素を読み出します（1つの矢印が2要素に対応）。同様に，黄色メモリから配列Bの連続8要素，オレンジから配列Cの連続8要素を読み出します。そして，4個の3入力ALUが，A，B，Cの各2要素を使って，A+BxCを計算し，連続8要素の計算結果を赤色メモリに書き込みます。つまり，CGRAの1行あたり，8組のA+BxCを計算します。(b)は，各行各メモリの離れた2箇所から，連続2要素を読み出し，縦に送って，多くの積和演算を行うパターンです。1列目と2列目のメモリを共有すれば，各配列の離れた4箇所から読み出せます。さらに，横1列のメモリを全て共有すれば，配列の離れた8箇所から読み出せます。(c)も，縦に送って，多くの積和演算を行うパターンです。ただし，最後の結果をメモリに書き込む時に，以前の値に1回だけ累算し，次の場所に移動します。メモリから読み出して，ぐるっと回して同じ場所に1回だけ書き戻します。回す機能の出番です。(d)は，メモリの内容に1回だけ累算するのではなく，パイプライン演算器自身の演算結果を毎回戻して累算します。マルチスレッディングは，特にこのパターンにおいて，演算器稼働率を25%から100%に引き上げる仕組みです。(e)は，ページ番号46で説明した確率的積和演算のパターンです。IMAXのデータパスはよく考えられていて，確率的計算機能を自然に入れることができます。配列Aから連続8要素を読み出すことで，各8ビットの値を32個一度に読み出します。そして，8個ずつ，4つの確率的積和演算器に投入し，全ての結果を加算した結果をメモリに書き込みます。(f)は，最後に追加した，疎行列計算のパターンです。あらかじめ，64ビットの上位に要素番号，下位に要素値を格納することで，0の要素が多い疎行列を密行列に圧縮しておきます。IMAXは，CGRAならではの，とても巧妙な仕組みを使って，圧縮した行列どうしの行列積を計算します。メモリの有効利用と高速化が同時にできます。さっき説明しましたね。

このビデオは，論理的に4列構成のCGRAを物理1列に圧縮し，64ユニットを1個のLSIに収容し，3つのLSIをCPUに接続するまでをアニメーションにしたものです。LSIの中では，ユニット内メモリと外部とのインタフェースが，レイテンシ短縮のために，メッシュ構造になっています。一方，ユニットからユニットへ演算結果を伝搬させる演算データパスは，次のページの通り，1列に繋がったリング構造になっています。

CGRAでは，メモリの内容を移動せず，代わりにALUにセットする機能を移動させることができます。図のようにALUとメモリの組をリング状に接続すると，メモリに対して，ALUにセットする機能をダイヤル錠のように回しながらデータ処理することもできます。1つのリングが1つのCGRAに対応していて，何基も繋げることで性能を上げることができます。実は，全体を1個の大きなLSIにするよりも，1つのリングを1個のLSIにしてたくさん繋げるほうが，製造時の分止まりが向上して価格が安くなります。IMAX2はこのような効果も狙っています。

そして，ローカルメモリを可能な限り再利用し，外部メモリとのデータ転送を削減する最適化が，コンパイラによって自動的に行われます。CGRAの場合，演算器ネットワークをどう埋め込むかばかり考えがちですが，それはアーキテクチャの視点からは完全に間違っています。何がボトルネックになっているかを正しく理解している人であれば，外部メモリとのデータ転送を一番に最適化するのが重要であるとわかっているし，それが王道です。

次のビデオは，物理1列のIMAXがどう動くかのアニメーションです。左側は縦に64個繋がったうちの1つのユニット，右側は2つのユニットを示しています。4枚のパワーポイントが入っています。ページが進むにつれて，小さな箱が，全体的には上から下に動きます。一方，いろんな場所から上に戻っていくデータもありますね。これが，さっきの回す仕組みです。

さて，CGRAの商用化には，様々な要求を満たす必要があります。上から順に，多くのアプリに対応できること，高速・小型であること，メモリバンド幅が狭くても性能が出ること，演算器を無駄に遊ばせないこと，レジスタが必要最小限であること，データ転送のコストを下げられること，プログラムのデバッグが容易であること，チップ数を容易に増やせる等の拡張性があること，ホストの改造が不要であること，コンパイル速度が速いこと，簡単にプログラムできること，仮想化に対応できることなどです。以前に，「非ノイマン型にも，使えるものと使えないものがある」と言いました。これらが揃っているのが，使えるコンピュータということです。特に，コンピュータと呼んで欲しければ，コンパイル速度だけは絶対に譲ることができません。技術者の時間は貴重です。作業のたびに，何十分か何時間かコンパイルが終るのを待っているなど，論外です。

だめです。離陸したので，出口はロックされています。まもなく垂直上昇するので，シートベルトして下さい。では，中級編のはじまりです。AIの入門レベルで必ず出てくる，画像識別プログラムを使って，学習と識別がどのようにIMAX2に実装できるかを考えます。

これは，ニューラルネットワークと呼ぶモデルです。Forwardは，未知の画像を入力し，何の画像であるかを識別するのに使います。なんのことやらわかりませんね。Pythonを知っている人は，ページ番号63のような，もっとわかりやすい書き方を知っていることでしょう。でも，中身はこういうものです。この一部分が，ページ番号64にあった畳み込みです。ブラックボックスに満足する人は，そもそも，ハードウェア設計に向いていません。Forwardの中で，計算量の大部分を占めるのが，畳み込み計算と全結合計算です。どちらも，変形すれば，ただの行列積を使って計算できます。行列積の形に書き直すスキルがあれば，ブラックボックスに頼ることなく，ハードウェアを設計することができます。

Backwardは，間違いを含む識別結果から入力画像に遡って，途中の計算に使う重みを調整するのに使います。この一部分が，ページ番号66でした。Forwardは，1回計算すれば識別結果が出力されます。でも，backwardは，元々計算量が多いことに加えて，何度も調整を繰り返す必要があるので，とても時間がかかります。

ページ番号65（64の次です。ビデオは番号1になるので）は，CPUやGPUの場合の畳み込み計算方法でした。データをあちこちにコピーし，整列しておく必要があります。この図は，IMAX2の畳み込みです。左下が画像データ，左上が重みデータで，CPU側にあります。CPUは，複数箇所へのコピーはせず，アドレス情報とデータを1度だけ，右のIMAX2に送信します。IMAX2の各ユニットは，アドレス情報を見て，自分に必要なデータであれば取り込みます。複数のユニットが同じデータを取り込めば，IMAX2の内部で複数箇所にコピーされたことになりますが，CPUから見れば手間は増えません。乗客が何人いようと，機内アナウンスで1回放送（broadcast）すれば，全員に伝わるのと同じです。コンピュータ用語でも，ブロードキャストと呼びます。その後，CGRAとしての連続演算が始まり，計算結果をCPU側に戻します。

次は行列積です。IMAX2は，転置をせずに計算します。

ページ番号102では，IMAX2のプログラムを8行だけ見せました。この図は，CPUで動くプログラムに，IMAX2のコードを埋め込んだものです。C言語で書いてあります。上のほうは，CPUが実行します。そして，//EMAX5A beginと，//EMAX5A endで挟まれた，青字部分と赤字部分をIMAX2が実行します。ところで，CGRAは，あちこちが同時に動くハードウェアなので，ノイマン型のように，機械語命令が順番に実行されることを前提とした，ステップ実行などのデバッグ方法が使えません。そこで，IMAX2では，青字部分と赤字部分が，CPUでもそのまま動く仕掛けになっています。そうすれば，プログラムが思ったように動かない時に，アルゴリズムが悪いのか，IMAX2の使い方が悪いのかを区別することができます。アルゴリズムが正しいことをCPUで確認し，その後，IMAX2コンパイラを使って，IMAX2で動かします。

赤字部分には，マクロと呼ばれる記述が2種類入っています。上のsgemm00_core1は，IMAX2の中を縦方向に，下へ向かって積和演算を繋いでいく，ユニット毎の部品です。下のsgemm00_finalは，最後のユニットにセットされて，上から落ちてきた積和演算結果をメモリの内容に足し込みます。2つの赤枠部分が，それぞれ，CGRAの1行4列分の機能がある，IMAX2の1個の物理ユニットにセットされます。

ページ番号98では，あちこちが同時に動くハードウェアの動作確認には，タイミングチャートによる可視化が便利と言いました。同じように，あちこちが同時に動くIMAX2のプログラムも，変数がどのレジスタに対応付けられ，ユニット間をどのように流れていくかを可視化できると便利です。今まで，「機能をユニットにセットする」という表現を使いました。IMAX2コンパイラは，プログラムの赤字や青字の部分から，セットする情報を生成するついでに，線画で可視化したファイルを作ってくれます。ページ番号91にあったユニットの構造が横に4列並んでいます。これが，プログラムを書く際のIMAX2のモデルです。1つが論理ユニットに対応していて，ユニットの上端と下端には，レジスタが4本ずつしかありません。プログラマは，物理ユニットにレジスタが32本あることは気にせず，レジスタが4つある論理ユニットの世界で，プログラムを書きます。

黒い部分は，ハードウェアの機能を使っていないこと，紫は，3入力演算器が使われていることを示しています。左は行列積，右は畳み込みです。1行目と2行目に黒が多いのは，積和演算に必要なカウンタやアドレス計算を初期化しているためです。はじめのうちは，この図を見ながら，どう書いたら，どうなるのかをいろいろ試してみるのがよいでしょう。

同じように，重みに関するバックプロパゲーションをIMAX2用にアレンジしたのがこのプログラムです。これを元に，IMAX2用に書き換えていきます。書き換え後のプログラムは，あとでダウンロードできます。

図の下は，ページ番号66のように，同じデータをコピーしてデータを整列する手順ですが，IMAX2では，この作業を経由せず，元の複雑な形のデータのまま，直接，重みを計算することができます。

同様に，入力に関するバックプロパゲーションをIMAX2用にアレンジしたのがこのプログラムです。

さっきと同様に，図の下は，同じデータをコピーしてデータを整列する手順です。IMAX2では，この作業を経由せず，元の複雑な形のデータのまま，直接，入力を計算することができます。

現在，衛星軌道周回中です。景色を楽しんで下さい。ほら，あそこで氷床が盛大に崩れてますよ。カテゴリー5も暴れてますね。大富豪より，高校生をつれていくべきですね。百聞は一見にしかずです。大気圏に再突入して，着陸するまであきらめましょう。上級編のはじまりです。ここでは，具体的に，IMAX2のプログラムの書き方，動かし方，そして，IMAX2の現状の設計資産を手に入れた後で，どうやって自分用にカスタマイズしていくかの流れを説明します。

ここからしばらくは，IMAX2仕様書からの抜粋です。とりあえず最後まで書いて，時間があったら，ここに戻ってきて解説を追加します。

かなり飛びました。ここから続けます。色を入れ換える画像処理を例題に，プログラムを具体的に説明していきます。左画像を入力すると，右画像のように，色が変わります。どの色をどの色に変換するかは，色ごとの配列で定義します。赤字は，ダウンロードできるファイルの使い方です。CUDAが使えるGPUで動かせます。【CPU】の部分は，CPUで動くプログラムです。画像は2次元構造ですが，画素はメモリ上で一列に並んでいるので1次元配列を使い，制御には，あとでステンシル計算に対応できるよう，2重ループを使います。hin[]が入力画素，pixが処理中の1画素，ht[]が色変換表，hout[]が出力画素です。メディアンフィルタのところで説明したように，RGBの色成分は8ビットなので，シフト演算を使ってpixから各8ビットを取り出します。そして，各成分を使って色変換表を引き，最後に3色をつないで，出力のでき上がりです。【GPU】の部分は，このプログラムをCUDAに書き直したものです。CPUの最内ループの計算部分だけが入っていて，演算コアはこれだけ実行します。GPUは，たくさんの演算コアを使って，画像のあちこちを一斉に処理します。

IMAX2で動くように書いてみましょう。まず，#if !defined(EMAX5) && !defined(EMAX6)から，#elseの前までは，参考に置いた，元のCPU用プログラムです。

#elseから後ろが，CPUでもIMAX2でも動くプログラムです。//EMAX5A begin - endの間が，IMAX2コンパイラにより，IMAX2向けコードに変換されます。IMAX2コンパイラは，3重ループまで扱えますが，この例は，whileループを使った単純ループで書いてあります。使用する物理ユニット数は3です。最初のOP_LDWRは，先頭ユニットのローカルメモリから，32ビットの画素値を1つロードして，レジスタファイルBRの1つ，BR[0][1][1]に格納します。各BRは64ビットなので，下位32ビットに書き込まれ，上位32ビットは0になります。[0][1]は論理ユニット0行1列目，[1]は論理ユニット内レジスタの右から2番目を意味します。これが位置情報の具体例です。位置情報の代わりに好きな変数名も使えますが，次に可視化結果と対応づけて説明するので，今は位置情報を使います。続く3行のOP_LDUBRは，色変換表の先頭をベースアドレス，最初にロードした画素値の各色成分をオフセットとして，1バイトをロードし，各々BRに格納します。OP_MMRGは，3つの1バイトデータを繋げて，画素値に戻し，最後のOP_STWRが，32ビットデータを出力画素としてメモリに書き込みます。

これが，IMAX2コンパイラが可視化してくれた，コンパイル結果です。右上端が第0行0列です。ここには，whileループのカウンタ初期値と，ALUを使う減算がセットされます。カウンタが0になったら，下のユニットに停止指示を出します。後続ユニットの動作が，順に止まっていきます。第1列には，最初のロード命令がセットされています。右から6番目の赤いBRレジスタに，BR[0][1]という名前が見えます。第0行1列のBRという意味です。ユニット内の位置は，見ればわかるので，表示されません。ロード結果はここに格納されます。第1行1列から3列に，OP_LDUBRがセットされています。そして，第2行0列に，OP_MMRG（紫のALU）とOP_STWRがセットされます。このプログラムは，第0行1列に入力画像，第1行1列から3列に色変換表を用意し，IMAX2を起動すると，第2行0列のメモリに，毎サイクル1つの出力画素を格納します。演算器内部だけでなく，ユニット間もパイプライン化されているので，毎サイクル結果が出てくるわけです。

さっきのプログラムは，64ビットレジスタの半分しか使っていません。もったいないですね。この図は，32ビットの画素値を2つロードすることで，処理速度を2倍に上げた64ビット版プログラムです。最初のOP_LDRは，先頭ユニットのローカルメモリから，32ビットの画素値を2つロードして，BR[0][1][1]に格納します。続く6行のOP_LDUBRは，色変換表の先頭をベースアドレス，最初にロードした画素値の合計6箇所の色成分をオフセットとして，1バイトをロードし，各々BRに格納します。3つのOP_CCATは，同色の2つの1バイトデータを各々1つのレジスタにまとめ，OP_MMRGが，3つのレジスタの内容をまとめて2つの画素値に戻し，最後のOP_STRが，64ビットデータを2つの出力画素としてメモリに書き込みます。IMAX2の実行回数も，画像の横幅（WD）の半分になるので，loop=WD/2になっています。

コンパイル結果です。右上端が第0行0列です。第0行は，さっきの32ビット版と同じです。第1行1列から3列に，OP_LDUBRが2つずつセットされています。デュアルポートメモリのおかげです。第2行0列から2列に，OP_CCATがセットされています。そして，第3行0列に，OP_MMRG（紫のALU）とOP_STRがセットされます。第3行0列のメモリに，毎サイクル2つの出力画素を格納するので，性能が2倍になりました。

IMAX2には，1基あたり，64個の物理ユニットが入っていますが，今までの2つの例では，3個か4個しか使っていません。また，IMAX2の起動回数は，画像の高さHT=240と同じでした。いろいろもったいないです。そこで，同じ処理を残りのユニットにも割り当て，多くのユニットを使うことで，IMAX2の起動回数を減らすことを考えます。32bit版で作ったプログラムを10倍に増やしたのが，このプログラムです。長いので，後ろは省略です。また，プログラムの構造が，whileだけの単純ループではなく，3重ループになっています。IMAX2が4基参加し，10個の物理ユニットが各々2重ループにより，幅方向WD，高さ方向6の画像を一度に処理するようにします。これで，IMAX2の起動回数は何回になったでしょう。240/4基/10ユニット/6=1なので，起動回数はわずか1回になりました。

コンパイル結果です。第0行と第1行は，3重ループの制御とアドレス計算に使われています。第2行から第4行に，さっきの32ビット版が埋め込まれているのがわかります。10倍にふやしたので，物理ユニットは，3x10=30必要でしょうか。いいえ，違います。よく見ると，第2行から第4行に対応するデータフローと同じ形が，第5行から第7行ではなく，1つ手前の，第4行から第6行にあります。つまり，コードを10倍に増やしても，論理ユニットに空きがあれば，一部オーバラップできるということです。全体では，22個の物理ユニットにおさまります。まだまだ物理ユニットが空いていますね。4バイトの1画素は，320x6でも8KB未満しかないので，64KBのローカルメモリも大部分が余っています。物理ユニット数64というのは，少ないように感じるかもしれませんが，まだまだ余力があります。

だいたいの感じがつかめたところで，今度は，IMAX2のプログラム開発環境について説明します。以前に説明したように，CGRAプログラムのデバッグは，ノイマン型のようにはいかないので，いろいろな実行方法が必要です。一発で動けばいいですが，動かない場合，どこで何がおこっているのかわからなければ，手も足もでません。この表は，実行方法の一覧です。本格的なCGRAの環境としては，これ以上のものはないと思います。(A)では，以前に説明した，//EMAX5A beginと，//EMAX5A endで挟まれた部分をCPUで動かします。IMAX2コンパイラは，前に列挙した命令テンプレートをIMAX2の制御データにコンパイルしますが，このテンプレートは，C言語の関数呼び出しと全く同じ形式です。IMAX2機能のC言語ライブラリが用意されているので，IMAX2コンパイラを使わずに，通常のCコンパイラとCPUを使って，そのまま動かすことができます。この段階で正しく動かなければ，IMAX2コンパイラを使っても無駄です。

(B)から(D)では，ARMv8のクロスコンパイル環境と，ARM+IMAX2シミュレータを使って，段階的に動かします。シミュレータを使えば，各ARM機械語命令の動きや，IMAX2の物理ユニットの動きを全て再現するので，内部で何が起こっているかを調査することができます。(B)は，(A)のCPUをIntelからARMに変更しただけです。IMAX2機能C言語ライブラリを使い，ARM機械語命令のみで実行します。ARM特有の問題があれば，ここで解決しておきます。(C)は，IMAX2コンパイラを使って，ARM機械語命令にIMAX2コードが埋め込まれたものを実行します。この時，CPUのDMA機能は使わず，ロードストア命令のみによって，IMAX2とのデータ送受を行います。送受する個々のデータをprintf()等により確認することができます。(D)は，フルスピードの実機と同じく，DMA機能を使ってデータ送受します。

(E)と(F)では，シミュレータよりも正確に，IMAX2のハードウェアの内部動作を確認できます。プログラマが使うことは，あまりありませんが，最初に言ったように，プログラマがハードウェアも開発する局面では，必須のスキルです。(E)は，Verilog言語で書かれたIMAX2の設計情報を回路レベルでシミュレーションします。配線レベルの動作を確認できますが，シミュレーション速度はとても遅いので，大きなプログラムを走らせることは，ほぼ不可能です。(F)は，実機の中から指定した配線の波形を取り出して可視化してくれます。ただ，FPGA内部のメモリを流用するので，短い時間の波形しか観測できません。

(G)から(I)は，(B)から(D)をシミュレータから，ARMの実機に置き換えたものです。まとめると，(I)が最終実行形態ですね。運が良い人は，いきなり(I)で試しましょう。動かなかったら，遡って，いろいろ試してデバッグするのもよい方法です。でも，実機が少ない場合は，みんな試してみたくて，取り合いになります。一発で動く確率を上げてから試したほうが，取り合いにならないですね。前に「これ，いくらするんでしょうね」と言いました。何台も買える人は，なかなかいないでしょう。だから，(A)から(I)までの，様々な方法が必要になるという側面もあります。慣れてきた人には，(A)⇒(I)⇒(D)⇒(I)の順序がお勧めです。

実際のプログラムでは，扱うデータ量が必ずしも大きくないことがあります。たとえば，この図は，連立一次方程式を解く際に使われるLU分解です。三角行列を扱うので，IMAX2が連続動作できる時間に大きなばらつきが出ます。データ長が短いと，CPUのほうが早く終わることもあります。このような場合は，CPUで動かす部分と，IMAX2で動かす部分を両方用意して，長さに応じて切り替えるのがよいです。

では，ここからは，コンパイル過程と，コンパイラの仕組みです。図は，(C)と(D)で使う，Makefileの内容です。Makefileは，ソースプログラムから，実行形式ファイルを生成する際の手順を書いておくことで，コンパイル作業の自動化ができるファイルです。UNIXに詳しい人は，これを見るのが正確ですが，高校生は見慣れないでしょうから，次のページから順に説明します。

これは，前に使った，色を入れ換えるプログラムです。ファイル名は，filter+rmm.cです。IMAX2コンパイラは，いくつかの手順を使って，赤字部分を変換していきます。まず，conv-markが変換します。

変換結果です。行の頭に，/-EMAX5AB-/という修飾が付いたり，中身が少し書き換えられています。次に，cpp -Pが変換します。

変換結果です。#ifの部分がなくなりました。次に，conv-c2cが各行を解釈してIMX2コードを生成します。

変換結果です。whileループの構造が消え，行数が増えて，一気に変わりました。各ローカルメモリの担当範囲の抽出，前回演算結果の回収，という具合に，IMAX2を使うために必要な準備が，CPUコードとして入りました。

さらに，4列分の論理ユニット機能を物理ユニットにセット，初期値をレジスタファイルへセット，担当範囲情報を各ローカルメモリへセットします。

最後に，ローカルメモリへのデータ送信，IMAX2の起動，同時に次データの送信を行い，IMAX2の動作完了を待ちます。残りは，IMAX2が生成した制御情報です。

この動画は，LAPPのハードウェアが，上から流れ込んでくるVLIWをデコードし，レジスタ間依存関係に基づいて，CGRAの演算器間ネットワークをセットしていく様子です。IMAX2では，同様の方法により，コンパイラがユニット間接続情報を生成します。

以前に，FPGAとCGRAは，再構成の粒度が違うと言いました。ソースプログラムを入力として，FPGAコンパイラはゲート間接続情報，CGRAコンパイラはユニット間接続情報を生成します。 FPGAの場合，IMAX2程度の大きな回路だと，合成に24時間以上かかります。一方，IMAX2のコンパイル時間は，IMAX2機能C言語ライブラリを使う場合でも，IMAX2コンパイラを使う場合でも，数秒です。

ここまでは，プログラマとしての，IMAX2の使い方でした。プログラマでおわるのもいいでしょう。でも，それが許されるのは，ノイマン型コンピュータまでです。ノイマン型には，もう進化の余地がないし，今のスキルは，いずれ小学生に追い越されます。現状の非ノイマン型の使い方だけ勉強したところで，焼け石に水，東南海大地震に堤防です。ここからは，コンピュータ開発者としての，IMAX2の改良も含めた使い方です。

2.のNo-CGRAモードを試すには，IMAX2機能C言語ライブラリに，機能を追加します。具体的には，conv-c2c/emax6lib.cに，記述を追加します。例えば，浮動小数点積和演算を追加する場合は，このように書きます。シミュレータに対する機能追加と同じです。

3.のコンパイラ機能追加は，conv-c2c/emax6.cに，記述を追加するだけです。しかも，具体的機能は，すでにemax6lib.cに追加したので，命令スケジューラに，OP_FMAとOP_FMSの存在を教えるために，赤字部分を追加するだけです。

4.のシミュレータ機能追加は，emax6lib.cへの記述追加により，すでに終わっています。シミュレータを再コンパイルするだけで，追加機能が使えるようになります。ここでは，シミュレータ（csim）について説明します。IMAX2は，CPUにスレーブ接続されるため，単独ではプログラムを動かすことはできません。つまり，csimは，ページ番号150で説明したように，ARMv8とIMAX2の機能，および，AXIインタフェースの全てをシミュレートします。1つのARMv8コアに，1基のIMAX2が接続されるモデルになっていて，図のような粒度でシミュレーションをします。

すでに説明したemax6lib.cは，siml_unit_stage4，siml_unit_stage3，siml_unit_stage2の中から呼び出されて，シミュレーションに参加します。おさらいすると，emax6lib.cに追加した機能は，No-CGRAモード，csimによるシミュレーション，さらに，あとで説明する，テストベンチの正解値生成に使用されます。

Csimには，ARMv8の機能として，スーパスカラ，マルチスレッド，分散L2キャッシュ，マルチコアの機能が入っており，プログラムの高速化に効くのが，スーパスカラか，マルチスレッドか，マルチコアか，アクセラレータか，あるいは，どのような組合せが最適であるかを比較検討できるようになっています。このグラフは，csimのパラメタを変更するだけで，GPUや，XEON/Phiを含む，様々なコンピュータをモデル化できることを示しています。横軸は，コア数，縦軸は，プログラムの実行時間です。左のグラフは，実機での測定結果，右のグラフは，csimでの測定結果です。性能が交差する部分のコア数が，見事に再現できています。

ここからしばらくは，プログラムをcsimで動かして，動作をチェックする手順です。

だんだん，説明が手抜きになってきました。技術セミナーで，詳しく説明します。

次は，Verilogシミュレーションの実例です。

そして，実機波形の実例です。

実機を使うためには，Verilog記述から，まず回路合成を行い，次に配置配線を行います。これは合成結果。

これが，IMAX2の配置配線結果です。ここで使ったFPGAは小さいので，8ユニット構成です。

FPGAの資源のうち，LUTの77%が使われています。WNSがマイナス0.126nsと，目標動作周波数200MHzに少し届いていません。

遅い配線を調べると，このような，長距離配線が見つかりました。

もっと大きなFPGAを使って，16ユニット構成を配置配線してみました。まだ多くの空き地がありますね。最終的には，このFPGAには，64ユニットを実装することができます。

さらにユニット数を増やすには，FPGAボートを複数枚接続します。ボード間接続には，高速シリアル通信を使います。

そして，ボード間接続のためのインタフェースボードも作ります。左端が，ARMv8が載っているFPGAボード（ZCU102），右側が，IMAX2が載っている2枚の大規模FPGAボード（VU440）です。

高速シリアル通信といっても，FPGA内部のデータ転送速度と釣り合う性能を出すのは，とても難しいです。IMAX2内部が高速動作した後は，ARMv8との間の通信時間を短縮する工夫が重要になります。

よくあるのが，カタログスペック通りに，性能が出ないことです。このFPGAのシリアル通信は，1本あたり，10Gbps出るはずですが，ボード上の制約があるのか，実際には，5Gbpsしか出ません。

また，左端のボードに載っているARMv8のAXIインタフェースが，AXI3という，少し古い規格になっていて，バースト転送の長さが，16beatまでしかありません。いろいろ工夫して，バースト転送の長さを疑似的に256beatまで増やします。

さらに，このボードは，標準仕様では，高速シリアル通信を3本までしか束ねることができません。これを8本に増やします。

いろいろ工夫して，プログラムの実行時間を測定します。改良前の実行時間は，MM（行列積）が92843マイクロ秒，CNN（畳み込み）が93062マイクロ秒でした。改良後は，37861マイクロ秒，47104マイクロ秒に短くなりました。内訳を見ると，まだまだ，ARMv8ボードのデータ読み込み時間が，半分を占めています。AXI3がAXI4に改良されると，かなり速くなるはずです。

性能に関しては，FPGAによるプロトタイプであるが故の問題がいろいろありますが，ともかく，実機として，いろいろ試せるようになっています。これは画像処理です。

これは，画像識別と学習です。

FPGA特有の機能を使わずに，Verilogを書き，これがFPGAで動くようになれば，あとは，LSIにするだけです。OROCHIは，2006年に，こんなLSIになりました。

LAPPとEMAXも，LSIになりました。

これ，最初に見せた図です。もう一度，指さし確認。

今は，実用的LSIを作る費用が高くなり過ぎました。お金持ちの人には，作る義務，作らせる義務があります。

勉強はおわりです。サンプルプログラムもツールもダウンロードできます。でも，ここからが本番です。このまま使うのもよし，参考にして全く違うものを作るのもよし，他国の同世代に頼んで，高い輸入品を使わせてもらうのもよしです。これからどうすべきか，自分で考えましょう。なお，くれぐれも，今の高校生は，ならせんたんだいに入学して，CGRAを教わろうなどど甘えてはいけません。ここは大学院だし，どこかの大学を卒業した頃には，定年過ぎて，ここにはもういませんから。そういえば，たまたまですが，今年から，高校生向けのインターンが始まるそうです。AIとかロボットとか，どこの大学でもやってますが，本格的にCGRAの実験ができるところなんてありません。高校生がIMAX2を使えるチャンスは，あと6年だけです。

IMAX2仕様書に，サンプルプログラムが入っています。 ツール一式に，コンパイラとシミュレータが入っています。

IMAX2仕様書の目次はこんな感じ。

プロトタイプが各種揃っています。予算に応じてFPGAボードを買って，FPGAにIMAX2の構成ファイルをダウンロードすれば，CGRAの実機が手に入ります。ボードの値段は，上から順に，50万，150万，850万，1650万です。なお，OS調整や高速I/O実装などを含むシステム全体の開発費は15000万です。それがボードの購入費だけで手に入るのですから格安です。海外から結構な件数ダウンロードされています。現在，さらにパワーアップしたIMAX3の開発に着手しています。

関連して，ブロックチェインアクセラレータも各種揃っています。問い合わせも来ています。

研究室HPに，いろいろ置いてあります。VPP，OROCHI，LAPPや，CGRA以外のシミュレータ・プログラムが置いてあります。 終了したものも含めると，様々なプロジェクトがあります。連想メモリを使うCAMP，32ビットOSが動く超小型8ビットEMIN，CGRA型では，耐故障性を高めたEReLA，ブロックチェインに特化したBCA，アナログ計算に特化したDiaNet1とDiaNet2，確率的計算に特化したDiaNet3，超伝導素子を使うDiaNet4，シリコン以外の新材料を使うNMAXなどがあります。

おしまい。Good Luck!