Posts Tagged with "FPGA"

既に発行済みのブログであっても適宜修正・追加することがあります。
We may make changes and additions to blogs already published.

Pongと強化学習 (5)

posted by sakurai on April 4, 2024 #769

状態$s$や行動$a$について深堀りします。


DQN(Deep Q-Network)アプローチにおいて、状態$ s $と行動$ a $は通常、問題の性質に応じて様々な形式で表現されます。Pongゲームの文脈でこれらを具体的に考えてみましょう。

状態$s$の形式

Pongゲームにおける状態は、ゲーム画面自体または画面から抽出された特徴によって表されます。FPGA実装のために、CNNを使用して画面データから特徴を抽出すると述べました。したがって、状態$ s $はCNNを通過した後の特徴ベクトルとして表されることが多いです。

  • 画面データ:元の画面データは256x256のON/OFF(1ビット)データです。これをCNNに入力します。
  • 特徴ベクトル:CNNからの出力は、画面データを圧縮した特徴を含むベクトルです。このベクトルのサイズはCNNの構造に依存します。たとえば、最終的な全結合層の出力が100要素のベクトルであれば、状態$ s $は100要素のベクトルとなります。

行動$a$の形式

Pongゲームでは、行動は比較的単純です。エージェント(ここではコンピュータのパドル)が取りうる行動は、「上に移動」、「移動なし」、「下に移動」の3つです。したがって、行動$ a $はこれら3つの選択肢の中から1つを選ぶことを意味し、通常は離散的な値で表現されます。

  • 行動の選択肢: 3(上に移動=0、移動なし=1、下に移動=2などのようにエンコード可能)
  • 行動$ a $は、選択された行動を表すスカラー値(たとえば、0、1、2)として表現されることが多いです。

精度と表現

  • 状態ベクトルの精度:CNNからの出力である特徴ベクトルの各要素は、固定小数点数または浮動小数点数で表現される可能性があります。ビット数(精度)は、FPGAのリソースと精度要件に基づいて選択されます。一般的には16ビットや32ビット固定小数点数が使用されることが多いです。
  • 行動の精度:行動$ a $は離散的な選択肢を表すため、多くの場合、単純な整数値(例えば、2ビットで3つの行動を表すことができます)で十分です。

このように、DQNアプローチにおいては状態$ s $と行動$ a $の具体的な形式は問題の性質によって異なりますが、Pongゲームの場合は状態がCNNによって抽出された特徴ベクトル、行動がエージェントの選択可能な動作を表す離散値となります。


左矢前のブログ 次のブログ右矢

Pongと強化学習 (4)

posted by sakurai on April 3, 2024 #768

Q値について深堀りします。


DQN(Deep Q-Network)におけるQ値は、環境の状態$ s $に対して取り得る各行動$ a $の価値を評価するものです。Pongゲームのようなシンプルな環境では、エージェント(ここではコンピューターのパドル)が取りうる行動が限られています(例えば、上に移動、移動なし、下に移動)。したがって、Q値はそれぞれの行動に対する期待報酬を表すベクトルとして表現されます。

このベクトルは、取りうる行動の数と同じ要素数を持ちます。Pongゲームのケースでは、エージェントが取り得る行動が3つあるため、Q値は3要素のベクトルになります。

Q値ベクトルのビット数

Q値のビット数は、使用する数値表現(固定小数点数表現や浮動小数点数表現)に依存します。FPGA上での実装を考慮すると、リソースを効率的に使用するためには固定小数点数表現を採用することが一般的です。固定小数点数のビット数は、必要な精度と範囲に応じて選択されます。たとえば、16ビット、32ビットなどが考えられますが、実際の選択は使用するFPGAのリソース、演算の精度要件、およびシステム全体のパフォーマンス目標に基づいて決定されます。

要素数

  • 行動数: 3(上に移動、移動なし、下に移動)

ビット数(例)

  • 固定小数点: 16ビットまたは32ビット
    • 例えば、16ビット固定小数点数を使用する場合、それぞれのQ値は16ビットで表現されます。この場合、Q値ベクトルは合計で48ビット(3要素 x 16ビット)になります。
    • 32ビット固定小数点数を使用する場合、Q値ベクトルは合計で96ビット(3要素 x 32ビット)になります。

まとめ

PongゲームにおけるQ値は、エージェントが取りうる3つの行動に対する期待報酬を表す3要素のベクトルです。ビット数は、FPGAのリソース、演算の精度要件、およびパフォーマンス目標に応じて選択される固定小数点表現に依存します。リソースを効率的に使用しつつ、適切な精度を確保するために、ビット数を慎重に選定する必要があります。


左矢前のブログ 次のブログ右矢

Pongと強化学習 (3)

posted by sakurai on March 29, 2024 #765

DQNとCNNの構造とベルマン方程式について深堀りします。


DQN(Deep Q-Network)を使用してFPGA上でPongゲームの強化学習を実装する場合、まずは画面データ(256x256、ON/OFF)をCNNを通じて効率的に情報を圧縮し、その後の強化学習アルゴリズムで利用できるようにする必要があります。CNNを用いて画面データから特徴を抽出し、その特徴を基にDQNが行動選択を行います。

情報の圧縮

  1. 畳み込み層:画面のサイズが大きいため、最初の畳み込み層で画像サイズを大幅に削減することが効果的です。例えば、最初の畳み込み層でストライドを大きく取り(例:4または5)、カーネルサイズを(8x8)や(5x5)に設定します。これにより、画像の次元を減らしながらも、ゲーム内の主要な特徴(ボールやパドルの位置)を捉えることができます。

  2. プーリング層:畳み込み層の後にプーリング層(例:最大プーリング)を挿入して、さらに特徴マップのサイズを減らします。これは、重要な特徴を保持しながらデータ量を減らすのに有効です。

  3. 複数の畳み込み層とプーリング層の使用:複数の畳み込み層とプーリング層を交互に配置することで、より高度な特徴を抽出しつつ、データの次元を効率的に減少させることができます。

報酬の設定

DQNでは、各行動の選択に対して報酬を与えることで学習を進めます。Pongゲームにおける報酬の設定は次のようになります:

  • 加点:ボールを打ち返した時に正の報酬を与えます。これはエージェントがボールを落とさずに続ける動機付けになります。
  • 減点:ボールを落とした時に負の報酬(または大きな負の報酬)を与えます。これにより、エージェントはボールを落とさないように学習します。

CNNの構造

一般的なCNNの構造は以下のようになります:

  1. 入力層:256x256の画像データ(ON/OFF)。
  2. 畳み込み層:活性化関数(ReLUなど)、カーネルサイズ(例:5x5)、ストライド(例:4)。
  3. プーリング層:最大プーリングを使用し、特徴マップのサイズをさらに削減。
  4. 全結合層:畳み込み層とプーリング層を通過した後の特徴をもとに、行動価値(Q値)を出力します。

ベルマン方程式の具体化

DQNでは、ベルマン方程式を用いてQ値(行動価値関数)を更新します。具体的には、以下の式を用います:

$$Q(s,a) = R(s,a) + \gamma \max_{a'} Q(s', a')$$

ここで、$s$は現在の状態、$a$は取られた行動、$R(s,a)$はその行動による報酬、$\gamma$は割引率(将来の報酬の重要性を表す)、$s'$は次の状態、$a'$は次の行動です。この式により、最適な行動選択を学習します。

FPGA上でこれらを実装する際は、演算の効率化、メモリ使用の最適化、およびリアルタイム性の確保に特に注意が必要です。


左矢前のブログ 次のブログ右矢

Pongと強化学習 (2)

posted by sakurai on March 28, 2024 #764

FPGAでのモデル作成について聞いてみました。


FPGAで強化学習を含むPongゲームを実装するプロジェクトは非常に高度で興味深いものです。既にゲームロジックとVRAMを実装しており、次のステップはCNN(畳み込みニューラルネットワーク)を含む強化学習システムをFPGAに統合することです。FPGA上でCNNを動作させるためには、ハードウェアのリソースを効率的に使用しつつ、データフローを最適化する必要があります。

FPGAモデルの設計

  1. CNNモデルの選定

    • FPGAに実装するためには、リソースの消費が少なく、効率的に動作する小規模なCNNモデルを選ぶ必要があります。層の数、フィルターのサイズ、活性化関数などを検討してください。
  2. データフローの設計

    • VRAMからCNNへのデータフローはDMA(Direct Memory Access)を通じて行います。DMA設定を行い、VRAMの右側のポートからCNNへ画像データを直接転送できるように設計します。これにより、CPUの介入なしに高速にデータを転送できます。
  3. CNNのハードウェア実装

    • CNNの各層(畳み込み層、プーリング層、全結合層など)をFPGA上に実装します。畳み込み層では、効率的なマルチプライヤーとアキュムレーターを用いて、畳み込み演算を行います。
    • パラメータの量子化や固定小数点演算の使用を検討して、リソース使用量を削減し、演算速度を向上させます。
  4. 強化学習アルゴリズムの統合

    • CNNを利用して状態(画像データ)から行動を決定する強化学習アルゴリズムを実装します。エージェント(コンピュータのパドル)の報酬システムを定義し、学習プロセスを実装します。
  5. ゲームFSMとのインタフェース

    • 強化学習システムからの出力(行動)をゲームFSMに適切に伝えるインターフェースを実装します。これにより、エージェントがゲーム内でパドルを動かすことができます。

実装上の考慮事項

  • リソース利用:FPGAのリソース(ロジックブロック、メモリブロック、DSPスライスなど)を効率的に使用し、オーバーフローしないように注意してください。
  • 性能と精度:FPGA上での演算速度と精度のバランスを取りながら、モデルの調整を行います。特に、量子化や固定小数点演算を使用する場合は、精度の損失を最小限に抑えるようにします。
  • テストとデバッグ:シミュレーションツールを使用して設計をテストし、期待どおりに動作することを確認します。また、実際のFPGAボードでのテストも行い、システムの動作を検証します。

FPGAでのCNNと強化学習の実装は複雑ですが、計画的にアプローチすれば成功させることができます。上記のステップと考慮事項を参考にして、プロジェクトの設計と実装を進めてください。


(注)今後このような、ChatGPTの返答末尾の「マニュアル等を参考にして~進めてください。」のような文言は言わずもがなであり省略します。


左矢前のブログ 次のブログ右矢

Pongと強化学習

posted by sakurai on March 27, 2024 #763

ChatGPTに指導してもらいながら、FPGAにおけるPongの強化学習の設計を進めて行きます。


Pongゲームで深層学習と強化学習を用いるプロジェクトは面白い試みですね。強化学習を使って、コンピューターがゲーム内で最適な行動を学習するように設計することができます。このプロセスでは、主に環境(この場合はPongゲーム)、エージェント(コンピューターのパドル)、行動(パドルを上に移動、停止、下に移動)、報酬(ボールを打ち返した場合の報酬、落とした場合のペナルティ)の4つの要素を定義します。

強化学習アルゴリズムの基本的な構造とベルマン方程式の適用方法について説明します。

強化学習の基本コンセプト

  • 環境:Pongゲームの画面(256x256ピクセル)です。この画面は、エージェントに現在のゲームの状態を提供します。
  • エージェント:コンピューターのパドルです。状態(ゲームの画面)に基づいて行動を選択します。
  • 行動:エージェントが取りうる行動は、パドルを上に移動、停止、下に移動の3つです。
  • 報酬:ボールを打ち返すと正の報酬を、ボールを落とすと負の報酬(ペナルティ)を受け取ります。

ベルマン方程式

強化学習の基本的なアイデアは、現在の状態から取りうる全ての行動に対して、将来得られる報酬の合計が最大になるようなポリシー(方針)を見つけ出すことです。このとき、ベルマン方程式が重要な役割を果たします。

ベルマン方程式は、ある状態の価値を、その状態から取りうる行動によって得られる即時報酬と、その後の状態の価値の割引和として定義します。数学的には以下のように表されます:

$$V(s) = \max_a \left( R(s,a) + \gamma \sum_{s'} P(s'|s,a) V(s') \right)$$

ここで、

  • $V(s)$ は状態 $s$ の価値です。
  • $R(s,a)$ は状態 $s$ で行動 $a$ を取ったときの即時報酬です。
  • $\gamma$ は割引率で、将来の報酬をどれだけ重視するかを示します。
  • $P(s'|s,a)$ は行動$a$を取ったときに状態$s$から状態 $s'$ へ遷移する確率です。
  • $V(s')$ は状態 $s'$ の価値です。

実装アプローチ

  1. 環境の構築:Pongのゲーム環境をシミュレートするか、既存の環境を使用します。OpenAI Gymなどのフレームワークは、Pongのようなゲーム環境を提供しており、強化学習アルゴリズムの開発とテストに適しています。

  2. ディープラーニングモデルの設計:エージェントの行動選択を支援するために、ニューラルネットワークを用いてゲームの状態(画面のピクセルデータ)から価値または行動を予測します。Convolutional Neural Networks (CNN) は画像データから特徴を抽出するのに適しているため、この用途によく使用されます。

  3. 強化学習アルゴリズムの選択と適用:Q-learning、Deep Q-Networks (DQN)、Policy Gradients、Actor-Criticなど、多くの強化学習アルゴリズムがあります。Pongのような比較的単純なゲームには、DQNがよく使用されます。

  4. トレーニングと評価:エージェントをトレーニングし、ゲームのプレイを通じて最適な行動ポリシーを学習させます。トレーニングの進行状況を監視し、エージェントのパフォーマンスを評価します。

この概要が、Pongゲームにおける強化学習の実装に対する理解の一助となれば幸いです。特定のアルゴリズムの実装の詳細や、コードの例が必要な場合は、さらに詳しい説明を提供できますので、お知らせください。


左矢前のブログ 次のブログ右矢

posted by sakurai on January 18, 2024 #736

サウンドミキサーの検証

bsvでモジュールを開発するに際して、正解値を出力するverilogモジュールを作成しました。それぞれのモジュールを駆動するテストベンチはbsvのステートマシン合成で簡単に作成できます。verilogの世界で統合するために、テストベンチの上位にverilogの最上位階層を設けます。なぜならbsvの最上位であるテストベンチ階層にはクロックもリセットも存在しないため、verilogの最上位階層を設けてクロックとリセットをテストベンチに供給してやる必要があるためです。

ここまでは通常のBSV⇒verilogシミュレーション手法ですが、最上位階層を統合して一つにすれば、その中に2つのbsvから生成されたverilogのステートマシンとそれに接続されるverilogモジュールが配置されることになります。

表736.1 verilogとbsvの階層構造
Verilog
ファイル名 自モジュール名 子モジュール名
topVeri.v mkTop mkTbVeri
mkTbVeri.v
(自モジュール名と一致させる)
mkTbVeri mixer
mixer.v
(自モジュール名と一致させる)
mixer -
BSV⇒Verilog
bsvファイル名 生成verilog
ファイル名
自モジュール名 子モジュール名
--- top.v mkTop mkTb
TbMixer.bsv mkTb.v
(自モジュール名と一致するファイル名が生成)
mkTb mkMixer
Mixer.bsv mkMixer.v
(自モジュール名と一致するファイル名が生成)
mkMixer -

top階層からverilogモードによるC-c C-aで自動結合するには、自モジュール名とファイル名が一致する必要があります。

ここで最上位階層top.vを統合して一つにし、テストベンチを2つ配置します。これで正解値と比較してデバッグし以下のミキサーが完成しました。以下にコードを示します。

typedef Int#(8) Esound_t;
typedef Int#(16) Lsound_t;

interface Mixer_ifc;
   (* prefix="" *)
   method Lsound_t mout(
      Esound_t ch0,
      Esound_t ch1,
      Esound_t ch2,
      Esound_t ch3
      ); // output
   (* prefix="" *)
   method Bool soundon(
      Bool son0,
      Bool son1,
      Bool son2,
      Bool son3
      ); // output
endinterface

(* synthesize, always_enabled = "mout, soundon", no_default_clock, no_default_reset *)
module mkMixer(Mixer_ifc);
   function Bit#(9) repeatBit(Bit#(1) b);
      Bit#(9) result = 0;
        for (Integer i = 0; i < 9; i = i + 1) begin
           result = result << 1;
           result[0] = b;
        end
      return result;
   endfunction

   method Lsound_t mout(
      Esound_t ch0,
      Esound_t ch1,
      Esound_t ch2,
      Esound_t ch3
      ); // output
      let tmp0 = pack(ch0);
      let tmp1 = pack(ch1);
      let tmp2 = pack(ch2);
      let tmp3 = pack(ch3);
      Int#(16) itmp0 = unpack({repeatBit(~tmp0[7]),tmp0[6:0]});
      Int#(16) itmp1 = unpack({repeatBit(~tmp1[7]),tmp1[6:0]});
      Int#(16) itmp2 = unpack({repeatBit(~tmp2[7]),tmp2[6:0]});
      Int#(16) itmp3 = unpack({repeatBit(~tmp3[7]),tmp3[6:0]});
      Int#(16) tmp4 = itmp0 + itmp1 + itmp2 + itmp3;
      let tmp5 = tmp4 << 6;
      return tmp5;
   endmethod
  method Bool soundon(
      Bool son0,
      Bool son1,
      Bool son2,
      Bool son3
      ); // output
      let sdon = son0 || son1 || son2 || son3;
      return sdon;
   endmethod
endmodule   

まずげた履き符号から2の補数表現に変換するために、MSBの反転を行います。次にそれを符号拡張し16ビット整数とします。それらを加え合わせてスケーリングを行います。

シミュレーションの結果、4つのチャネルにどんな値が入力されてもオーバーフローやアンダーフローが起きないことを検証しています。


左矢前のブログ 次のブログ右矢

posted by sakurai on January 17, 2024 #735

サウンドミキサーの仕様

8bit符号無し$\dagger$のwave形式のサウンドを4多重して16bit符号付きに変換するサウンドミキサーを作成します。

  • 入力: 4チャンネルch0~3のwave(PCM, 11.025KHz、8bit、Mono、メタデータ無し)
  • 出力: 1チャンネルwave(PCM, 11.025KHz、16bit、Mono、メタデータ無し)

まず8bit符号無し数を加算操作を行うために8bitの2の補数表現に変換します。それにはゲタ8'h80を引き算する必要があります。しかしながら、引き算はコストが高いため、MSBの反転を行います。以下にそれで良いことをChatGPTに証明してもらいました。

8bitゲタ履き数を8bitの2の補数表現に変換するにはゲタを引き算するのが常道ですが、MSBの反転でも良いことを数学的に証明してください。

ChatGPT:

8ビットの「ゲタ履き数」(8'h80がゼロとされる特殊な表現)を8ビットの2の補数表現に変換する際に、MSBのみを反転する方法が等価であることを証明します。

特殊な表現

この表現では、8'h80がゼロとされます。したがって、この表現における任意の値 $V$は、標準的な2の補数表現における値 $V'$ に$128$(あるいは2進数で$1000\,0000_2 $)を加えたものとして表現されます。

つまり、$V = V' + 128$ または$ V = V' + 1000\,0000_2$。

2の補数表現への変換

通常の2の補数表現へ変換するには、特殊な表現から128($1000\,0000_2$)を引きます。

$V' = V - 128$または$V' = V - 1000\,0000_2$

MSBの反転

MSBを反転するということは、数値から$1000\,0000_2$(128)を引くか、加えることと等価です。なぜなら、MSBが1の場合は1を0に反転(-128する)、MSBが0の場合は0を1に反転(+128する)からです。

したがって、MSBの反転は以下の操作に等しいです:

  • MSBが1の場合(つまり $V$が128以上の場合)、$ V' = V - 1000\,0000_2 $。
  • MSBが0の場合(つまり $V$が127以下の場合)、$ V' = V + 1000\,0000_2$。

証明

MSBの反転が128の加算または減算と等価であることを考えると、この操作は常に特殊な表現を標準的な2の補数表現に変換します。

  • $V $が128以上の場合、MSBは1です。したがって、MSBを反転すると$ V - 128 $になります。これは2の補数表現における負の値に相当します。
  • $V $が127以下の場合、MSBは0です。したがって、MSBを反転すると $V + 128$になります。しかし、$ V $が127以下であるため、この加算はオーバーフローを引き起こし、結果として128を引くことになります。これは2の補数表現における正の値に相当します。

したがって、MSBのみを反転する操作は、特殊な8ビットの「ゲタ履き数」を標準的な8ビットの2の補数表現に変換するための有効な方法であることが証明されます。


$\dagger$:符号無しの定義は0以上の正の整数のみを扱うデータ型であるため、正しくはゲタ(8'h80)履き数


左矢前のブログ 次のブログ右矢

posted by sakurai on January 12, 2024 #732

Digilent Adeptの利用

Vivadoは開発システムのため、当然ビットストリームファイルを書き込むことが可能ですが、スタンダロンの書き込みツールがあります。それがDigilent Adeptです。これはFlashへの書き込みはできないようですが、SRAMにネットまたはUSB経由で書き込むことが可能です。

図%%.1
図732.1 Digilent Adept

左矢前のブログ 次のブログ右矢

posted by sakurai on January 11, 2024 #731

CmodA7toPMODボード

基本的には過去記事に対してボードをCmodA7ボードに変更したものです。 DigilentからCmodA7ボードを購入しました。このボードは(弊社開発の)PMOD変換ボードは必要となりますが、総額では安くSpace Invadersを動かすことができます。

図%%.1
図731.1 Cmod A7ボード

周辺インタフェースボード等

Space Invadersを動作させるには、CmodA7ボードの他に必要なものは以下のとおりです。

CmodA7-35ボードへの移植

Arty-35とFPGAアーキテクチャが同じであり、何も変更せずにそのままで動作しました。


左矢前のブログ 次のブログ右矢

Pongの開発 (18)

posted by sakurai on January 8, 2024 #730

Pongの完成

いままでのV5/V6の評価を含めて判明しているところまでをまとめます。

  • XADCのクロックが100MHz推奨と書かれていたのをそのまま100MHzを入力したが、最低入力周波数である8MHzまで落としたほうが良い。
  • XADCの設定画面においても8MHzとしたほうが良い。
  • V5/V6共に画面斜め縞が出る。これはXADCのクロックを停止しても出ている。
  • V5はさらにポップノイズ雑音が出る。
  • V6において+3.3Vに電解コンデンサー10uFを付加したところ、電源のノイズが消えた。電源ノイズが画面に表れていたようだ。

図730.1に完成したPongを示します。画面ではわかりにくいですが、斜めの縞模様が流れています。今まであまり意識しなくてもたまたま問題にならなかったのですが、VGAはアナログ信号のため、ノイズ対策をきっちりとやらないと今回のようになることが分かりました。

図%%.1
図730.1 Pong完成画面

左矢前のブログ 次のブログ右矢


ページ: