締め切りは7/15だったため、初版の論文及びプレゼン資料(名前、所属無し版)を作成し、RAMSサイトに登録しました。初版で査読を受け9/1までに査読結果を受領予定です。

前のブログ 次のブログ

ReLUのBSVコードを要求してみます。

Bluespec SystemVerilog (BSV) でReLU（Rectified Linear Unit）活性化層を実装するための疑似コードを提供します。ReLUは、入力が正であればその値をそのまま出力し、負であれば0を出力する非常にシンプルな活性化関数です。

ReLU活性化関数の疑似コード

// ReLU活性化関数のインターフェイス定義
interface ReLU_IFC;
    method Bit#(DATA_WIDTH) apply(Bit#(DATA_WIDTH) input);
endinterface

module mkReLU#(parameter DATA_WIDTH = 32)(interface ReLU_IFC);
    typedef Bit#(DATA_WIDTH) DataT;

    // ReLU活性化関数を適用するメソッド
    method DataT apply(DataT input);
        DataT output = (input > 0) ? input : 0;
        return output;
    endmethod
endmodule

説明

この疑似コードは、一般的なReLU活性化関数を実装するBSVモジュールの例を示しています。mkReLUモジュールは、パラメータDATA_WIDTHを使ってデータのビット幅を指定できるようになっています。これにより、異なるビット幅のデータに対応可能です。モジュール内のapplyメソッドは、入力データinputを受け取り、ReLU関数を適用してその結果を返します。具体的には、入力が0より大きい場合はその値をそのまま出力し、そうでない場合（負の場合）は0を出力します。

注意点

• 上記のコードは疑似コードであり、Bluespec SystemVerilogの正確な文法に従っていない可能性があります。実際にBSVでコーディングする際には、文法や型システムに注意してください。
• DATA_WIDTHパラメータを使用することで、モジュールの汎用性を高めています。これにより、さまざまなデータ幅に対応することが可能になります。
• 実際のハードウェア実装では、リソースの使用量や計算速度など、多くの要因を考慮する必要があります。特に、並列処理やパイプライン処理を適切に設計することで、性能を最適化できます。

ReLUはそのシンプルさから、多くのニューラルネットワークモデルで広く使用されています。この疑似コードが、BSVを使用したReLU活性化層の実装に向けた基本的な理解を提供することを願っています。

前のブログ 次のブログ

Batch NormalizationのBSVコードを要求してみます。

Batch Normalization（バッチ正規化）は、ニューラルネットワークの学習を安定させ、加速するために一般的に使用される技術です。具体的には、ネットワークの各層における入力を正規化して、平均が0、分散が1になるように調整します。これにより、勾配消失や爆発の問題を軽減し、より高い学習率で安定して学習を進めることが可能になります。

ただし、BSV（Bluespec SystemVerilog）で直接的なバッチ正規化層のコードを提供することはできません。しかし、バッチ正規化の基本的なアルゴリズムに基づいて、その処理の流れを説明し、概念的な理解を深めることは可能です。

バッチ正規化の処理の流れ

1. 平均の計算: 入力データのバッチに対して、特徴ごとに平均を計算します。
2. 分散の計算: 同様に、特徴ごとに分散を計算します。
3. 正規化: 各特徴に対して、その平均を引き、分散で割ることで、特徴を正規化します。
4. スケーリングとシフト: 学習可能なパラメータによって正規化された特徴をスケーリングし、シフトします。これにより、ネットワークが必要に応じて、正規化の効果を打ち消すことが可能になります。

概念的な説明

バッチ正規化層をBSVで実装するには、上記の各ステップをハードウェアで実行可能な形に落とし込む必要があります。特に、平均と分散の計算は、入力データのバッチ全体にわたって行われるため、これらの統計量を計算し、各データポイントに適用するためのメカニズムを設計することが重要です。

疑似コード

Batch Normalization層の操作を疑似コードで示すことは可能です。以下の説明は、Batch Normalizationの基本的な処理を疑似コードで表したものです。この処理には、入力データのバッチに対する平均と分散の計算、それらを用いた正規化、およびスケーリングとシフトのステップが含まれます。

function BatchNormalization(inputBatch, gamma, beta, epsilon):
    # inputBatch: 入力データのバッチ。サイズは[バッチサイズ, 特徴量数]
    # gamma: スケーリングパラメータ。サイズは[特徴量数]
    # beta: シフトパラメータ。サイズは[特徴量数]
    # epsilon: 0除算を避けるための小さな数

    # 平均を計算
    mean = average(inputBatch, axis=0)

    # 分散を計算
    variance = variance(inputBatch, axis=0)

    # 正規化された特徴量を計算
    normalized = (inputBatch - mean) / sqrt(variance + epsilon)

    # スケーリングとシフトを適用
    output = gamma * normalized + beta

    return output
endfunction

この疑似コードでは、バッチ正規化の処理を関数として表しています。この関数は、入力データのバッチ、スケーリングパラメータgamma、シフトパラメータbeta、および0除算を避けるためのepsilonを受け取ります。関数内では、まず入力データのバッチに対して平均と分散を計算し、これらを用いてデータを正規化します。最後に、学習可能なパラメータであるgammaとbetaを使用して、正規化されたデータをスケーリングし、シフトさせて出力します。

実装上の注意

• この疑似コードは、プログラミング言語やフレームワークに依存しない一般的な表現です。実際にBSVなどのハードウェア記述言語で実装する際には、配列操作や数学関数（平均、分散、平方根など）をサポートするための追加の設計が必要になります。
• ハードウェアでの実装では、リアルタイムでの計算速度やリソース使用量など、特有の制約を考慮する必要があります。特に、平均や分散の計算を効率的に行うためのアルゴリズムの最適化や、平方根の計算を近似するための方法などが検討されます。
• バッチ正規化層は学習プロセス中にパラメータを更新しますが、推論時にはこれらのパラメータは固定されます。そのため、学習と推論をサポートするための設計が必要です。

実装の考慮事項

• リソース使用量: 平均と分散の計算には、大量のデータに対する加算と乗算が必要になるため、ハードウェアリソースの使用量を考慮する必要があります。
• 並列処理: BSVの強力な並列処理能力を利用して、平均と分散の計算、および正規化処理を高速化できます。
• パイプライン処理: データの流れをパイプライン化することで、処理のレイテンシを最小限に抑えることができます。
• パラメータの更新: スケーリングとシフトに使用されるパラメータは、学習プロセスによって更新される必要があります。これらのパラメータを効率的に更新するためのメカニズムを設計することが重要です。

バッチ正規化層のBSVによる具体的な実装は、これらの基本的な考慮事項に基づいて行われます。実際のコーディングに進む前に、必要な計算の詳細を理解し、適切なハードウェア設計戦略を立てることが重要です。

前のブログ 次のブログ

3x3 Convolutional LayerのBSVコードを要求してみます。

Bluespec SystemVerilog（BSV）で3x3の畳み込み層を実装するためのコンセプトを理解することは重要ですが、直接的なBSVコードの提供はできません。ただし、畳み込み層の基本的な概念をもとに、疑似コードや概念的な説明を提供することで、BSVでの実装への理解を深めることができます。

3x3畳み込み層の基本概念

3x3畳み込み層は、入力特徴マップ上で3x3のカーネル（またはフィルター）をスライドさせながら、カーネルと入力の各部分の要素積の和を計算します。この操作により、画像の特徴を抽出します。

疑似コード

以下の疑似コードは、3x3畳み込み層の操作を概念的に示しています。このコードは、BSVの構文ではなく、一般的なプログラミングの疑似コードです。

module mkConvolution3x3#(parameter WIDTH = 256, HEIGHT = 256)(
    input bit [WIDTH-1:0][HEIGHT-1:0] inputFeatureMap,
    input bit [8:0] kernel,  // 3x3カーネル、フラット化された9ビットの値
    output bit [WIDTH-2:0][HEIGHT-2:0] outputFeatureMap // 出力サイズはストライドとパディングに依存
);
    for (Integer row = 1; row < HEIGHT-1; row = row + 1) {
        for (Integer col = 1; col < WIDTH-1; col = col + 1) {
            Integer sum = 0;
            for (Integer kr = -1; kr <= 1; kr = kr + 1) {
                for (Integer kc = -1; kc <= 1; kc = kc + 1) {
                    // 入力特徴マップとカーネルの要素積の和を計算
                    sum += inputFeatureMap[row+kr][col+kc] * kernel[(kr+1)*3 + (kc+1)];
                }
            }
            // 出力特徴マップに畳み込み結果を代入
            outputFeatureMap[row-1][col-1] = sum;
        }
    }
endmodule

実装のポイント

• フィルターと入力のデータタイプ: 上記の例では、簡略化のためにビット型を使用していますが、実際には固定小数点数や浮動小数点数を使用することが多いです。BSVでは、適切なデータタイプを使用して精度を管理します。
• パラメータ化: カーネルサイズ、入力と出力のサイズ、ストライド、パディングなどのパラメータをモジュールの引数として設定できるようにします。
• 並列処理: 畳み込み演算はデータの異なる部分で独立して行うことができるため、BSVの並列処理機能を活用して性能を向上させることができます。

前のブログ 次のブログ

mobilenetの論文を見ると、図831.1のように通常のレイヤと比べて深さ方向のコンボリューションが特徴のようなので、確認してみました。

Pongゲームの画像のように、入力チャネルが1つだけ（深さが1ビット）の場合、Depthwise Convolutionを適用するという考え方は通常の畳み込みと同義になります。Depthwise Convolutionの主な利点は、入力チャネルごとに畳み込みを行い、パラメータの数と計算コストを削減することにありますが、入力チャネルが1つだけの場合、この利点は生じません。

通常のCNNでは、3x3の畳み込み層に続いてバッチ正規化層とReLU活性化層が配置されます。この構成は、複数チャネルを持つ画像に対して非常に効果的で、特徴抽出と非線形性の導入により、高度なパターンを学習することができます。

MobileNetのようなアーキテクチャが採用するDepthwise Separable Convolutionは、計算コストとモデルのサイズを削減する目的で設計されていますが、Pongゲームのような1チャネル（または深さが1ビット）の入力に対しては、単純な3x3の畳み込み層を使用する方が適切です。この場合、計算の複雑さを増やすことなく、必要な特徴抽出を行うことができます。

PongゲームのCNN構成

Pongゲーム用のシンプルなCNNアーキテクチャでは、次のような層を検討することができます：

1. 3x3 Convolutional Layer: 入力画像に対して畳み込みを行い、基本的な特徴を抽出します。
2. Batch Normalization Layer (オプション): 学習を安定させ、高速化するために使用されることがあります。
3. ReLU Activation Layer: 非線形性を導入し、モデルの表現力を高めます。

このような構成は、Pongゲームのシンプルな画像を効率的に処理し、ゲームの状態を理解するために必要な特徴を抽出するのに役立ちます。計算コストとモデルの複雑さを考慮しながら、タスクの要件に最適なアーキテクチャを選択することが重要です。

前のブログ 次のブログ

Makefile

過去記事でbsvのMakefileを作成しましたが、その後この記事によりtop.vが不要なことが判明したのでMakefileを再作成しました。以前のものよりtop.vを削除した分だけ若干シンプルになっています。

# ファイル名の生成
BSRCS = $(wildcard *.bsv) # BSVソースファイル
BASRCS = $(addprefix mk, $(addsuffix .ba, $(basename $(BSRCS)))) # BA中間ファイル
VSRCS = $(addprefix mk, $(addsuffix .v, $(basename $(BSRCS)))) # Verilogファイル

# .PHONY ターゲットの定義
.PHONY: all bsv_view verilog_view clean

# 全体のターゲット定義
all: bsv_view verilog_view

# BSV波形ビューアの起動
bsv_view: bsim.vcd
    gtkwave -A bsim.vcd

# BSV波形ファイルの生成
bsim.vcd: mkTb.exe
    ./mkTb.exe -V bsim.vcd

# BSV実行ファイルの生成
mkTb.exe: $(BASRCS)
    bsc -sim -e mkTb -parallel-sim-link 4 -o mkTb.exe

# BSVファイルのコンパイル
mk%.ba: %.bsv
    time bsc -sim -u -steps-warn-interval 1000000 -steps 8000000 -suppress-warnings T0054 $<

# Verilog波形ビューアの起動
verilog_view: verilog.vcd
    gtkwave -A verilog.vcd

# Verilog波形ファイルの生成
verilog.vcd: mkTb.exev
    ./mkTb.exev +bscvcd=verilog.vcd

# Verilog実行ファイルの生成
mkTb.exev: $(VSRCS)
     bsc -verilog -e mkTb -parallel-sim-link 4 -o mkTb.exev

# BSVファイルからVerilogファイルを生成
mk%.v: %.bsv
    time bsc -verilog -u -steps-warn-interval 1000000 -steps 8000000 -suppress-warnings T0054 $<

# クリーンアップ
clean:
    @rm -f mk*.v
    @rm -f *.bi *.bo *.ba a.out \#*
    @rm -f *.cxx *.h *.o *.so *.bexe
    @rm -f *.exe *.exev
    @rm -f *.vcd *~ *.fsdb *.log

依存関係グラフ

ここで、’Makefile'の依存関係の可視化の記事のプログラムをそのまま用いて、

$ LANG=C make -np | python3 make_p_to_json.py > graph.json; python json_to_dot.py workflow.png; xv workflow.png

このコマンドにより作成した依存関係図を図830.1に示します。

前のブログ 次のブログ

論文及びプレゼン資料の名前、所属無し版を作成し、RAMSサイトに登録しました。締め切りは7/15であるため、ブラッシュアップしたものを再登録する予定です。

前のブログ 次のブログ

プーリング層を実装するBSVコードを要求してみます。

Bluespec SystemVerilog（BSV）でプーリング層、特にMax Pooling層を実装するための基本的なアプローチを示します。プーリング層は、入力特徴マップのサブサンプリングを行い、特徴の位置変化に対するロバスト性を向上させるとともに、計算量とパラメータの数を減少させる役割を持っています。Max Poolingは、そのウィンドウ内の最大値を出力することでこの処理を行います。

以下の例は、2x2 Max Poolingを行うBSVモジュールの疑似コードです。実際の実装では、入力サイズやデータタイプに応じて適切に調整する必要があります。

interface PoolingIface;
    method ActionValue#(Bit#(32)) apply(Bit#(32) in1, Bit#(32) in2, Bit#(32) in3, Bit#(32) in4);
endinterface

module mkMaxPooling(PoolingIface);
    method ActionValue#(Bit#(32)) apply(Bit#(32) in1, Bit#(32) in2, Bit#(32) in3, Bit#(32) in4);
        Bit#(32) maxVal = in1;
        if (in2 > maxVal) maxVal = in2;
        if (in3 > maxVal) maxVal = in3;
        if (in4 > maxVal) maxVal = in4;
        return maxVal;
    endmethod
endmodule

このコードスニペットでは、mkMaxPoolingモジュールがPoolingIfaceインターフェイスを実装しています。applyメソッドは、4つの入力（2x2のプーリングウィンドウを想定）を受け取り、その中の最大値を返します。この簡単な例では、32ビット幅のビット型（Bit#(32)）を使用していますが、実際のデータタイプはアプリケーションによって異なります。

注意点と拡張

• パラメータ化と柔軟性: 実際のアプリケーションでは、プーリングウィンドウのサイズやストライド、パディングなどをパラメータとしてモジュールに渡すことができるように、モジュールをより柔軟に設計することが望まれます。
• 並列処理: プーリング層の計算は、入力特徴マップの異なる領域で独立に行うことができるため、BSVの強力な並列処理能力を活用して、性能を向上させることが可能です。
• データタイプとビット幅: 固定小数点数や浮動小数点数など、適切な数値表現を選択することが重要です。また、ビット幅は計算精度とハードウェアリソースのトレードオフを考慮して選定します。

この疑似コードと説明が、BSVでのプーリング層実装の出発点となり、具体的な実装への理解を深める助けになれば幸いです。

前のブログ 次のブログ