論文の概要: InterpBench: Semi-Synthetic Transformers for Evaluating Mechanistic Interpretability Techniques
- arxiv url: http://arxiv.org/abs/2407.14494v1
- Date: Fri, 19 Jul 2024 17:46:51 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-22 16:35:50.892114
- Title: InterpBench: Semi-Synthetic Transformers for Evaluating Mechanistic Interpretability Techniques
- Title（参考訳）: InterpBench:機械的解釈可能性評価のための半合成変換器
- Authors: Rohan Gupta, Iván Arcuschin, Thomas Kwa, Adrià Garriga-Alonso,
- Abstract要約: 我々は、Strict IIT(SIIT)と呼ばれる厳格なIIT(Interchange Intervention Training)を用いてニューラルネットワークを訓練する。
我々は,Tracr ツールが生成するスパース変換器上でSIITを評価し,SIIT モデルがトラクラのオリジナル回路をよりリアルに維持していることを確認した。
- 参考スコア（独自算出の注目度）: 1.075853016351821
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Mechanistic interpretability methods aim to identify the algorithm a neural network implements, but it is difficult to validate such methods when the true algorithm is unknown. This work presents InterpBench, a collection of semi-synthetic yet realistic transformers with known circuits for evaluating these techniques. We train these neural networks using a stricter version of Interchange Intervention Training (IIT) which we call Strict IIT (SIIT). Like the original, SIIT trains neural networks by aligning their internal computation with a desired high-level causal model, but it also prevents non-circuit nodes from affecting the model's output. We evaluate SIIT on sparse transformers produced by the Tracr tool and find that SIIT models maintain Tracr's original circuit while being more realistic. SIIT can also train transformers with larger circuits, like Indirect Object Identification (IOI). Finally, we use our benchmark to evaluate existing circuit discovery techniques.
- Abstract（参考訳）: 機械的解釈可能性法は、ニューラルネットワークが実装するアルゴリズムを特定することを目的としているが、真のアルゴリズムが不明な場合には、そのような手法を検証することは困難である。
この研究は、これらの技術を評価するための既知の回路を備えた半合成的で現実的な変換器のコレクションであるInterpBenchを提示する。
我々は、Strict IIT(SIIT)と呼ばれる、より厳格なIIT(Interchange Intervention Training)を用いて、これらのニューラルネットワークをトレーニングする。
元のように、SIITはニューラルネットワークをトレーニングし、内部計算を所望の高レベル因果モデルと整列させるが、非回路ノードがモデルの出力に影響を与えるのを防ぐ。
我々は,Tracr ツールが生成するスパース変換器上でSIITを評価し,SIIT モデルがトラクラのオリジナル回路をよりリアルに維持していることを確認した。
SIITは、Indirect Object Identification (IOI)のような大きな回路でトランスフォーマーを訓練することもできる。
最後に,既存の回路発見技術の評価にベンチマークを用いた。
関連論文リスト
- Transformer Circuit Faithfulness Metrics are not Robust [0.04260910081285213]
回路の「忠実さ」を、モデルの計算の一部を損なうことによって測定する。
既存の回路忠実度スコアは、研究者の方法論的選択と回路の実際の構成要素の両方を反映していると結論付けている。
機械的解釈可能性の研究の最終的な目標は、ニューラルネットワークを理解することです。
論文 参考訳（メタデータ） (2024-07-11T17:59:00Z) - Transformers meet Neural Algorithmic Reasoners [16.5785372289558]
我々は、トランスフォーマー言語理解とグラフニューラルネットワーク(GNN)に基づくニューラルネットワーク推論(NAR)の堅牢性を組み合わせた新しいアプローチを提案する。
CLRS-30ベンチマークのテキストベースバージョンであるCLRS-Text上で得られたTransNARモデルを評価し,アルゴリズム推論のためのTransformerのみのモデルよりも大幅に向上したことを示す。
論文 参考訳（メタデータ） (2024-06-13T16:42:06Z) - Mechanistic Interpretability of Binary and Ternary Transformers [1.3715396507106912]
完全精度の変圧器ネットワークと比較して,二進変圧器ネットワークと三進変圧器ネットワークが明らかに異なるアルゴリズムや類似のアルゴリズムを学習するかどうかを検討する。
これは、Large Language Modelsの設定において、より解釈可能な代替手段としてバイナリと3次ネットワークを使用する可能性を示す証拠を提供する。
論文 参考訳（メタデータ） (2024-05-27T23:22:23Z) - TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。
時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。
並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
論文 参考訳（メタデータ） (2024-04-15T06:01:48Z) - TransAxx: Efficient Transformers with Approximate Computing [4.347898144642257]
Vision Transformer (ViT) モデルは非常に競争力があり、畳み込みニューラルネットワーク (CNN) の代替として人気がある。
本稿では,PyTorchライブラリをベースとしたフレームワークであるTransAxxを提案する。
提案手法では,モンテカルロ木探索(MCTS)アルゴリズムを用いて,構成可能な空間を効率的に探索する。
論文 参考訳（メタデータ） (2024-02-12T10:16:05Z) - Transformers as Statisticians: Provable In-Context Learning with
In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。
コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。
エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文 参考訳（メタデータ） (2023-06-07T17:59:31Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳（メタデータ） (2023-05-25T10:58:46Z) - Pretraining Graph Neural Networks for few-shot Analog Circuit Modeling
and Design [68.1682448368636]
本稿では、新しい未知のトポロジや未知の予測タスクに適応可能な回路表現を学習するための教師付き事前学習手法を提案する。
異なる回路の変動位相構造に対処するため、各回路をグラフとして記述し、グラフニューラルネットワーク(GNN)を用いてノード埋め込みを学習する。
出力ノード電圧の予測における事前学習GNNは、新しい未知のトポロジや新しい回路レベル特性の予測に適応可能な学習表現を促進することができることを示す。
論文 参考訳（メタデータ） (2022-03-29T21:18:47Z) - Neural Network Training with Asymmetric Crosspoint Elements [1.0773924713784704]
実用的な抵抗装置の非対称コンダクタンス変調は、従来のアルゴリズムで訓練されたネットワークの分類を著しく劣化させる。
ここでは、ハミルトニアン Descent という代替の完全並列トレーニングアルゴリズムを記述し、実験的に示す。
我々は、なぜデバイス非対称性が従来のトレーニングアルゴリズムと根本的に相容れないのか、新しいアプローチがどのようにそれを有用な機能として利用するのか、という批判的な直感を提供する。
論文 参考訳（メタデータ） (2022-01-31T17:41:36Z) - Training End-to-End Analog Neural Networks with Equilibrium Propagation [64.0476282000118]
本稿では,勾配降下による終端から終端までのアナログニューラルネットワークの学習法を提案する。
数学的には、アナログニューラルネットワークのクラス(非線形抵抗性ネットワークと呼ばれる)がエネルギーベースモデルであることが示される。
我々の研究は、オンチップ学習をサポートする、超高速でコンパクトで低消費電力のニューラルネットワークの新世代の開発を導くことができる。
論文 参考訳（メタデータ） (2020-06-02T23:38:35Z) - Data-Driven Symbol Detection via Model-Based Machine Learning [117.58188185409904]
機械学習(ML)とモデルベースアルゴリズムを組み合わせた,検出設計のシンボル化を目的とした,データ駆動型フレームワークについてレビューする。
このハイブリッドアプローチでは、よく知られたチャネルモデルに基づくアルゴリズムをMLベースのアルゴリズムで拡張し、チャネルモデル依存性を除去する。
提案手法は, 正確なチャネル入出力統計関係を知らなくても, モデルベースアルゴリズムのほぼ最適性能が得られることを示す。
論文 参考訳（メタデータ） (2020-02-14T06:58:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。