論文の概要: A Mechanistic Analysis of a Transformer Trained on a Symbolic Multi-Step
Reasoning Task
- arxiv url: http://arxiv.org/abs/2402.11917v2
- Date: Wed, 28 Feb 2024 13:31:19 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 17:41:05.230242
- Title: A Mechanistic Analysis of a Transformer Trained on a Symbolic Multi-Step
Reasoning Task
- Title(参考訳): シンボリックマルチステップ推論タスクで学習した変圧器の力学解析
- Authors: Jannik Brinkmann, Abhay Sheshadri, Victor Levoso, Paul Swoboda,
Christian Bartelt
- Abstract要約: 合成推論タスクで訓練された変圧器の包括的力学解析について述べる。
モデルがタスクの解決に使用する解釈可能なメカニズムのセットを特定し,相関的および因果的証拠を用いた結果の検証を行った。
- 参考スコア(独自算出の注目度): 16.008782165723094
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformers demonstrate impressive performance on a range of reasoning
benchmarks. To evaluate the degree to which these abilities are a result of
actual reasoning, existing work has focused on developing sophisticated
benchmarks for behavioral studies. However, these studies do not provide
insights into the internal mechanisms driving the observed capabilities. To
improve our understanding of the internal mechanisms of transformers, we
present a comprehensive mechanistic analysis of a transformer trained on a
synthetic reasoning task. We identify a set of interpretable mechanisms the
model uses to solve the task, and validate our findings using correlational and
causal evidence. Our results suggest that it implements a depth-bounded
recurrent mechanisms that operates in parallel and stores intermediate results
in selected token positions. We anticipate that the motifs we identified in our
synthetic setting can provide valuable insights into the broader operating
principles of transformers and thus provide a basis for understanding more
complex models.
- Abstract(参考訳): トランスフォーマーは様々な推論ベンチマークで印象的なパフォーマンスを示している。
これらの能力が実際の推論の結果である程度を評価するために、既存の研究は行動研究の洗練されたベンチマークの開発に焦点を当てている。
しかし、これらの研究は観測能力を動かす内部機構についての洞察を提供していない。
変圧器の内部機構の理解を深めるために,合成推論タスクで訓練された変圧器の包括的機構解析を行う。
モデルがタスクの解決に使用する解釈可能なメカニズムのセットを特定し,相関的および因果的証拠を用いて結果を検証する。
その結果,並列に動作し,中間結果を選択されたトークン位置に格納する深さ境界リカレント機構を実装していることが示唆された。
私たちが合成設定で特定したモチーフは、トランスフォーマーのより広範な動作原理に関する貴重な洞察を与え、より複雑なモデルを理解するための基盤となることを期待する。
関連論文リスト
- Transformers Provably Learn Feature-Position Correlations in Masked
Image Modeling [72.19427527234095]
マスク付き画像モデリング(MIM)は、マスクなしのパッチからランダムにマスクされたパッチを予測する。
我々はMIM自己教師型事前学習において,ソフトマックスを考慮した一層変圧器学習のエンドツーエンド理論を提案する。
論文 参考訳(メタデータ) (2024-03-04T17:24:03Z) - Transformer Mechanisms Mimic Frontostriatal Gating Operations When
Trained on Human Working Memory Tasks [19.574270595733502]
簡単なシーケンスモデリングタスクで訓練されたバニラアテンションのみのトランスフォーマー内で発生するメカニズムを解析する。
トレーニングの結果,Transformer内の自己認識機構が,入力と出力のゲーティング機構を反映する方法で特化していることが判明した。
論文 参考訳(メタデータ) (2024-02-13T04:28:43Z) - Understanding the Expressive Power and Mechanisms of Transformer for
Sequence Modeling [12.105446461064489]
ドット積自己注意などのトランスフォーマーの異なる成分が表現力に影響を及ぼすメカニズムについて検討する。
本研究では,トランスフォーマーにおける臨界パラメータの役割を明らかにする。
論文 参考訳(メタデータ) (2024-02-01T11:43:13Z) - Visual Analytics for Generative Transformer Models [28.251218916955125]
本稿では,変換器を用いた生成ネットワークの解析を支援するための新しい視覚分析フレームワークを提案する。
我々のフレームワークは、トランスフォーマーベースのエンコーダデコーダモデルの解析をサポートするための最初のフレームワークの1つである。
論文 参考訳(メタデータ) (2023-11-21T08:15:01Z) - ExpPoint-MAE: Better interpretability and performance for
self-supervised point cloud transformers [9.881466104115352]
マスク付き自動符号化の有効性を事前学習方式として評価し,代替手段としてMomentum Contrastを探索する。
我々は,トランスフォーマーが意味論的に意味のある領域への参加を学ぶことを観察し,事前学習が基礎となる幾何学の理解を深めることを示す。
論文 参考訳(メタデータ) (2023-06-19T09:38:21Z) - End-to-End Meta-Bayesian Optimisation with Transformer Neural Processes [52.818579746354665]
本稿では,ニューラルネットワークを一般化し,トランスフォーマーアーキテクチャを用いて獲得関数を学習する,エンド・ツー・エンドの差別化可能な最初のメタBOフレームワークを提案する。
我々は、この強化学習(RL)によるエンドツーエンドのフレームワークを、ラベル付き取得データの欠如に対処できるようにします。
論文 参考訳(メタデータ) (2023-05-25T10:58:46Z) - AttentionViz: A Global View of Transformer Attention [60.82904477362676]
本研究では,変圧器の自己保持機構を研究者が理解するための新しい可視化手法を提案する。
提案手法の背景にある主な考え方は,問合せとキーベクトルの結合埋め込みを可視化し,注意力を計算することである。
このような共同クエリキーの埋め込みに基づいて,インタラクティブな可視化ツールであるAttentionVizを開発した。
論文 参考訳(メタデータ) (2023-05-04T23:46:49Z) - Task Formulation Matters When Learning Continually: A Case Study in
Visual Question Answering [58.82325933356066]
継続的な学習は、以前の知識を忘れずに、一連のタスクでモデルを漸進的にトレーニングすることを目的としている。
本稿では,視覚的質問応答において,異なる設定がパフォーマンスに与える影響について詳細に検討する。
論文 参考訳(メタデータ) (2022-09-30T19:12:58Z) - Properties from Mechanisms: An Equivariance Perspective on Identifiable
Representation Learning [79.4957965474334]
教師なし表現学習の主な目標は、データ生成プロセスが潜在プロパティを回復するために「反転」することである。
この論文は「進化を支配するメカニズムの知識を活用して潜伏特性を識別するのか?」と問う。
我々は、可能なメカニズムの集合に関する知識が異なるため、不特定性の原因の完全な特徴づけを提供する。
論文 参考訳(メタデータ) (2021-10-29T14:04:08Z) - Transformers with Competitive Ensembles of Independent Mechanisms [97.93090139318294]
隠れた表現とパラメータを複数のメカニズムに分割し、注意を通して情報を交換する新しいトランスフォーマー層を提案する。
TIM を大規模 BERT モデル、画像変換器、および音声強調について研究し、意味的に意味のある専門化とパフォーマンスの向上の証拠を見つけます。
論文 参考訳(メタデータ) (2021-02-27T21:48:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。