論文の概要: A Unifying Perspective on Language Model Representations: From Filler-Role Structure to Mechanistic Interpretability
- arxiv url: http://arxiv.org/abs/2608.29034v1
- Date: Sat, 29 Aug 2026 04:00:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-01 18:31:30.822257
- Title: A Unifying Perspective on Language Model Representations: From Filler-Role Structure to Mechanistic Interpretability
- Title（参考訳）: 言語モデル表現の統一的視点:フィラーロール構造から機械的解釈可能性へ
- Abstract要約: 統一された製品表現(TPR)を統一仮説として用いることを提案する。
数学的にも経験的にも、TPRはいくつかの先行的解釈可能性手法を統一できることを示す。
経験的に、上記の各解釈可能性手法のインスタンスを構築するために、様々なモデルに導出を適用する。
- 参考スコア（独自算出の注目度）: 5.242425502046959
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A wide range of methods have been proposed for interpreting language models, delivering important insights into their inner workings. However, different methods and their resulting insights stand in relative isolation: what could the underlying structure of language models be, such that they give rise to all our interpretations? In this work, we propose using Tensor Product Representations (TPRs) as a unifying hypothesis. TPRs give a concrete proposal for how compositional structure could be represented in vector space --- as filler-role bindings. We show, both mathematically and empirically, that TPRs can unify several prior interpretability methods: additive analogies, linear probing, sparse autoencoders, and activation patching. Mathematically, we show that these methods can all be derived from TPRs. Empirically, we apply the derivations to a range of different models --- from small toy models to LLMs --- to construct instances of each of the above interpretability methods; these constructed variants perform comparably to their standard variants. We view this work as a step toward what interpretability will ideally provide: a unified account of the nature of neural networks, corroborated not just by individual observations but also by an explanation of the connections between them.
- Abstract（参考訳）: 言語モデルを解釈し、内部動作に関する重要な洞察を提供するための、幅広い手法が提案されている。
しかし、異なる方法とその結果として得られる洞察は、相対的に孤立している。言語モデルの基盤となる構造は、どのようにして、それらが我々のすべての解釈を生み出すのか?
本研究では,テンソル製品表現(TPR)を統一仮説として用いることを提案する。
TPRは、構成構造をベクトル空間 -- フィラーロール結合として -- で表現する方法を具体的に提案する。
数学的にも経験的にも、TPRは、付加的な類似、線形プローブ、スパースオートエンコーダ、アクティベーションパッチなど、いくつかの従来の解釈可能性手法を統一できることを示す。
数学的には、これらの手法はすべてTPRから導出できることが示される。
実験的に、この導出は、小さな玩具モデルからLSMまで、様々なモデルに適用し、上記の各解釈可能性メソッドのインスタンスを構築する。
ニューラルネットワークの性質の統一的な説明は、個々の観察だけでなく、それらの相互関係の説明によっても裏付けられている。
関連論文リスト
- Linear Representation Transferability Hypothesis: Leveraging Small Models to Steer Large Models [6.390475802910619]
同一データ上で訓練されたモデル間で学習された表現は、基本特徴の近辺集合の線形結合として表現できることを示す。
これらの基本機能は、学習タスク自体を基盤とし、スケールに関係なく、モデル間で一貫性を維持します。
論文 参考訳（メタデータ） (2025-05-31T17:45:18Z) - Explaining Text Similarity in Transformer Models [52.571158418102584]
説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。
両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。
我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
論文 参考訳（メタデータ） (2024-05-10T17:11:31Z) - Transformers are uninterpretable with myopic methods: a case study with
bounded Dyck grammars [36.780346257061495]
解釈可能性法は、訓練されたモデルによって実装されたアルゴリズムを理解することを目的としている。
私たちは、モデルの個々の部分にのみフォーカスするメソッドの批判的な見解を取ります。
論文 参考訳（メタデータ） (2023-12-03T15:34:46Z) - Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。
この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。
我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
論文 参考訳（メタデータ） (2023-10-23T04:35:58Z) - Flow Factorized Representation Learning [109.51947536586677]
本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。
本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
論文 参考訳（メタデータ） (2023-09-22T20:15:37Z) - All Roads Lead to Rome? Exploring the Invariance of Transformers'
Representations [69.3461199976959]
本稿では, ビジェクション仮説を学習するために, 非可逆ニューラルネットワーク BERT-INN に基づくモデルを提案する。
BERT-INNの利点は理論上も広範な実験を通じても明らかである。
論文 参考訳（メタデータ） (2023-05-23T22:30:43Z) - Understanding Post-hoc Explainers: The Case of Anchors [6.681943980068051]
本稿では,テキストの判断を説明するために,少数の単語群をハイライトする規則に基づく解釈可能性法の理論解析を行う。
アルゴリズムを定式化し有用な洞察を提供した後、数学的にアンカーが有意義な結果をもたらすことを示す。
論文 参考訳（メタデータ） (2023-03-15T17:56:34Z) - Are Representations Built from the Ground Up? An Empirical Examination
of Local Composition in Language Models [91.3755431537592]
構成的・非構成的句を表現することは言語理解にとって重要である。
まず,より長いフレーズのLM-内部表現を,その構成成分から予測する問題を定式化する。
意味的構成性の人間の判断と相関する予測精度を期待するが、大部分はそうではない。
論文 参考訳（メタデータ） (2022-10-07T14:21:30Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳（メタデータ） (2022-02-21T18:32:24Z) - DirectProbe: Studying Representations without Classifiers [21.23284793831221]
DirectProbeは、タスクのバージョン空間の概念に基づいて表現の幾何学を研究します。
いくつかの言語的タスクと文脈的埋め込みの実験は、訓練された分類器がなくても、DirectProbeは埋め込み空間がラベルの表現方法に光を当てることができることを示している。
論文 参考訳（メタデータ） (2021-04-13T02:40:26Z) - Unnatural Language Inference [48.45003475966808]
我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。
我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
論文 参考訳（メタデータ） (2020-12-30T20:40:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。