論文の概要: Attention as Binding: A Vector-Symbolic Perspective on Transformer Reasoning
- arxiv url: http://arxiv.org/abs/2512.14709v1
- Date: Mon, 08 Dec 2025 05:38:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-18 17:06:26.674081
- Title: Attention as Binding: A Vector-Symbolic Perspective on Transformer Reasoning
- Title（参考訳）: バイディングとしての注意:トランスフォーマー推論におけるベクトル・シンボリックな視点
- Authors: Sahil Rajesh Dhayalkar,
- Abstract要約: トランスフォーマーベースの言語モデルは、印象的な推論のような振る舞いを示すが、安定した記号操作を必要とするタスクには脆弱なままである。
本稿では,VSA(Vector Symbolic Architecture)の実装として,自己意図と残留ストリームを解釈することで,これらの現象を統一的に考察する。
この観点では、クエリとキーはロール空間を定義し、値はフィラーをエンコードし、アテンションウェイトはソフトアンバインドを行い、残余接続は多くの有界構造の重ね合わせを実現する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Transformer-based language models display impressive reasoning-like behavior, yet remain brittle on tasks that require stable symbolic manipulation. This paper develops a unified perspective on these phenomena by interpreting self-attention and residual streams as implementing an approximate Vector Symbolic Architecture (VSA). In this view, queries and keys define role spaces, values encode fillers, attention weights perform soft unbinding, and residual connections realize superposition of many bound structures. We use this algebraic lens to relate transformer internals to chain-of-thought traces, program-based reasoning, and memory-augmented tool use, and to explain characteristic failure modes such as variable confusion and inconsistency across logically related prompts. Building on this perspective, we propose VSA-inspired architectural biases, including explicit binding/unbinding heads and hyperdimensional memory layers, and training objectives that promote role-filler separation and robust superposition. Finally, we outline metrics for measuring "VSA-likeness" and logical compositionality, and pose theoretical and architectural open problems. Overall, the paper argues that viewing attention as soft vector-symbolic computation offers a principled route toward more interpretable and logically reliable reasoning systems.
- Abstract（参考訳）: トランスフォーマーベースの言語モデルは、印象的な推論のような振る舞いを示すが、安定した記号操作を必要とするタスクには脆弱なままである。
本稿では,VSA(Vector Symbolic Architecture)の実装として,自己意図と残留ストリームを解釈することで,これらの現象を統一的に考察する。
この観点では、クエリとキーはロール空間を定義し、値はフィラーをエンコードし、アテンションウェイトはソフトアンバインドを行い、残余接続は多くの有界構造の重ね合わせを実現する。
この代数レンズは、トランスフォーマー内部をチェーンオブソートトレース、プログラムベースの推論、メモリ拡張ツール使用に関連付け、論理的に関連するプロンプトをまたいだ可変混乱や不整合といった特徴的な障害モードを説明するために用いられる。
この観点から、明示的なバインディング/アンバインドヘッドと超次元記憶層を含むVSAに着想を得たアーキテクチャバイアスを提案し、ロール・フィラー分離とロバストな重ね合わせを促進するためのトレーニング目標を提案する。
最後に、「VSA類似性」と論理的構成性を測定するための指標を概説し、理論的・建築的なオープンな問題を提起する。
全体としては、ソフトなベクトル-記号計算として注意を向けることは、より解釈可能で論理的に信頼できる推論システムへの原則的な経路をもたらすと論じている。
関連論文リスト
- Hierarchical Process Reward Models are Symbolic Vision Learners [56.94353087007494]
記号型コンピュータビジョンは、明示的な論理規則と構造化された表現を通して図を表現し、機械ビジョンの解釈可能な理解を可能にする。
これは、ピクセルベースのビジュアルモデルと根本的に異なる学習パラダイムを必要とする。
本稿では, インプットダイアグラムをプリミティブにエンコードし, インプットダイアグラムを再構築する自己教師型オートエンコーダを提案する。
論文 参考訳（メタデータ） (2025-12-02T18:46:40Z) - Uncovering Graph Reasoning in Decoder-only Transformers with Circuit Tracing [44.121903032922376]
基本デコーダのみの変換器をセットし,回路トラクサフレームワークを用いてそれらを説明する。
我々は、推論トレースを可視化し、トークンのマージと構造記憶という2つのコアメカニズムを識別する。
本研究は,デコーダのみの変換器の構造的推論を理解するための統合的解釈可能性フレームワークを提供する。
論文 参考訳（メタデータ） (2025-09-24T17:25:05Z) - How do Transformers Learn Implicit Reasoning? [67.02072851088637]
制御されたシンボリック環境下でトランスフォーマーをスクラッチからトレーニングすることで、暗黙のマルチホップ推論がどのように現れるかを研究する。
原子三重項によるトレーニングは必要ではなく学習を加速し,第2ホップの一般化は特定の構成構造へのクエリレベル露出に依存する。
論文 参考訳（メタデータ） (2025-05-29T17:02:49Z) - Sparsification and Reconstruction from the Perspective of Representation Geometry [10.834177456685538]
スパースオートエンコーダ (SAE) は機械的解釈可能性において主要なツールである。
本研究は,表現幾何学の観点から,空間の原理を説明する。
具体的には、表現を理解し、表現の制約を取り入れることの必要性を強調している。
論文 参考訳（メタデータ） (2025-05-28T15:54:33Z) - Symbolic Rule Extraction from Attention-Guided Sparse Representations in Vision Transformers [1.3812010983144802]
最近のニューロシンボリックアプローチは、解釈可能性を高めるためにCNNベースのモデルからシンボリック・ルールセットを抽出することに成功している。
本稿では、スパースオートエンコーダ(SAE)にインスパイアされたスパース概念層を導入し、視覚変換器(ViT)からシンボルルールを抽出するフレームワークを提案する。
本手法は,記号的推論が可能でありながら,標準のViTよりも5.14%の精度で分類できる。
論文 参考訳（メタデータ） (2025-05-10T19:45:15Z) - From Objects to Events: Unlocking Complex Visual Understanding in Object Detectors via LLM-guided Symbolic Reasoning [71.41062111470414]
現在のオブジェクト検出器は、エンティティのローカライゼーションと分類において優れているが、イベント認識機能には固有の制限がある。
本稿では,単なるオブジェクト認識以上の標準オブジェクト検出能力を,複雑なイベント理解に拡張する新しいフレームワークを提案する。
私たちの重要なイノベーションは、高価なタスク固有のトレーニングを必要とせずに、オブジェクト検出とイベント理解のセマンティックなギャップを埋めることです。
論文 参考訳（メタデータ） (2025-02-09T10:30:54Z) - LARS-VSA: A Vector Symbolic Architecture For Learning with Abstract Rules [1.3049516752695616]
我々は、オブジェクトレベルの特徴を抽象ルールから分離し、限られた量のデータから学習できる「関係ボトルネック」を提案する。
我々は「関係ボトルネック」戦略を高次元空間に適応させ、シンボルと関係表現の間の明示的なベクトル結合操作を取り入れた。
我々のシステムは超次元空間における演算のオーバーヘッドが低いことの恩恵を受けており、様々なテストデータセットで評価すると、技術の状態よりもはるかに効率的である。
論文 参考訳（メタデータ） (2024-05-23T11:05:42Z) - Binding Dynamics in Rotating Features [72.80071820194273]
本稿では,特徴間のアライメントを明示的に計算し,それに応じて重みを調整する「コサイン結合」機構を提案する。
これにより、自己注意と生物学的神経プロセスに直接接続し、回転する特徴に現れるオブジェクト中心の表現の基本的なダイナミクスに光を当てることができます。
論文 参考訳（メタデータ） (2024-02-08T12:31:08Z) - LOGICSEG: Parsing Visual Semantics with Neural Logic Learning and
Reasoning [73.98142349171552]
LOGICSEGは、神経誘導学習と論理推論をリッチデータとシンボリック知識の両方に統合する、全体論的視覚意味論である。
ファジィ論理に基づく連続的な緩和の間、論理式はデータとニューラルな計算グラフに基礎を置いており、論理によるネットワークトレーニングを可能にする。
これらの設計によりLOGICSEGは、既存のセグメンテーションモデルに容易に統合できる汎用的でコンパクトなニューラル論理マシンとなる。
論文 参考訳（メタデータ） (2023-09-24T05:43:19Z) - Abstractors and relational cross-attention: An inductive bias for explicit relational reasoning in Transformers [4.562331048595688]
抽象モジュールと呼ばれる新しいモジュールを通じて明示的なリレーショナル推論を可能にするトランスフォーマーの拡張が提案されている。
Abstractorの中核には、リレーショナル・クロスアテンション(relational cross-attention)と呼ばれる注意の亜種がある。
このアプローチは、関係情報をオブジェクトレベルの特徴から切り離す関係学習のためのアーキテクチャ的帰納的バイアスによって動機付けられます。
論文 参考訳（メタデータ） (2023-04-01T01:49:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。