論文の概要: Align, Unify, Suppress, Route: A Coherentist View of Transformer Computation
- arxiv url: http://arxiv.org/abs/2608.22034v1
- Date: Sat, 22 Aug 2026 16:29:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.572467
- Title: Align, Unify, Suppress, Route: A Coherentist View of Transformer Computation
- Title（参考訳）: Aign, Unify, Suppress, Route: A Coherentist View of Transformer Computation
- Abstract要約: コヒーレント主義の確率的構成主義は、コヒーレント主義の解釈理論における変圧器の計算を基礎としている。
5つのアーキテクチャファミリーの15モデルのうち、抑制、統一、ルーティングのウェイトスペースシグネチャは、保持されたアクティベーションレベルの役割尺度と相関する。
明示的な矛盾は14モデルにおいて階層的コヒーレンスプロキシを著しくシフトさせ、共有残差を除去した後、そのギャップは各モデルで予測される方向を持つ。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Mechanistic interpretability has identified transformer circuits, but lacks a shared vocabulary for describing how their functions compose across tasks and architectures. We introduce Coherentist Probabilistic Compositionalism (CPC), an interpretive framework that grounds transformer computation in coherentist theories of interpretation and describes it through four operator roles. Alignment identifies candidate relations, unification integrates supporting information, suppression reduces incompatible alternatives, and routing carries selected information to the output. Across 15 models from five architecture families, the suppression, unification, and routing weight-space signatures correlate with held-out activation-level role measures above random baselines. Suppression is more stable across tasks than unification. Ablating alignment heads reduces downstream suppressive activity beyond a random-head control in 10 models, but similar effects on no-conflict prompts indicate a general upstream dependency, not contradiction-specific coupling. Explicit contradictions significantly shift a layerwise coherence proxy in 14 models; after removing shared residual covariance, the gap has the predicted direction in every model. Base and instruction-tuned variants preserve induction-head score structure ($r{\geq}0.98$) without a consistent shift of operator signatures towards later layers. These results support CPC as a shared vocabulary for comparing transformer mechanisms while showing that their depth and geometric expression remain architecture-specific.
- Abstract（参考訳）: 機械的解釈可能性(Mechanistic Interpretability)は変圧器回路を識別するが、それらの機能がどのようにタスクやアーキテクチャを構成するかを記述するための共通語彙は存在しない。
本稿では,コヒーレント主義の解釈理論におけるトランスフォーマー計算を基盤とした解釈フレームワークであるコヒーレント主義確率構成論(CPC)を紹介し,それを4つのオペレーターの役割を通して記述する。
アライメントは候補関係を識別し、統一化はサポート情報を統合し、非互換な代替品を削減し、ルーティングは選択した情報を出力に伝達する。
5つのアーキテクチャファミリの15モデルのうち、抑制、統一、ルーティングのウェイトスペースシグネチャは、ランダムベースライン以上のアクティベーションレベルの役割の保持と相関する。
抑制は統一よりもタスク間で安定している。
異常アライメントヘッドは、10モデルにおいてランダムヘッド制御以上の下流抑制活性を低下させるが、非競合プロンプトに対する同様の効果は、矛盾特異的結合ではなく、上流依存性の一般性を示す。
明示的な矛盾は14モデルにおいて階層的コヒーレンスプロキシを著しくシフトさせ、共有残差を除去した後、そのギャップは各モデルで予測される方向を持つ。
ベースおよび命令で調整された変種は、演算子シグネチャを後続の層へ一貫したシフトすることなく、誘導ヘッドスコア構造(r{\geq}0.98$)を保存する。
これらの結果は,CPCを共通語彙としてサポートし,その深さと幾何学的表現がアーキテクチャ固有のままであることを示しながら,トランスフォーマー機構の比較を行った。
関連論文リスト
- Interior interpretability with attention rollout: contraction and propagation profiles in Transformers [17.72586636966418]
本稿では,内部モデル組織における伝搬的視点であるEmphinterior Interpretabilityを紹介する。
特徴トークン間のアテンションによる伝搬を符号化する行確率演算子としてロールアウトを解釈する。
論文 参考訳（メタデータ） (2026-07-24T14:51:28Z) - Kan Extension Transformers: A Categorical Unification of Attention, Diffusion, and Predict-Detach Self-Conditioning [1.3295383263113112]
Kan Extension Transformer (KET)は、Transformer実装の多種多様なグループのための統一的な分類フレームワークである。
厳密な因果関係と予測決定条件によって異なる12種類のTransformer実装の総合的な実験的検証を含む。
論文 参考訳（メタデータ） (2026-05-26T16:36:59Z) - IMPACT-CYCLE: A Contract-Based Multi-Agent System for Claim-Level Supervisory Correction of Long-Video Semantic Memory [73.22944697933603]
既存のパイプラインは不透明でエンドツーエンドの出力を生成し、検査の中間状態は公開しない。
IMPACT-Cycleは,マルチモーダル反復クレームレベルのメンテナンスとして,長時間ビデオ理解を再構築するマルチエージェントシステムである。
論文 参考訳（メタデータ） (2026-04-22T03:03:33Z) - Taming Actor-Observer Asymmetry in Agents via Dialectical Alignment [59.536125286960186]
セルフリフレクションと相互監査を可能にするために、専門的な役割を割り当てるマルチエージェントフレームワークがますます採用されている。
アクター・オブザーバ非対称性(Actor-Observer Asymmetric)と呼ばれる認知バイアスを同時に誘発する。
ReTASは、対立する視点を客観的なコンセンサスに合成するためにエージェントを誘導する。
論文 参考訳（メタデータ） (2026-04-21T15:05:58Z) - Engineering Verifiable Modularity in Transformers via Per-Layer Supervision [0.0]
分散冗長性は損傷を補うため、資本化にとって重要なものとして認識される注目ヘッドを非難することは、最小限の行動変化をもたらす。
アーキテクチャの介入が隠されたモジュール性を公開することを実証します。
このことは、受動的観察から能動的制御への解釈可能性変換の方法論を台無しにしている。
論文 参考訳（メタデータ） (2026-03-08T05:18:14Z) - OrthoFormer: Instrumental Variable Estimation in Transformer Hidden States via Neural Control Functions [0.0]
シーケンシャルなモデリングにおいて優れたトランスフォーマーアーキテクチャは、相関学習によって基本的に制限される。
そこで我々はOrthoFormerを提案する。OrthoFormerは機械的変数推定をニューラル制御機能を介してTransformerブロックに直接組み込む因果的基底アーキテクチャである。
論文 参考訳（メタデータ） (2026-03-08T03:05:16Z) - TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。
TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。
TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
論文 参考訳（メタデータ） (2026-03-02T10:38:54Z) - To Throw a Stone with Six Birds: On Agents and Agenthood [0.0]
Six Birds Theory (SBT)は、マクロな物体を原始体ではなく誘導的閉包として扱う。
SBT内では,タイプ正当性評価を行う。
我々はこの契約を4つのチェック可能なコンポーネントを用いて有限制御システムで運用する。
論文 参考訳（メタデータ） (2026-02-03T10:46:23Z) - Rethinking Transferable Adversarial Attacks on Point Clouds from a Compact Subspace Perspective [55.919842734983156]
CoSAは、共有された低次元セマンティック空間内で機能する転送可能なアタックフレームワークである。
CoSAは、最先端のトランスファー可能な攻撃を一貫して上回っている。
論文 参考訳（メタデータ） (2026-01-30T15:48:11Z) - Structural Entropy Guided Probabilistic Coding [52.01765333755793]
構造エントロピー誘導型確率的符号化モデルSEPCを提案する。
我々は、構造エントロピー正規化損失を提案することにより、潜在変数間の関係を最適化に組み込む。
分類タスクと回帰タスクの両方を含む12の自然言語理解タスクに対する実験結果は、SEPCの優れた性能を示す。
論文 参考訳（メタデータ） (2024-12-12T00:37:53Z) - Do Generative Models Know Disentanglement? Contrastive Learning is All
You Need [59.033559925639075]
本論文では,変数空間におけるコントラスト(DisCo)による非監視的,モデル非依存的手法を提案する。
DisCoは、GAN、VAE、およびフローを含む、事前訓練された非解離生成モデルに与えられた最先端の解離を達成します。
論文 参考訳（メタデータ） (2021-02-21T08:01:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。