論文の概要: Interpretable-by-Design Transformers via Architectural Stream Independence

• arxiv url: http://arxiv.org/abs/2603.07482v1
• Date: Sun, 08 Mar 2026 05:44:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:14.625185
• Title: Interpretable-by-Design Transformers via Architectural Stream Independence
• Title（参考訳）: 構造的ストリーム独立性を利用した解釈可能な設計変換器
• Abstract要約: アーキテクチャの制約がアーキテクチャストリームの独立性を通じて設計による解釈可能性を高めることができるかどうかを検討する。 最終層全体を通して解釈可能なシンボリックヘッドを示すLate Fusion Architecture (LFA) を通じて、この原則を検証する。 我々は,この効果を,それぞれ$PDS_max$ = 0.276,0.058のToken-Position Dependence Score (PDS)を導入して定量化する。
• 参考スコア（独自算出の注目度）: 1.2891210250935148
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: While transformers achieve strong performance, their internal decision-making processes remain opaque. We investigate whether architectural constraints can enforce interpretability by design through architectural stream independence: maintaining a token stream (carrying symbolic structure) and contextual semantics in separated streams that remain independently observable throughout processing, with integration delayed until output. We validate this principle through the Late Fusion Architecture (LFA), which demonstrates interpretable symbolic heads through all the final layers, while standard transformers show dissolution by the third of six layers; we quantify this effect by introducing the Token-Position Dependence Score (PDS), with $PDS_{max}$ = 0.276 and 0.058, respectively. Crucially, intervention experiments demonstrate functional modularity: suppressing LFA's recency heads causes minimal semantic damage (Cohen's d = -0.158) versus catastrophic entanglement in baselines (d = -0.672). LFA demonstrates that architectural constraints improve underlying learning mechanisms, averaging 42% stability versus 19% and 11% for baseline comparisons, with extremes from 50% on LFA's best pairs (6 of 12 heads position-invariant) down to 0% complete collapse in over-constrained cases. By preventing premature entanglement, architectural independence steers models toward semantic understanding over positional heuristics, establishing interpretability as an architectural design criterion enforceable through structural constraints rather than post-hoc analysis.
• Abstract（参考訳）: トランスフォーマーは高いパフォーマンスを達成するが、内部決定プロセスは不透明のままである。 アーキテクチャ制約がアーキテクチャストリームの独立性を通じて設計によって解釈可能性を実現することができるかどうかを考察する。 処理を通して独立して観測可能な分離ストリームにおいてトークンストリーム(シンボル構造を搬送する)とコンテキスト意味を維持でき、統合は出力まで遅れる。 我々は,この原理を,最終層全体を通して解釈可能なシンボルヘッドを示すLate Fusion Architecture (LFA) を通じて検証し,標準変圧器は6層中3層による解像を示すとともに,それぞれ$PDS_{max}$=0.276,0.058のToken-Position Dependence Score (PDS)を導入して,その効果を定量化する。 重要なこととして、干渉実験は機能的モジュラリティを示す: LFAの電流ヘッドの抑制は、ベースライン(d = -0.672)における破滅的な絡み合いに対して、最小の意味的損傷(コーエンのd = -0.158)を引き起こす。 LFAは、アーキテクチャ上の制約が基礎となる学習メカニズムを改善し、ベースライン比較では平均42%の安定性と19%の安定性と11%の安定性を示す。 早期の絡み合いを防ぐことによって、アーキテクチャ独立は、位置ヒューリスティックスに対する意味的理解に向けてモデルを構築し、ポストホック解析よりも構造的制約によって実施可能なアーキテクチャ設計基準として解釈可能性を確立する。

関連論文リスト

• Feature-Spectral Fragility in Segmentation: Dataset Dependence, Architecture-Specific Localization, and Spectral Correlates [0.0]
  学習した特徴表現の周波数依存性を学習後低域介入を用いて調査する。 CNN、SSM、Transformerはそれぞれ100%、73.2%、30.9%減少し、ISICでは9.4%、10.3%、0.6%となっている。 ネイティブな特徴領域スペクトル測定は、CVCにおける高周波エネルギーと不安定性の逆相関を示す。
  論文  参考訳（メタデータ） (2026-08-29T09:33:45Z)
• BenthicDINO: Physics-Informed Self-Distillation for View-Invariant Side-Scan Sonar Representations [0.0]
  本稿では,データ効率を最大化するために,ConvNeXt-v2-Tinyバックボーンを用いてDINOv3アーキテクチャ上に構築した物理インフォームド自己蒸留フレームワークを提案する。 本研究では,4つのネットワークステージにまたがる,密集した階層的特徴融合戦略を提案する。
  論文  参考訳（メタデータ） (2026-08-24T13:11:22Z)
• Align, Unify, Suppress, Route: A Coherentist View of Transformer Computation [0.0]
  コヒーレント主義の確率的構成主義は、コヒーレント主義の解釈理論における変圧器の計算を基礎としている。 5つのアーキテクチャファミリーの15モデルのうち、抑制、統一、ルーティングのウェイトスペースシグネチャは、保持されたアクティベーションレベルの役割尺度と相関する。 明示的な矛盾は14モデルにおいて階層的コヒーレンスプロキシを著しくシフトさせ、共有残差を除去した後、そのギャップは各モデルで予測される方向を持つ。
  論文  参考訳（メタデータ） (2026-08-22T16:29:20Z)
• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• The Trade-off Between Covariate Dependence and Latent Structure in Representation Learning [0.0]
  遠方形表現学習は、各指標次元が異なる共変量と整合する潜在表現を求める。 我々は、潜在次元-共変量依存と潜在構造への制約を結合する統一的、教師付きフレームワークを導入する。 ポストホックアライメントとiFAの両方が構造化潜在表現を制御可能であることを示す。
  論文  参考訳（メタデータ） (2026-08-17T08:20:40Z)
• Hierarchical Consistency Learning for Test-time Adaptation in Camouflage Perception [50.278200968044665]
  カモフラージュされた物体検出(COD)は、物理的属性を通して背景から最小限の知覚差を示すターゲットをローカライズすることを目的としている。 既存のメソッドは、静的なTrain-then-freezeパラダイムによって制約されており、ドメインの剛性と依存性のアノテーションに悩まされている。 動的表現再構成のためのテスト時間適応を統合した階層的一貫性学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-25T09:57:46Z)
• Dynamic analysis enhances issue resolution [53.50448142467294]
  DAIRA(Dynamic Analysis-enhanced Issue Resolution Agent)は、エージェントの推論サイクルに動的解析を組み込む自動修復フレームワークである。 テストトレース駆動の方法論によって駆動されるDAIRAは、軽量モニタを使用して重要なランタイムデータを抽出する。 Gemini 3 Flash Previewを使用すると、DAIRAは新たな最先端(SOTA)パフォーマンスを確立し、SWE-bench Verifiedデータセットで79.4%の解像度を達成する。
  論文  参考訳（メタデータ） (2026-03-23T14:48:54Z)
• The Dual-Stream Transformer: Channelized Architecture for Interpretable Language Modeling [1.2891210250935148]
  残差ストリームを2つの機能的に異なるコンポーネントに分解するDual-Stream Transformerを導入する。 言語モデリングタスクにおけるこのトレードオフを29Mパラメータで測定する。
  論文  参考訳（メタデータ） (2026-03-08T04:50:29Z)
• OrthoFormer: Instrumental Variable Estimation in Transformer Hidden States via Neural Control Functions [0.0]
  シーケンシャルなモデリングにおいて優れたトランスフォーマーアーキテクチャは、相関学習によって基本的に制限される。 そこで我々はOrthoFormerを提案する。OrthoFormerは機械的変数推定をニューラル制御機能を介してTransformerブロックに直接組み込む因果的基底アーキテクチャである。
  論文  参考訳（メタデータ） (2026-03-08T03:05:16Z)
• Breaking the Factorization Barrier in Diffusion Language Models [59.946071582340146]
  ベクトル化障壁」は拡散言語モデルの効率的な並列生成を妨げる。 完全分解出力分布を置き換えるための結合離散拡散法を提案する。 我々は, CoDD が多種多様な言語モデルアーキテクチャをシームレスに拡張し, オーバーヘッドを無視できることを示した。
  論文  参考訳（メタデータ） (2026-02-09T08:36:39Z)
• Why Does the LLM Stop Computing: An Empirical Study of User-Reported Failures in Open-Source LLMs [50.075587392477935]
  オープンソースのDeepSeek、Llama、Qwenのエコシステムから、705の現実世界の失敗に関する大規模な実証的研究を行った。 ホワイトボックスオーケストレーションは、モデルアルゴリズムの欠陥からデプロイメントスタックのシステム的脆弱性へと、信頼性のボトルネックを移動させます。
  論文  参考訳（メタデータ） (2026-01-20T06:42:56Z)
• Decoupling the Effect of Chain-of-Thought Reasoning: A Human Label Variation Perspective [60.45433515408158]
  長いチェーン・オブ・ソート(CoT)がトップオプションの決定的決定要因となるが、あいまいなタスクの粒度分布キャリブレータとして機能しないことを示す。 CoTは分布アライメントを改善するが、CoTの内容によって最終的な精度が決定される。
  論文  参考訳（メタデータ） (2026-01-06T16:26:40Z)
• From Memorization to Creativity: LLM as a Designer of Novel Neural-Architectures [48.83701310501069]
  大規模言語モデル(LLM)は、プログラム合成において優れているが、ニューラルネットワーク設計(信頼性、性能、構造的ノベルティ)を自律的にナビゲートする能力は、未調査のままである。 コード指向LLMをクローズドループ合成フレームワークに配置し、22の教師付き微調整サイクルの進化を解析することによって、この問題に対処する。
  論文  参考訳（メタデータ） (2026-01-06T13:20:28Z)
• Robust-R1: Degradation-Aware Reasoning for Robust Visual Understanding [54.05243949024302]
  既存の堅牢なMLLMは、視覚エンコーダの一般化にのみ焦点をあてた暗黙のトレーニング/適応に依存している。 本稿では,構造的推論連鎖による視覚的劣化を明示的にモデル化する新しいフレームワークであるRobust-R1を提案する。 提案手法は, (i) 劣化を考慮した推論基盤の微調整, (ii) 劣化パラメータを正確に知覚するための報酬駆動アライメント, (iii) 劣化強度に適応した動的推論深度スケーリングの2つを統合した。
  論文  参考訳（メタデータ） (2025-12-19T12:56:17Z)
• CoT-X: An Adaptive Framework for Cross-Model Chain-of-Thought Transfer and Optimization [5.857877898558651]
  CoT(Chain-of-Thought)推論は、大規模言語モデル(LLM)の問題解決能力を高めるが、かなりの推論オーバーヘッドをもたらす。 本稿では、適応的推論要約フレームワークを用いて、異なるスケールとアーキテクチャのモデル間での効率的なCoT転送について検討する。
  論文  参考訳（メタデータ） (2025-11-07T22:35:31Z)
• ERIS: An Energy-Guided Feature Disentanglement Framework for Out-of-Distribution Time Series Classification [51.07970070817353]
  理想的な時系列分類(TSC)は不変表現をキャプチャできるべきである。 現在の手法は、真に普遍的な特徴を分離するために必要な意味的な方向性を欠いている。 本稿では,シフト・ロバストネス・フレームワークのためのエンドツーエンドのエネルギー規則化情報を提案する。
  論文  参考訳（メタデータ） (2025-08-19T12:13:41Z)
• State Stream Transformer (SST) : Emergent Metacognitive Behaviours Through Latent State Persistence [0.0]
  State Stream Transformer (SST) は、事前訓練された重みで遅延した突発的な推論動作を示す新しいLCMアーキテクチャである。 SSTは、自己回帰世代を通して永続的な潜伏過程を維持し、進化させる重み付き崩壊を伴うスライディングウィンドウ潜伏状態(FFN)キャッシュを導入している。 SSTは、GSM-8K(0ショット)で89.01%、ARC Challenge(0ショットCoT)で91.04%の精度を達成した。
  論文  参考訳（メタデータ） (2025-01-30T14:03:36Z)
• Demystifying Inductive Biases for $\beta$-VAE Based Architectures [19.53632220171481]
  私たちは、VAEベースのアーキテクチャの成功に責任を持つ帰納バイアスに光を当てました。 古典的なデータセットでは, 生成因子によって誘導される分散構造は, VAEの目的によって促進される潜伏方向と都合よく一致していることを示す。
  論文  参考訳（メタデータ） (2021-02-12T23:57:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。