論文の概要: Grounding latent algorithm routing in transformer reasoning

• arxiv url: http://arxiv.org/abs/2607.24471v1
• Date: Mon, 27 Jul 2026 14:07:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.450865
• Title: Grounding latent algorithm routing in transformer reasoning
• Title（参考訳）: 変圧器推論における接地遅延アルゴリズムのルーティング
• Abstract要約: インダクティブバイアスの異なる家族を対象としたエピソードレベルの適応を,トランスフォーマーが構成できるかどうかを検討した。 ROUTEBENCHは,大域的縮小,疎度,頑健性,局所性を重視した診断ベンチマークである。 44M-612Mパラメータでスクラッチからトレーニングされた高密度デコーダのみのトランスフォーマーでは、306Mモデルがオラクルルーティングギャップの80.9%を閉じ、84.1のルートF1を達成する。
• 参考スコア（独自算出の注目度）: 2.3977651066739374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central question in the in-context learning literature is whether transformers can organize episode-level adaptation around different inductive-bias families. We study this question in a controlled setting through latent algorithm routing: route-like behavior in which the solver-family preference changes with the latent data-generating regime while prompt form is held fixed, remains stable under nuisance perturbations, and is selectively influenced by targeted activation interventions without large losses in answer quality. We introduce ROUTEBENCH, a diagnostic benchmark whose regimes differentially favor global shrinkage, sparsity, robustness, and locality, operationalized by ridge-like, lasso-like, Huber-like, and kNN-like family representatives. Across dense decoder-only transformers trained from scratch at 44M-612M parameters, a 306M model closes 80.9 percent of the oracle-routing gap and achieves route F1 of 84.1. The effect remains substantial under natural-language renderings, shuffled supports, lexical paraphrases, and a unified four-way routing setting. Stronger adaptive alternatives, including an input-conditioned soft mixture and an unsupervised Gumbel router, narrow the gap but remain below the 306M and 612M models on route F1 and OOD performance. Probe controls and matched activation-patching controls further show that route-relevant internal directions are decodable and functionally involved in solver-family-consistent output behavior. These results provide controlled evidence that dense transformers trained on ROUTEBENCH can develop route-like internal variables, but they do not establish universal routing in pretrained language models or unrestricted natural-language reasoning.
• Abstract（参考訳）: 文脈内学習の文献における中心的な疑問は、トランスフォーマーが異なる帰納的バイアス家族のエピソードレベルの適応を組織化できるかどうかである。 我々は,この問題を,潜伏アルゴリズムのルーティングを通じて制御された設定で検討する:経路様の振る舞いは,解答者による嗜好が潜伏データ生成レジームとともに変化し,急進的な形式が一定であり,ニュアンス摂動下では安定であり,応答品質に大きな損失を与えることなく,ターゲットのアクティベーション介入の影響を選択的に受けられる。 ROUTEBENCHは,大域的縮小,空間性,堅牢性,局所性に差がある診断ベンチマークであり,リッジ状,ラッソ状,ハマー様,kNN様の家族代表者が運用する。 44M-612Mパラメータでスクラッチからトレーニングされた高密度デコーダのみのトランスフォーマーでは、306Mモデルがオラクルルーティングギャップの80.9%を閉じ、84.1のルートF1を達成する。 この効果は、自然言語のレンダリング、シャッフルサポート、語彙のパラフレーズ、統一された4方向ルーティング設定の下でも引き続き顕著である。 入力条件のソフトミキシングと教師なしのガムベルルーターを含むより強力な適応型はギャップを狭めるが、ルートF1とOODの性能は306Mと612Mモデルを下回ったままである。 プローブ制御と一致した活性化パッチング制御は、経路関連内部方向がデオード可能であり、ソルバ・ファミリー・一貫性のある出力挙動に機能的に関与していることを示す。 これらの結果は、ROUTEBENCHで訓練された高密度トランスフォーマーがルートのような内部変数を生成できるという制御された証拠を提供するが、事前訓練された言語モデルや制限なしの自然言語推論において普遍的なルーティングを確立することはできない。

関連論文リスト

• RARE: Decoupling Representation Steering from Expert Routing in Mixture-of-Experts Language Models [13.298401993417611]
  本稿では,MoE言語モデルのためのルータに依存しない表現工学フレームワークを提案する。 RAREは任意の挙動摂動をルータ行列のヌル空間に投影し、ルータ可視成分を除去する。 有害なステアリングでは、RAREは平均攻撃成功率53.3%に達し、67.8%のMMLU精度を維持している。
  論文  参考訳（メタデータ） (2026-08-21T15:45:36Z)
• Meta-Attention: Bayesian Per-Token Routing for Efficient Transformer Inference [0.0]
  本稿では,各トークンを最も適切な注意戦略に動的にルーティングするフレームワークであるMeta-Attentionを提案する。 決定論的または事前自由な学習ルーティングを使用する以前のルーティングアプローチとは異なり、Meta-Controllerは、トークン毎のメカニズム選択を後部推論として扱う。 この設計は、ソフトからハードへのルーティング遷移を制御し、アドホックな負荷分散損失を伴わずにルーティング崩壊を緩和し、より良い計算性能のトレードオフをもたらす、原則化されたルーティング不確実性推定を生成する。
  論文  参考訳（メタデータ） (2026-05-27T12:21:28Z)
• How Alignment Routes: Localizing, Scaling, and Controlling Policy Circuits in Language Models [0.0]
  本稿では,アライメント学習言語モデルにおけるポリシールーティング機構のローカライズを行う。 中間層アテンションゲートは検出された内容を読み出し、深いヘッドをトリガーし、信号が拒絶に向かって押し上げられる。
  論文  参考訳（メタデータ） (2026-04-06T03:20:37Z)
• Route-Induced Density and Stability (RIDE): Controlled Intervention and Mechanism Analysis of Routing-Style Meta Prompts on LLM Internal States [10.639846833695806]
  我々は,アクティベーション空間,(C2)ドメインキーワードの注意,(C3)予測エントロピーと意味的変動による出力安定性を定量化する。 ルーティング設計の校正と不確実性推定のための診断プローブとしてRIDEを提案する。
  論文  参考訳（メタデータ） (2026-03-31T03:19:36Z)
• Transformers Can Learn Rules They've Never Seen: Proof of Computation Beyond Interpolation [0.0]
  2つの制御された設定で強みのみの仮説をテストする。 実験1では、純粋なXOR遷移規則を持つセルオートマトンを用いる。 実験2では、整数上のシンボリック作用素鎖を1つの作用素対が持ち上がった状態で研究する。
  論文  参考訳（メタデータ） (2026-03-17T18:02:28Z)
• Directional Routing in Transformers [0.0]
  指向性ルーティングは、共有ルータによって制御される各トランスフォーマーアテンションヘッド学習抑制方向を提供する軽量なメカニズムである。 結果の回路を機械的解釈可能性によってトレースする。 ルーティングは、ベースラインに対するパープレキシティを31～56%削減するが、下流の多重選択ベンチマークはまだこれらの利得を反映していない。
  論文  参考訳（メタデータ） (2026-03-16T07:28:22Z)
• Adaptive Linear Path Model-Based Diffusion [52.84663832658799]
  リニアパスモデルベース拡散(LP-MBD)を導入し、分散保存スケジュールをフローマッチング線形確率パスに置き換える。 また,適応型LP-MBD(ALP-MBD)を提案し,タスクの複雑さや環境条件に応じて拡散ステップやノイズレベルを調整する。
  論文  参考訳（メタデータ） (2026-02-02T21:33:03Z)
• Error Amplification Limits ANN-to-SNN Conversion in Continuous Control [64.99656514469972]
  スパイキングニューラルネットワーク(SNN)は、すでに訓練済みのニューラルネットワーク(ANN)を変換することで、競争性能を達成することができる。 既存の変換法は、適切なベースラインがほとんど存在しないような連続的な制御では性能が良くない。 本研究では, 時間的相関誤差を抑制するために, 残留膜電位を決定段階にわたって超過する軽量なトレーニング自由機構であるCRPIを提案する。
  論文  参考訳（メタデータ） (2026-01-29T14:28:00Z)
• RISER: Orchestrating Latent Reasoning Skills for Adaptive Activation Steering [62.63376387138257]
  本稿では,アクティベーション空間における大規模言語モデル(LLM)推論を適応的に制御するプラグイン・アンド・プレイ介入フレームワークを提案する。 RISERは再利用可能な推論ベクトルのライブラリを構築し、軽量ルータを使用して各入力に対して動的に構成する。 ルーターは、タスクレベルの報酬の下で強化学習を通じて最適化され、緊急かつ構成的な方法で潜在する認知的プリミティブを活性化する。
  論文  参考訳（メタデータ） (2026-01-14T08:04:33Z)
• GrAInS: Gradient-based Attribution for Inference-Time Steering of LLMs and VLMs [56.93583799109029]
  GrAInSは推論時ステアリングのアプローチで、言語のみのモデルと視覚言語の両方のモデルとタスクで動作する。 推論中、GrAInSはトークンレベルの属性信号によって誘導されるトランスフォーマー層で隠されたアクティベーションを隠蔽し、アクティベーションを正規化し、表現スケールを保存する。 微調整と既存のステアリングベースラインの両方を一貫して上回る。
  論文  参考訳（メタデータ） (2025-07-24T02:34:13Z)
• Inner Thinking Transformer: Leveraging Dynamic Depth Scaling to Foster Adaptive Internal Thinking [51.154226183713405]
  本稿では,レイヤ計算を暗黙の思考ステップとして再定義する内的思考変換器を提案する。 ITTは162Mパラメータのみを使用して466Mトランスフォーマーの96.5%のパフォーマンスを達成し、トレーニングデータを43.2%削減し、11のベンチマークでTransformer/Loopの変種を上回るパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2025-02-19T16:02:23Z)
• Bayesian Transformer Language Models for Speech Recognition [59.235405107295655]
  トランスフォーマーで表現される最先端のニューラルネットワークモデル(LM)は非常に複雑である。 本稿では,トランスフォーマーLM推定のためのベイズ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-02-09T10:55:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。