論文の概要: Dynamic Routing as a New Dimension for Test-time Versatility of LLMs

• arxiv url: http://arxiv.org/abs/2610.04751v1
• Date: Sat, 03 Oct 2026 20:33:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-11 17:09:54.108082
• Title: Dynamic Routing as a New Dimension for Test-time Versatility of LLMs
• Title（参考訳）: LLMの試験時間最小化のための新しい次元としての動的ルーティング
• Abstract要約: モデル階層のサブセットを実行する動的ルーティングプログラムが、テスト時間適応の第2軸を開放できるかどうかを検討する。 実験者のラベルを割り当てる確率でプログラムを選択する戦略が,モデルの自信によって判断され,一貫した利得をもたらすことがわかった。 これらの上昇にもかかわらず、我々の分析は、信頼に基づく選択が、潜在的に未解決な部分の多くを残していることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Beyond scaling their parameters and data, large language models currently gain versatility on new problems along a single axis: the tokens they spend on chain-of-thought (CoT). We investigate whether dynamic routing programs, which execute a subset of the model's layers or iterate some of them, can open a second axis of test-time adaptation, complementary to CoT and free of any gradient update. Prior work showed that such programs exist and bring accuracy and efficiency gains on problems similar to those they were trained on; we ask whether they can also be identified rapidly, from a handful of demonstrations (3 or 10), by a strategy that transfers across models and tasks without training. First, we find that strategies that select programs by the probability they assign to the demonstrations' labels, arbitrated by the model's own confidence, bring consistent gains: on average over the 49 tasks of MMLU and substantially on four of seven models, and most of all on far out-of-distribution tasks such as ARC-AGI, where programs double the accuracy of a 7B model whose CoT fails. Second, on MMLU across the seven post-trained models, routing complements CoT in practice: the two succeed on different queries, and their composition exceeds CoT alone. Despite these gains, our analyses show that confidence-based selection leaves much of the potential untapped, in two places in particular: (1) in surfacing the routing potential that is already present early in pre-training but becomes harder to select after post-training, and (2) in making models robust to the refinements routing introduces, since unsuccessful routes tend to drive the residual stream out of the distribution that the following layers expect. Together, our results point to dynamic routing as a paradigm for extending the plasticity of existing and future LLMs in rapid test-time adaptation.
• Abstract（参考訳）: パラメータやデータのスケーリング以外にも、大規模な言語モデルでは、ひとつの軸に沿った新たな問題 — チェーン・オブ・シント(CoT)に使用するトークン — に対して、新たなメリットが提供されている。 モデルレイヤのサブセットを実行する動的ルーティングプログラムが、テスト時間適応の第2軸を開き、CoTを補完し、任意の勾配更新を不要にするかどうかを検討する。 以前の研究では、こうしたプログラムが存在し、トレーニングされたプログラムと同じような問題に対して正確さと効率性をもたらすことが示されており、トレーニングなしでモデルやタスクを移行する戦略によって、少数のデモ(3または10)から素早く特定できるかどうかを問う。 まず,実験者のラベルを割り当てる確率でプログラムを選択する戦略を,モデル自身の自信で判断し,一貫した利得をもたらすことを見出した。MMLUの49タスクを平均して,約7モデルのうち4タスクを上回り,多くはARC-AGIのような,CoTが失敗する7Bモデルの精度を2倍にする。 第二に、訓練後の7つのモデルにわたるMMLUでは、ルーティングがCoTを補完する。 特に,(1)事前学習の初期段階に存在するが,事前学習後の選択が困難になるルーティングポテンシャルを克服する上で,(2)改良されたルーティングに頑健なモデルを作成する場合には,経路がうまくいかず,次の層が期待する分布から残留ストリームを逸脱させる傾向にある。 その結果, 動的ルーティングは, 高速なテスト時間適応において, 既存のLCMと将来のLCMの可塑性を拡大するためのパラダイムとして示唆された。

関連論文リスト

• Revision-Aware Success Prediction from Multi-Attempt Programming Trajectories [0.0]
  本研究では, 統一的な定式化の下での3つの予測課題について検討した。 各タスクは、現在の専用、ペアワイド、マルチステップの入力レシスタンスで評価される。 MLモデルは、特にTasks1と3において、最も強く、最も安定している。
  論文  参考訳（メタデータ） (2026-07-21T01:06:31Z)
• TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
  訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。 TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。 TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
  論文  参考訳（メタデータ） (2026-03-02T10:38:54Z)
• MagicAgent: Towards Generalized Agent Planning [73.21129030631421]
  汎用エージェント計画に特化して設計された基盤モデルである textbfMagicAgent について述べる。 多様な計画タスクにまたがる高品質なトラジェクトリを生成する軽量でスケーラブルな合成データフレームワークを提案する。 MagicAgent-32B と MagicAgent-30B-A3B は様々なオープンソースベンチマークにおいて優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2026-02-22T01:39:16Z)
• Dual-Phase LLM Reasoning: Self-Evolved Mathematical Frameworks [48.105258051884384]
  本稿では,モデルの自己補正能力を高めるための2段階トレーニングフレームワークを提案する。 最初の段階では、マルチターン対話戦略がモデルをガイドし、長いチェーン・オブ・シント(CoT)データを生成する。 第2段階では、データの分散を動的に最適化する難易度の高い拒絶サンプリング機構を採用している。
  論文  参考訳（メタデータ） (2026-01-09T08:19:11Z)
• NeuroTTT: Bridging Pretraining-Downstream Task Misalignment in EEG Foundation Models via Test-Time Training [6.030518150035875]
  本稿では,脳波基礎モデルのための2段階アライメント戦略を提案する。 まず,ドメイン固有の自己教師型微調整パラダイムであるNeuroTTTを提案する。 第2に、未ラベルのテストサンプルの自己教師型テストタイムトレーニングを行う。 我々のアプローチは、大規模なEEG基盤モデルにおけるテストタイムトレーニングとドメインチューニングされたセルフスーパービジョンを統合する最初の方法です。
  論文  参考訳（メタデータ） (2025-09-30T14:14:46Z)
• Improving Large Language Model Planning with Action Sequence Similarity [50.52049888490524]
  本研究では,インコンテキスト学習(ICL)によるモデル計画能力の向上について検討する。 GRASE-DC は2段階のパイプラインで,まず高効率のAS例を再サンプリングし,選択した例をキュレートする。 実験の結果,GRASE-DCは様々な計画タスクにおいて大幅な性能向上を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-05-02T05:16:17Z)
• AdaMerging: Adaptive Model Merging for Multi-Task Learning [68.75885518081357]
  本稿では,Adaptive Model Merging (AdaMerging)と呼ばれる革新的な手法を紹介する。 本来のトレーニングデータに頼ることなく、タスクレベルでも階層的にも、モデルマージの係数を自律的に学習することを目指している。 AdaMergingは、現在の最先端のタスク演算のマージ方式と比較すると、パフォーマンスが11%向上している。
  論文  参考訳（メタデータ） (2023-10-04T04:26:33Z)
• Lifelong Learning Without a Task Oracle [13.331659934508764]
  監視されたディープニューラルネットワークは、新しいタスクが学習されると、古いタスクの精度が大幅に低下することが知られている。 本稿では,メモリオーバーヘッドの少ないタスク割り当てマップの提案と比較を行う。 最高のパフォーマンスの変種は、平均的なパラメータメモリの増大を1.7%に抑えるだけである。
  論文  参考訳（メタデータ） (2020-11-09T21:30:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。