論文の概要: MACRO: Markov Chain Routing of Transformer Layers

• arxiv url: http://arxiv.org/abs/2608.05872v1
• Date: Thu, 06 Aug 2026 10:51:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 17:43:06.742426
• Title: MACRO: Markov Chain Routing of Transformer Layers
• Title（参考訳）: MACRO: 変換器層のマルコフチェーンルーティング
• Abstract要約: MACROは、基本的なパラメータを変更することなく、LLMアーキテクチャ上のタスク固有のルートを学習するフレームワークである。 複数のオープンウェイト LLM 上で,MACRO を多種多様な推論および知識ベンチマークで評価する。 経路探索時間を9.4倍(14.8時間から1.6時間)削減しつつ、最適な動的ルーティング手法であるLLMを+7.2%向上させる。
• 参考スコア（独自算出の注目度）: 10.52527481709651
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Standard Large Language Models (LLMs) execute layers sequentially. Dynamic layer routing, i.e. search for a different execution path through layers involving layer repetitions, skips and other moves, can improve performance. Existing routing approaches often require updating model weights, running expensive search loops per test instance, or demand ground-truth labels during inference. In this work, we propose Markov Chain Routing of Transformer Layers (MACRO), a framework that learns task-specific routes over LLM architectures without modifying underlying parameters. MACRO models layer routing as a context-dependent Markov policy conditioned on layer indices, computation budget phases, directional displacements, and operator context, supporting skip, repeat, and residual hidden-state addition operations. The Markov route distribution is updated via feedback on training data and decoded using a top-k Viterbi algorithm to isolate high-probability candidate programs. We evaluate MACRO across diverse reasoning and knowledge benchmarks on multiple open-weight LLMs. MACRO achieves a +5.0% average accuracy improvement over the unrouted baselines, with largest gains on small models. We outperform the best dynamic routing approach Dr. LLM by +7.2%, while reducing route-search time 9.4x (from 14.8 to 1.6 hours). Our code is publicly available at https://github.com/Batorskq/MACRO.
• Abstract（参考訳）: 標準大言語モデル(LLM)は階層を順次実行する。 動的層ルーティング(動的層ルーティング)、すなわち、レイヤ繰り返し、スキップ、その他の動作を含むレイヤを通して異なる実行パスを探索することで、パフォーマンスが向上する。 既存のルーティングアプローチでは、モデルウェイトを更新したり、テストインスタンス毎に高価なサーチループを実行したり、推論中にグラウンドトルースラベルを要求したりすることが多い。 本研究では,トランスフォーマー層 (MACRO) のMarkov Chain Routing(マルコフ連鎖ルーティング)を提案する。 MACROは、レイヤインデックス、計算予算フェーズ、方向変位、オペレータコンテキストに条件付けされたコンテキスト依存のMarkovポリシーとしてレイヤルーティングをモデル化し、スキップ、繰り返し、隠れ状態の追加操作をサポートする。 Markovルートの分布は、トレーニングデータからのフィードバックによって更新され、トップkのViterbiアルゴリズムを使ってデコードされ、高い確率の候補プログラムを分離する。 複数のオープンウェイト LLM 上で,MACRO を多種多様な推論および知識ベンチマークで評価する。 MACROは、未使用のベースラインよりも平均精度が5.0%向上し、小型モデルでは最大となる。 我々は、ルート探索時間を9.4倍(14.8時間から1.6時間)削減しながら、最高の動的ルーティングアプローチであるLLMを+7.2%上回った。 私たちのコードはhttps://github.com/Batorskq/MACRO.comで公開されています。

関連論文リスト

• Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
  Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext) ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
  論文  参考訳（メタデータ） (2026-06-22T06:37:31Z)
• The Routing Plateau: Understanding and Breaking the Accuracy Limits of LLM Routers [19.847272668359707]
  LLMルーティングは、各クエリのモデルを動的に選択することで、LLMサービスのコスト品質トレードオフを改善するための一般的なアプローチである。 最近の研究では、クラスタリングベースのルータ、学習された分類器、ペアワイズランキング、信頼に基づくアプローチなど、幅広いルーティング方法が検討されている。 kNNを含む多くの手法は、非常によく似た精度を達成し、オラクルルータよりはるかに低い狭い性能範囲に収束する。
  論文  参考訳（メタデータ） (2026-05-27T19:29:01Z)
• HierRouter: Coordinated Routing of Specialized Large Language Models via Reinforcement Learning [11.03159148013318]
  大規模言語モデル(LLM)は多くのタスクにまたがって最先端のパフォーマンスを提供するが、高い計算とメモリコストを課す。 特殊な軽量言語モデルのプールから推論パイプラインを動的に組み立てる階層的ルーティング手法であるHierを提案する。
  論文  参考訳（メタデータ） (2025-11-13T02:12:14Z)
• Routing Manifold Alignment Improves Generalization of Mixture-of-Experts LLMs [24.791817951102487]
  ルーティング重みの多様体をタスク埋め込みの多様体と整合させることで、このギャップを効果的に軽減できることを示す。 実験では,RoMAを用いてOLMoE,DeepSeekMoE,Qwen3-MoEのルータを微調整する。
  論文  参考訳（メタデータ） (2025-11-10T18:59:53Z)
• Dr.LLM: Dynamic Layer Routing in LLMs [55.11953638340419]
  Dr.LLMは、事前訓練されたモデルに軽量な層ごとのルータを装備し、ブロックをスキップ、実行、繰り返すように決定する、適合性のあるフレームワークである。 ARC(logic)とDART(math)では、Dr.LLMは平均で5つのレイヤを保存しながら、最大3.4%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-10-14T17:51:26Z)
• RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory [57.449129198822476]
  RCRは、マルチエージェント大言語モデル(LLM)システムのためのロールアウェアコンテキストルーティングフレームワークである。 役割とタスクステージに基づいて、各エージェントに対して意味的に関連するメモリサブセットを動的に選択する。 軽量スコアリングポリシは、メモリ選択をガイドし、エージェント出力を共有メモリストアに統合する。
  論文  参考訳（メタデータ） (2025-08-06T21:59:34Z)
• RAGRouter: Learning to Route Queries to Multiple Retrieval-Augmented Language Models [45.58601993849455]
  Retrieval-Augmented Generation (RAG) は、知識集約タスクにおけるLarge Language Models (LLM) の性能を大幅に向上させる。 既存のルーティング手法はRAGシナリオで最適以下の性能を示すのに対し,外部文書はLLMのクエリ応答能力に動的に影響を及ぼす。 本稿では、文書埋め込みとRAG機能埋め込みを利用して知識表現シフトを捉えるパラメトリックなRAG対応ルーティング設計であるRAGを提案する。
  論文  参考訳（メタデータ） (2025-05-29T03:44:56Z)
• Learning to Route Queries Across Knowledge Bases for Step-wise Retrieval-Augmented Reasoning [60.84901522792042]
  Multimodal Retrieval-Augmented Generation (MRAG)は、マルチモーダル大言語モデル(MLLM)における幻覚の緩和を約束している。 進化する推論状態に基づいて知識をいつどこで取得するかを学習する新しいMRAGフレームワークであるR1を提案する。 R1-は多種多様なKBを適応的かつ効果的に利用でき、不要な検索を減らし、効率と精度を向上させる。
  論文  参考訳（メタデータ） (2025-05-28T08:17:57Z)
• Universal Model Routing for Efficient LLM Inference [69.86195589350264]
  モデルルーティングは,大規模言語モデル(LLM)の推論コストを削減する手法である 動的ルーティング問題に対する新しいアプローチであるUniRouteを提案する。 これらは理論的に最適なルーティングルールの推定であり、過大なリスクバウンドによってそれらのエラーを定量化する。
  論文  参考訳（メタデータ） (2025-02-12T20:30:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。