論文の概要: Dynamic Experts Search: Enhancing Reasoning in Mixture-of-Experts LLMs at Test Time

• arxiv url: http://arxiv.org/abs/2509.22572v1
• Date: Fri, 26 Sep 2025 16:49:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.596509
• Title: Dynamic Experts Search: Enhancing Reasoning in Mixture-of-Experts LLMs at Test Time
• Title（参考訳）: 動的エキスパート検索 - テスト時間における実験用LLMの推論強化
• Authors: Yixuan Han, Fan Ma, Ruijie Quan, Yi Yang,
• Abstract要約: テスト時間スケーリング(TTS)は、推論中にさらなる計算を割り当てることで、大規模言語モデル(LLM)の推論能力を高める。 本稿では,エキスパートアクティベーションを検索空間の制御可能な次元に高めるTTS戦略であるDynamic Experts Search (DES)を提案する。
• 参考スコア（独自算出の注目度）: 35.31371938688921
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-Time Scaling (TTS) enhances the reasoning ability of large language models (LLMs) by allocating additional computation during inference. However, existing approaches primarily rely on output-level sampling while overlooking the role of model architecture. In mainstream Mixture-of-Experts (MoE) LLMs, we observe that varying the number of activated experts yields complementary solution sets with stable accuracy, revealing a new and underexplored source of diversity. Motivated by this observation, we propose Dynamic Experts Search (DES), a TTS strategy that elevates expert activation into a controllable dimension of the search space. DES integrates two key components: (1) Dynamic MoE, which enables direct control of expert counts during inference to generate diverse reasoning trajectories without additional cost; and (2) Expert Configuration Inheritance, which preserves consistent expert counts within a reasoning path while varying them across runs, thereby balancing stability and diversity throughout the search. Extensive experiments across MoE architectures, verifiers and reasoning benchmarks (i.e., math, code and knowledge) demonstrate that DES reliably outperforms TTS baselines, enhancing accuracy and stability without additional cost. These results highlight DES as a practical and scalable form of architecture-aware TTS, illustrating how structural flexibility in modern LLMs can advance reasoning.
• Abstract（参考訳）: テスト時間スケーリング(TTS)は、推論中にさらなる計算を割り当てることで、大規模言語モデル(LLM)の推論能力を高める。 しかし、既存のアプローチは主にモデルアーキテクチャの役割を見越しながら、出力レベルのサンプリングに依存しています。 メインストリームのMixture-of-Experts (MoE) LLMでは、活性化された専門家の数の変化が相補的な解集合を安定した精度で生成し、新しい、未探索の多様性の源を明らかにする。 そこで本研究では,専門家のアクティベーションを探索空間の制御可能な次元に高めるTTS戦略であるDynamic Experts Search (DES)を提案する。 DESは,(1)推論中の専門家数を直接制御し,さまざまな推論軌跡を生成する動的MoE,(2)推論経路内で一貫した専門家数を保持する専門家構成継承,そして実行時の安定性と多様性を両立させる。 MoEアーキテクチャ、検証器、推論ベンチマーク(数学、コード、知識)にわたる大規模な実験は、DESがTSベースラインを確実に上回り、追加コストなしで精度と安定性を向上することを示した。 これらの結果は、DESをアーキテクチャを意識したTTSの実用的でスケーラブルな形式として強調し、現代のLLMにおける構造的柔軟性がいかに推論を前進させるかを示した。

関連論文リスト

• Multimodal Behavioral Patterns Analysis with Eye-Tracking and LLM-Based Reasoning [12.054910727620154]
  視線追跡データは、ユーザの認知状態に関する貴重な洞察を明らかにするが、その構造化された非言語的な性質のために分析することは困難である。 本稿では、視線追跡信号からの認知パターン抽出を促進するために、マルチモーダルな人間-AI協調フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-24T09:49:53Z)
• MEXA: Towards General Multimodal Reasoning with Dynamic Multi-Expert Aggregation [64.85885900375483]
  MEXAは、エキスパートモデルのモダリティおよびタスク対応アグリゲーションを実行する、トレーニング不要のフレームワークである。 我々は,ビデオ推論,オーディオ推論,3D理解,医用QAなど,多様なマルチモーダルベンチマークに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2025-06-20T16:14:13Z)
• Beyond Templates: Dynamic Adaptation of Reasoning Demonstrations via Feasibility-Aware Exploration [15.711365331854614]
  本稿では,新しいデータ適応フレームワークである動的推論軌道(DART)について紹介する。 専門家のステップを均一に模倣する代わりに、DARTはステップワイド適応性推定によって導かれる選択的な模倣戦略を採用している。 我々は、DARTを複数の推論ベンチマークとモデルスケールで検証し、一般化とデータ効率を大幅に改善することを示した。
  論文  参考訳（メタデータ） (2025-05-27T04:08:11Z)
• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• Progressive Multimodal Reasoning via Active Retrieval [64.74746997923967]
  多段階多モーダル推論タスクは、大規模言語モデル(MLLM)に重大な課題をもたらす 本稿では,MLLMの推論能力の向上を目的とした汎用フレームワークAR-MCTSを提案する。 我々は,AR-MCTSがサンプリングの多様性と精度を最適化し,信頼性の高いマルチモーダル推論を実現することを示す。
  論文  参考訳（メタデータ） (2024-12-19T13:25:39Z)
• APT: Architectural Planning and Text-to-Blueprint Construction Using Large Language Models for Open-World Agents [8.479128275067742]
  本稿では,自律型エージェントによるMinecraftの複雑な構造構築を可能にする,LLM(Large Language Model)駆動のフレームワークを提案する。 連鎖分解とマルチモーダル入力を用いることで、このフレームワークは詳細なアーキテクチャレイアウトと青写真を生成する。 本エージェントは, メモリとリフレクションモジュールの両方を組み込んで, 生涯学習, 適応的洗練, エラー訂正を容易にする。
  論文  参考訳（メタデータ） (2024-11-26T09:31:28Z)
• Harder Tasks Need More Experts: Dynamic Routing in MoE Models [58.18526590138739]
  本稿では,Mixture of Experts(MoE)モデルのための新しい動的専門家選択フレームワークを提案する。 提案手法は,各入力に対する専門家選択の信頼性レベルに基づいて,専門家を動的に選択する。
  論文  参考訳（メタデータ） (2024-03-12T13:41:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。