論文の概要: AgentTTS: Large Language Model Agent for Test-time Compute-optimal Scaling Strategy in Complex Tasks

• arxiv url: http://arxiv.org/abs/2508.00890v1
• Date: Sat, 26 Jul 2025 19:21:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-05 20:32:48.664637
• Title: AgentTTS: Large Language Model Agent for Test-time Compute-optimal Scaling Strategy in Complex Tasks
• Title（参考訳）: AgentTTS: 複雑タスクにおけるテスト時間計算最適スケーリング戦略のための大規模言語モデルエージェント
• Authors: Fali Wang, Hui Liu, Zhenwei Dai, Jingying Zeng, Zhiwei Zhang, Zongyu Wu, Chen Luo, Zhen Li, Xianfeng Tang, Qi He, Suhang Wang,
• Abstract要約: テストタイムスケーリング(TTS)は、推論中に追加の計算リソースを割り当てることで、大規模言語モデル(LLM)の性能を向上させる。 我々は,多段階複雑なタスクにおけるテスト時間計算-最適スケーリングという,新しい問題を研究する。 本稿では,計算最適割り当てを自律的に検索するLLMエージェントベースのフレームワークであるAgentTTSを提案する。
• 参考スコア（独自算出の注目度）: 33.858780386822836
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Test-time scaling (TTS) enhances the performance of large language models (LLMs) by allocating additional compute resources during inference. However, existing research primarily investigates TTS in single-stage tasks; while many real-world problems are multi-stage complex tasks, composed of a sequence of heterogeneous subtasks with each subtask requires LLM of specific capability. Therefore, we study a novel problem: the test-time compute-optimal scaling in multi-stage complex tasks, aiming to select suitable models and allocate budgets per subtask to maximize overall performance. TTS in multi-stage tasks introduces two fundamental challenges: (i) The combinatorial search space of model and budget allocations, combined with the high cost of inference, makes brute-force search impractical. (ii) The optimal model and budget allocations across subtasks are interdependent, increasing the complexity of the compute-optimal search. To address this gap, we conduct extensive pilot experiments on four tasks across six datasets, deriving three empirical insights characterizing the behavior of LLMs in multi-stage complex tasks. Informed by these insights, we propose AgentTTS, an LLM-agent-based framework that autonomously searches for compute-optimal allocations through iterative feedback-driven interactions with the execution environment. Experimental results demonstrate that AgentTTS significantly outperforms traditional and other LLM-based baselines in search efficiency, and shows improved robustness to varying training set sizes and enhanced interpretability.
• Abstract（参考訳）: テストタイムスケーリング(TTS)は、推論中に追加の計算リソースを割り当てることで、大規模言語モデル(LLM)の性能を向上させる。 しかし、既存の研究は主に単一段階のタスクにおけるTSを調査しているが、現実の多くの問題は多段階の複雑なタスクであり、各サブタスクと不均一なサブタスクのシーケンスで構成されている。 そこで本研究では,多段階複雑なタスクにおけるテスト時間計算-最適スケーリングという新たな課題について検討し,各サブタスク毎に適切なモデルを選択し,予算を割り当てて全体の性能を最大化することを目的とする。 マルチステージタスクにおけるTSは2つの根本的な課題をもたらす。 一 モデルと予算配分の組合せ探索空間及び推論コストの高騰により、ブルートフォース探索は非現実的となる。 (II)サブタスク間の最適モデルと予算配分は相互依存的であり,計算最適探索の複雑さを増大させる。 このギャップに対処するために、我々は6つのデータセットにまたがる4つのタスクについて広範な実験を行い、多段階複雑なタスクにおけるLLMの振る舞いを特徴付ける3つの経験的な洞察を導き出した。 これらの知見を反映して,実行環境との反復的なフィードバック駆動インタラクションを通じて,計算最適割り当てを自律的に検索するLLMエージェントベースのフレームワークであるAgentTTSを提案する。 実験の結果,AgentTTSは従来のLLMベースベースラインよりも検索効率が優れており,トレーニングセットのサイズが変化し,解釈可能性も向上した。

関連論文リスト

• Efficient Compositional Multi-tasking for On-device Large Language Models [19.179619181605556]
  テキストベースの合成マルチタスクの問題について検討し、各テスト例では複数のタスクを同時に実行する。 私たちのコントリビューションは、実世界のマルチタスクシナリオにおける大規模言語モデルの能力を向上し、複雑なリソース制約のあるユースケースに適用可能にするための基礎を築いてきました。
  論文  参考訳（メタデータ） (2025-07-21T21:39:23Z)
• EIFBENCH: Extremely Complex Instruction Following Benchmark for Large Language Models [65.48902212293903]
  大規模言語モデル(LLM)を評価するためのEIFBENCH(Extremely Complex Instruction following Benchmark)を提案する。 EIFBENCHにはマルチタスクシナリオが含まれており、多様なタスクタイプを同時に総合的に評価することができる。 また,LLMのマルチタスクワークフローを正確に満たす能力を高めるために,セグメントポリシー最適化(SegPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-10T02:39:55Z)
• Towards Efficient Multi-LLM Inference: Characterization and Analysis of LLM Routing and Hierarchical Techniques [14.892995952768352]
  言語モデル(LM)は、テキスト生成、要約、質問応答といったタスクに優れています。 彼らの推論は計算コストが高く、ハードウェア、電力、帯域幅に制限のある設定でエネルギーを集中的に消費する。 近年のアプローチでは、クエリの複雑さに基づいて、動的に計算資源を割り当てる複数のLLMインテリジェントモデル選択戦略が導入されている。
  論文  参考訳（メタデータ） (2025-06-06T23:13:08Z)
• Cross-Task Experiential Learning on LLM-based Multi-Agent Collaboration [63.90193684394165]
  マルチエージェント・クロスタスク体験学習(MAEL)は,LSM駆動型エージェントに明示的なクロスタスク学習と経験蓄積を付与する新しいフレームワークである。 経験的学習フェーズでは、タスク解決ワークフローの各ステップの品質を定量化し、その結果の報酬を記憶する。 推論中、エージェントは、各推論ステップの有効性を高めるために、いくつかの例として、高頻度のタスク関連体験を検索する。
  論文  参考訳（メタデータ） (2025-05-29T07:24:37Z)
• Multi2: Multi-Agent Test-Time Scalable Framework for Multi-Document Processing [43.75154489681047]
  MDS(Multi-Document Summarization)のためのテスト時間スケーリングを利用した新しいフレームワークを提案する。 提案手法では,様々なプロンプトを用いて複数の候補サマリーを生成し,アグリゲータと組み合わせて洗練されたサマリーを生成する。 また,本手法を効果的に評価するために,LCM-ACU(Consistency-Aware Preference)スコアとLLM-Content-Unit(LLM-ACU)スコアという2つの新しいLCMベースの指標を導入する。
  論文  参考訳（メタデータ） (2025-02-27T23:34:47Z)
• Guiding Multi-agent Multi-task Reinforcement Learning by a Hierarchical Framework with Logical Reward Shaping [16.5526277899717]
  本研究の目的は,論理報酬形成を伴う多エージェント協調アルゴリズムを設計することである。 Minecraftのような環境下で様々な種類のタスクで実験が行われてきた。
  論文  参考訳（メタデータ） (2024-11-02T09:03:23Z)
• Do Large Language Models Have Compositional Ability? An Investigation into Limitations and Scalability [12.349247962800813]
  大規模言語モデル(LLM)は多くのAI問題に対する強力なツールとして登場した。 また、ICL(In-context Learning)機能も備えている。 複合的なタスクにどのようにアプローチするかは、未解明の未解決の問題のままである。
  論文  参考訳（メタデータ） (2024-07-22T15:22:34Z)
• ADaPT: As-Needed Decomposition and Planning with Language Models [131.063805299796]
  As-Needed Decomposition and Planning for Complex Tasks (ADaPT)について紹介する。 ADaPTは、Large Language Modelsがそれらを実行できない場合、複雑なサブタスクを明示的に計画し、分解する。 以上の結果から,ADaPTは強いベースラインを確立した。
  論文  参考訳（メタデータ） (2023-11-08T17:59:15Z)
• Provable Benefits of Multi-task RL under Non-Markovian Decision Making Processes [56.714690083118406]
  マルコフ決定過程 (MDP) 下でのマルチタスク強化学習 (RL) において, 共有潜在構造の存在は, シングルタスクRLと比較して, サンプル効率に有意な利益をもたらすことが示されている。 このような利点が、部分的に観測可能なMDP(POMDP)やより一般的な予測状態表現(PSR)といった、より一般的なシーケンシャルな意思決定問題にまで拡張できるかどうかを検討する。 提案手法は,全てのPSRに対してほぼ最適ポリシーを求めるための,証明可能なアルゴリズム UMT-PSR を提案し,PSR の合同モデルクラスが有するマルチタスク学習の利点が示されることを示す。
  論文  参考訳（メタデータ） (2023-10-20T14:50:28Z)
• Exploring Relational Context for Multi-Task Dense Prediction [76.86090370115]
  我々は,共通バックボーンと独立タスク固有のヘッドで表される,密集予測タスクのためのマルチタスク環境を考える。 マルチタスク設定では,グローバルやローカルなど,さまざまな注意に基づくコンテキストを探索する。 タスクペアごとに利用可能なすべてのコンテキストのプールをサンプリングするAdaptive Task-Relational Contextモジュールを提案する。
  論文  参考訳（メタデータ） (2021-04-28T16:45:56Z)
• Dynamic Multi-Robot Task Allocation under Uncertainty and Temporal Constraints [52.58352707495122]
  本稿では,不確実性およびマルチエージェント協調の下での逐次意思決定における重要な計算課題を分離するマルチロボット割当アルゴリズムを提案する。 都市におけるマルチアームコンベヤベルトピック・アンド・プレイスとマルチドローン配送ディスパッチの2つの異なる領域における広範囲なシミュレーション結果について検証を行った。
  論文  参考訳（メタデータ） (2020-05-27T01:10:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。