論文の概要: Multi-Agent System Search via Active Substructure-aware Policy Optimization

• arxiv url: http://arxiv.org/abs/2609.32430v1
• Date: Sat, 26 Sep 2026 10:06:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-07 09:14:43.013984
• Title: Multi-Agent System Search via Active Substructure-aware Policy Optimization
• Title（参考訳）: アクティブサブ構造対応ポリシー最適化によるマルチエージェントシステム探索
• Abstract要約: Active Substructure-Aware Policy Optimization (ASPO)は、クエリレベルのMAS検索のためのRLフレームワークである。 ASPOは、ポリシーの能力境界におけるクエリのトレーニングに焦点を当てたAdaptive Query-Selection Mechanism (AQSM)を導入している。 ASPOはまた、各アクションの後続部分グラフ内の出力品質ゲインを測定するサブ構造レベルの報酬も導入している。
• 参考スコア（独自算出の注目度）: 10.79015931385122
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs enable multi-agent systems (MAS) to tackle complex tasks, but manually designing agent roles, prompts, and communication structures requires substantial expertise and effort. This motivates learning policies that construct query-specific MAS from execution reward. Existing approaches typically train these policies by repeatedly traversing a fixed set of training queries and assigning rewards at the workflow level. However, this overlooks differences in queries' evolving learning potential and obscures which substructures improve solution quality. In this paper, we propose Active Substructure-aware Policy Optimization (ASPO), a RL framework for query-level MAS search. ASPO introduces an Adaptive Query-Selection Mechanism (AQSM) that focuses training on queries at the policy's competence boundary: those it can solve but not yet reliably. A complementary discovery mechanism widens architectural exploration for hard queries, helping distinguish insufficient exploration from operator capability limits. Beyond query selection, ASPO introduces substructure-level rewards that measure output-quality gains within each action's descendant subgraph. These rewards guide proximal policy optimization to reinforce useful architectural refinements and discourage redundant or harmful computation. Together, these mechanisms prioritize learnable queries and provide fine-grained feedback for learning effective MASs. Across six benchmarks spanning mathematical reasoning, general question answering, and code generation, ASPO ranks first on every benchmark against twelve baselines.
• Abstract（参考訳）: LLMは複雑なタスクに対処するマルチエージェントシステム(MAS)を可能にするが、エージェントの役割、プロンプト、通信構造を手作業で設計するには相当な専門知識と努力が必要である。 これは、クエリ固有のMASを実行報酬から構築する学習ポリシーを動機付けます。 既存のアプローチでは、トレーニングクエリの固定セットを繰り返しトラバースし、ワークフローレベルで報酬を割り当てることで、これらのポリシをトレーニングするのが一般的である。 しかし、これは、クエリの進化する学習可能性と、サブ構造がソリューションの品質を改善する不明瞭さの違いを見落としている。 本稿では,クエリレベルのMAS検索のためのRLフレームワークであるActive Substructure-aware Policy Optimization (ASPO)を提案する。 ASPOはAdaptive Query-Selection Mechanism (AQSM)を導入し、ポリシーの能力境界におけるクエリのトレーニングに焦点を当てている。 補完的な発見メカニズムは、ハードクエリのアーキテクチャ探索を広げ、オペレータの能力限界から不十分な探索を区別するのに役立つ。 クエリの選択以外にも、ASPOは各アクションの後続部分グラフ内の出力品質のゲインを測定するサブ構造レベルの報酬を導入している。 これらの報酬は、設計上の有用な改良を強化し、冗長または有害な計算を阻止するために、近似的なポリシー最適化を導く。 これらのメカニズムは、学習可能なクエリを優先し、効果的なMASを学習するためのきめ細かいフィードバックを提供する。 数学的推論、一般的な質問応答、コード生成を含む6つのベンチマークで、ASPOは12のベースラインに対して、ベンチマーク毎に第1位である。

関連論文リスト

• The Optimizer Is the Agent: Reasoning-Driven Search across Prompts, Programs, and ML Workflows [72.9051182568928]
  推論駆動最適化のための統合フレームワークであるReASearchを提案する。 共有エージェントループとドメイン固有のツールにより、ReASearchは、プロンプト、プログラム、MLを最適化するために、まったく同じスキャフォールドをインスタンス化する。 我々は,複雑な探索行動がエージェントの推論プロセスから自然に現れることを観察する。
  論文  参考訳（メタデータ） (2026-08-07T02:15:39Z)
• When should I search more: Adaptive Complex Query Optimization with Reinforcement Learning [26.489185170468062]
  適応複雑クエリ最適化(ACQO)と呼ばれる新しいRLフレームワークを提案する。 我々のフレームワークは、いつ、どのように検索プロセスを拡張するかを適応的に決定するように設計されている。 ACQOは3つの複雑なクエリベンチマークで最先端のパフォーマンスを達成し、確立されたベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2026-01-29T03:16:53Z)
• Beyond Monolithic Architectures: A Multi-Agent Search and Knowledge Optimization Framework for Agentic Search [56.78490647843876]
  エージェント検索は、大規模言語モデル(LLM)が推論とツールの使用をインターリーブできるようにすることによって、複雑な情報を探すための有望なパラダイムとして登場した。 本稿では,bfM-ASKを提案する。bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK。
  論文  参考訳（メタデータ） (2026-01-08T08:13:27Z)
• HiRA: A Hierarchical Reasoning Framework for Decoupled Planning and Execution in Deep Search [85.12447821237045]
  HiRAは、戦略的な計画と専門的な実行を分離する階層的なフレームワークである。 提案手法では,複雑な探索タスクを集中サブタスクに分解し,各サブタスクを外部ツールと推論機能を備えたドメイン固有エージェントに割り当てる。 4つの複雑なクロスモーダルなディープ・サーチ・ベンチマークの実験により、HiRAは最先端のRAGとエージェント・ベース・システムを大きく上回っていることが示された。
  論文  参考訳（メタデータ） (2025-07-03T14:18:08Z)
• Reinforcing Question Answering Agents with Minimalist Policy Gradient Optimization [80.09112808413133]
  Mujicaは、質問をサブクエストの非循環グラフに分解するプランナーであり、検索と推論を通じて質問を解決するワーカーである。 MyGOは、従来のポリシー更新を勾配的いいねりの最大推定に置き換える、新しい強化学習手法である。 複数のデータセットにまたがる実験結果から,マルチホップQA性能向上における MujicaMyGO の有効性が示された。
  論文  参考訳（メタデータ） (2025-05-20T18:33:03Z)
• HALO: Hierarchical Autonomous Logic-Oriented Orchestration for Multi-Agent LLM Systems [1.1930434318557155]
  階層的推論アーキテクチャに基づくマルチエージェント協調フレームワークHALOを紹介する。 具体的には、タスク分解のための高レベル計画エージェント、サブタスク固有のエージェントインスタンス化のための中レベルロール設計エージェント、サブタスク実行のための低レベル推論エージェントを組み込んだ。 ユーザの大部分がプロンプトエンジニアリングの専門知識を欠いているため、Adaptive Prompt Refinementモジュールを使用して、生クエリをタスク固有のプロンプトに変換する。
  論文  参考訳（メタデータ） (2025-05-17T04:14:03Z)
• Guiding Multi-agent Multi-task Reinforcement Learning by a Hierarchical Framework with Logical Reward Shaping [16.5526277899717]
  本研究の目的は,論理報酬形成を伴う多エージェント協調アルゴリズムを設計することである。 Minecraftのような環境下で様々な種類のタスクで実験が行われてきた。
  論文  参考訳（メタデータ） (2024-11-02T09:03:23Z)
• Layer-of-Thoughts Prompting (LoT): Leveraging LLM-Based Retrieval with Constraint Hierarchies [0.3946282433423277]
  Layer-of-Thoughts Prompting (LoT)は、制約階層を使用して、所定のクエリに対する候補応答をフィルタリングし、精査する。 LoTは情報検索タスクの精度と理解性を著しく改善する。
  論文  参考訳（メタデータ） (2024-10-16T01:20:44Z)
• Multi-Task Off-Policy Learning from Bandit Feedback [54.96011624223482]
  本稿では,階層型非政治最適化アルゴリズム (HierOPO) を提案する。 学習方針の準最適性にタスクごとのバウンダリを証明し、階層モデルを使用しないよりも明確な改善を示す。 我々の理論的および実証的な結果は、各タスクを個別に解くよりも、階層を使うことの明確な利点を示している。
  論文  参考訳（メタデータ） (2022-12-09T08:26:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。