論文の概要: AgentPatch: Coarse-to-Fine Weak-Task Repair for Merging Agentic Multimodal Large Language Models
- arxiv url: http://arxiv.org/abs/2608.06699v1
- Date: Fri, 07 Aug 2026 01:52:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.325076
- Title: AgentPatch: Coarse-to-Fine Weak-Task Repair for Merging Agentic Multimodal Large Language Models
- Title(参考訳): AgentPatch: エージェントマルチモーダル大言語モデルのマージのための粗弱タスク修復
- Abstract要約: AgentPatchは、エージェント型大規模言語モデルのためのトレーニング不要の粗大な修復フレームワークである。
安定した結合バックボーンを選択し、Wak-Task Unique Residual Recoveryを通じて希薄化した弱いタスク固有の信号を復元し、Agent-Guided Behavior-Critical Patchを適用する。
AgentPatchは、ルーティングやアンサンブルなしで単一の静的チェックポイントを生成する。
- 参考スコア(独自算出の注目度): 22.004098225093177
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Agentic multimodal large language models (MLLMs) extend multimodal perception and reasoning with planning, tool use, and interaction in dynamic environments. Yet current models are specialized for particular tools or environments, complicating consolidation into a single generalist. We formulate Agentic MLLM Merging and identify two challenges: asymmetric capability preservation, whereby capabilities with different interaction complexity are retained unevenly, producing weak tasks after merging, and behavior-critical forgetting, whereby losing decisive actions can derail long-horizon execution. We propose AgentPatch, a training-free coarse-to-fine repair framework. It selects a stable merged backbone, restores diluted weak-task-specific signals through Weak-Task Unique Residual Recovery, and applies an Agent-Guided Behavior-Critical Patch that recovers decisive behaviors under explicit capability protection. AgentPatch produces a single static checkpoint without routing or ensembles. Experiments across six agentic and multimodal benchmarks show that AgentPatch improves diverse merged backbones, alleviates weak-task degradation, and better balances weak-task recovery with the preservation of complementary search and agentic visual processing capabilities. Code is available at https://github.com/ziboshao/AgentPatch.
- Abstract(参考訳): エージェント型マルチモーダル大規模言語モデル(MLLM)は、動的環境における計画、ツールの使用、相互作用によるマルチモーダル認識と推論を拡張する。
しかし、現在のモデルは特定のツールや環境に特化しており、単一のジェネラリストへの統合を複雑にしている。
エージェントMLLMのマージングを定式化し,非対称な能力保存,異なる相互作用の複雑さを持つ能力が不均一に維持され,マージング後の弱いタスクが生成され,行動クリティカルな忘れが生まれ,決定的な行動を失うことで長期的実行が損なわれる,という2つの課題を特定する。
本稿では,トレーニング不要な粗い補修フレームワークであるAgentPatchを提案する。
安定した結合バックボーンを選択し、Weak-Task Unique Residual Recoveryを通じて希薄化した弱いタスク固有の信号を復元し、Agent-Guided Behavior-Critical Patchを適用して、明示的な機能保護の下で決定的な振る舞いを回復する。
AgentPatchは、ルーティングやアンサンブルなしで単一の静的チェックポイントを生成する。
6つのエージェントとマルチモーダルのベンチマーク実験により、AgentPatchは多様な統合されたバックボーンを改善し、弱いタスクの劣化を軽減し、補完的な検索とエージェント視覚処理能力の保存による弱いタスクの回復のバランスを改善することが示されている。
コードはhttps://github.com/ziboshao/AgentPatch.comで入手できる。
関連論文リスト
- Verified Tool Calls Improve LLM Agent Reliability Under Non-Atomic Failures [0.0]
現実世界のシステムは、ディスパッチ後のタイムアウト、遅延可視性、部分的な状態更新など、非原子的な振る舞いを示す。
これらのミスマッチは、重複アクション、タスク成功、不要なツール実行などの信頼性の問題を引き起こす。
ライトウェイトで検証対応のツールラッパーが導入されており、ツールコールをポストコンディション検証、バリデーション前ロジック、イデオロケーションキーで拡張する。
論文 参考訳(メタデータ) (2026-07-31T16:16:14Z) - Meta-Agent: From Task Descriptions to Verified Multi-Agent Systems [36.485119937780524]
本稿では,マルチエージェントシステムの自動構築と実行を行う2相フレームワークMeta-Agentを提案する。
本稿では,局所的,上流的,構造的障害を区別する3段階の誤り帰属機構を提案する。
強力なマルチエージェントベースラインとアブレーションスタディに対する実験では、タスク成功率、エラー回復、ワークフロー安定性が一貫した改善が示されている。
論文 参考訳(メタデータ) (2026-05-24T19:38:54Z) - Events as Triggers for Behavioral Diversity in Multi-Agent Reinforcement Learning [10.867011075689879]
これらの振る舞い遷移を定義するために、欠けている要素は$textbfevents$である、と我々は主張する。
本稿では,エージェントを行動から分離するフレームワークを紹介し,エージェントがイベントに応答して動作をインスタンス化する連続多様体をキャプチャする。
論文 参考訳(メタデータ) (2026-05-12T16:51:23Z) - Towards Security-Auditable LLM Agents: A Unified Graph Representation [22.355591892994642]
本稿ではエージェントセキュリティ監査のための統合構造表現であるエージェントBOMを提案する。
エージェントBOMは、クロスセッションメモリ中毒やツール誤用など、ステルス攻撃チェーンを再構築できることを示す。
Agent-BOMは複雑なエージェントエコシステムにおける根本原因分析とセキュリティ適応のための統一的で監査可能な基盤を提供する。
論文 参考訳(メタデータ) (2026-05-07T18:14:29Z) - Small Model as Master Orchestrator: Learning Unified Agent-Tool Orchestration with Parallel Subtask Decomposition [61.291733522717415]
Agent-as-Toolは並列オーケストレーションのパラダイムであり、エージェントとツールの両方を標準化された学習可能なアクション空間に緩和する。
ParaManagerは、サブタスク解決から計画決定を分離し、ステート対応の並列サブタスク分解、デリゲート、非同期実行を可能にする。
実験により、ParaManagerは複数のベンチマークで高い性能を示し、目に見えないモデルプールの下で堅牢な一般化を示す。
論文 参考訳(メタデータ) (2026-04-18T14:41:27Z) - GenAgent: Scaling Text-to-Image Generation via Agentic Multimodal Reasoning [54.42973725693]
我々は,エージェント型マルチモーダルモデルを用いて,視覚的理解と生成を統一したGenAgentを導入する。
GenAgentはGenEval++とWISEのベースジェネレータ(FLUX.1-dev)のパフォーマンスを大幅に向上させる。
本フレームワークは,1) 様々な機能を持つジェネレータへのクロスツール一般化,2) インタラクションラウンド間で一貫した改善を伴うテスト時間スケーリング,3) タスクに自動的に適応するタスク適応推論の3つの重要な特性を示す。
論文 参考訳(メタデータ) (2026-01-26T14:49:04Z) - Beyond Monolithic Architectures: A Multi-Agent Search and Knowledge Optimization Framework for Agentic Search [56.78490647843876]
エージェント検索は、大規模言語モデル(LLM)が推論とツールの使用をインターリーブできるようにすることによって、複雑な情報を探すための有望なパラダイムとして登場した。
本稿では,bfM-ASKを提案する。bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK,bfM-ASK。
論文 参考訳(メタデータ) (2026-01-08T08:13:27Z) - Towards Efficient Agents: A Co-Design of Inference Architecture and System [66.59916327634639]
本稿では,エージェントアクセラレーションのための統合フレームワークであるAgentInferを提案する。
問題をAgentCollab、AgentSched、AgentSAM、AgentCompressの4つの相乗的コンポーネントに分解する。
BrowseComp-zhとDeepDiverベンチマークの実験では、これらの手法の相乗的コラボレーションを通じて、AgentInferは非効率なトークン消費を50%以上削減することを示した。
論文 参考訳(メタデータ) (2025-12-20T12:06:13Z) - SCOPE: Prompt Evolution for Enhancing Agent Effectiveness [53.75986399936395]
大規模言語モデル(LLM)エージェントは、大規模で動的なコンテキストを生成する環境にますますデプロイされている。
エージェントはこのコンテキストにアクセスできますが、静的なプロンプトには効果的に管理するメカニズムがありません。
textbfSCOPE (Self-evolving Context Optimization via Prompt Evolution) を導入する。
本稿では,戦術的特異性(即時誤りの解消)と戦略的汎用性(長期原則の進化)のバランスをとるデュアルストリーム機構を提案する。
論文 参考訳(メタデータ) (2025-12-17T12:25:05Z) - Verification-Aware Planning for Multi-Agent Systems [35.82875628010279]
We present VeriMAP, a framework for multi-agent collaboration with verification-aware planning。
プランナーはタスクを分解し、サブタスクの依存関係をモデル化し、プランナー定義のパス基準をエンコードする。
検証対応計画がマルチエージェントシステムにおける信頼性の高い協調と反復的改善を実現する方法を示す。
論文 参考訳(メタデータ) (2025-10-20T02:54:29Z) - Multi-Agent Tool-Integrated Policy Optimization [67.12841355267678]
大規模言語モデル(LLM)は、知識集約的かつ複雑な推論タスクに対して、多ターンツール統合計画にますます依存している。
既存の実装は通常、単一のエージェントに依存するが、コンテキスト長とノイズの多いツールレスポンスに悩まされる。
ツール統合マルチエージェントフレームワークの効果的な強化学習をサポートする方法はない。
論文 参考訳(メタデータ) (2025-10-06T10:44:04Z) - On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。
不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。
本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
論文 参考訳(メタデータ) (2024-08-02T03:25:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。