論文の概要: FIT-MAC: A Closed-Loop Multi-Agent Framework for Robust Vision-Language-Action Models
- arxiv url: http://arxiv.org/abs/2610.28109v1
- Date: Tue, 20 Oct 2026 12:21:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-21 21:58:47.803436
- Title: FIT-MAC: A Closed-Loop Multi-Agent Framework for Robust Vision-Language-Action Models
- Title（参考訳）: FIT-MAC:ロバスト・ビジョン・ランゲージ・アクション・モデルのための閉ループマルチエージェント・フレームワーク
- Abstract要約: 提案するFIT-MACは,フェールアウェアでクローズドループのマルチエージェント制御フレームワークで,推論時のVLAポリシーの堅牢性を向上させる。
FIT-MACは、推論時制御レイヤでVLAポリシーを強化する。まず、Planner Agentが言語命令を構造化されたタスク仕様に解析し、操作目標と空間的制約をキャプチャする。
Verifier Agentは、フェーズ固有の実行進捗を追跡し、ターゲットバインディングエラーとローカル実行障害を区別し、介入が保証されているかどうかを決定する。
訂正エージェントは、障害タイプに応じて、許可された介入をルートして、リバインドまたはバウンドの把握または配置回復を目標とする。
- 参考スコア（独自算出の注目度）: 15.964545079352755
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Vision-language-action (VLA) models have achieved strong performance on standard robotic manipulation benchmarks. However, their reliability can degrade substantially when task conditions deviate from the nominal setting. Perturbations in object positions and task instructions may lead to complete task failure. Existing VLA policies generally lack an explicit runtime mechanism for distinguishing these failure modes and selecting an appropriate recovery strategy. To systematically mitigate this issue, we propose FIT-MAC, a failure-aware, closed-loop multi-agent control framework for improving the robustness of VLA policies at inference time. FIT-MAC augments a VLA policy with an inference-time control layer. First, the Planner Agent parses the language instruction into a structured task specification that captures the manipulation goal and spatial constraints, and the Grounder Agent resolves each instruction-level reference to a visual target. Next, the Verifier Agent tracks phase-specific execution progress, distinguishes target-binding errors from local execution failures, and determines whether intervention is warranted. The Correction Agent then routes permitted interventions to target rebinding or bounded grasping or placement recovery, depending on the failure type. When no intervention is required, the pretrained VLA remains the default action generator. Extensive experiments on LIBERO-PRO demonstrate that FIT-MAC improves robustness across multiple VLA backbones, consistently increasing success rates and achieving state-of-the-art performance under diverse perturbations.
- Abstract（参考訳）: VLA(Vision-Language-action)モデルは、標準的なロボット操作ベンチマークにおいて強力なパフォーマンスを実現している。
しかし、タスク条件が名目設定から逸脱した場合、その信頼性は著しく低下する。
オブジェクトの位置とタスク命令の摂動は、完全なタスクの失敗につながる可能性がある。
既存のVLAポリシには、これらの障害モードを識別し、適切なリカバリ戦略を選択するための明確なランタイムメカニズムが欠如している。
提案するFIT-MACは,フェールアウェアでクローズドループのマルチエージェント制御フレームワークで,推論時のVLAポリシーの堅牢性を改善する。
FIT-MACは、推論時間制御層でVLAポリシーを強化する。
まず、プランナーエージェントは、言語命令を、操作目標と空間的制約をキャプチャする構造化タスク仕様に解析し、グラウンドエージェントは、視覚目標に対する各命令レベル参照を解決します。
次に、Verifier Agentはフェーズ固有の実行進捗を追跡し、ターゲットバインディングエラーとローカル実行障害を区別し、介入が保証されているかどうかを決定する。
修正エージェントは、障害タイプに応じて、許可された介入をルートして、リバインドまたはバウンドされた把握または配置回復をターゲットにする。
介入が不要な場合、事前訓練されたVLAがデフォルトのアクションジェネレータとして残る。
LIBERO-PROに関する大規模な実験により、FIT-MACは複数のVLAバックボーンの堅牢性を向上し、連続的に成功率を高め、様々な摂動下で最先端のパフォーマンスを達成することが示されている。
関連論文リスト
- VLA-Corrector: Stage-Aware Observable State Understanding for Prompt-Based Closed-Loop Recovery of Vision-Language-Action Policies [12.698552476812855]
VLA(Vision-Language-Action)ポリシーによる長距離ロボット操作は、実行時の逸脱に対して脆弱である。
本稿では,固定VLAポリシのクローズループ修正を可能にする,ステージアウェアの故障検証とPromptリカバリフレームワークを提案する。
論文 参考訳（メタデータ） (2026-09-06T09:50:30Z) - EmbodiedSkills: A Unified Framework for Orchestrating, Training, and Deploying VLA Agents [56.25120535601186]
視覚言語アクション(VLA)モデルは、視覚観察と言語指示を直接ロボットアクションにマッピングする。
本稿では,各スキル決定を実行提案として扱うフレームワークであるEmbodiedSkillsを提案する。
共有可能スキルインタフェースは、ハイレベルスキル選択、バウンドローレベルVLA実行、ポストアクション検証を接続する。
論文 参考訳（メタデータ） (2026-09-01T14:14:47Z) - Hide-and-Seek in Trajectories: Discovering Failure Signals for VLA Runtime Monitoring [35.34120853605602]
textbf-and-Seekは、粗い教師付き学習問題としてVLA障害検出を定式化するフレームワークである。
我々は、LIBERO、VLABench、および3つの代表的なVLAポリシーをまたいだ現実世界のロボットプラットフォームについて、Hie-and-Seekの評価を行った。
論文 参考訳（メタデータ） (2026-05-29T04:40:12Z) - Autonomous Adversary: Red-Teaming in the age of LLM [1.4302803674538154]
言語モデルエージェント(LMA)は、レッドチーム操作を増強するための強力なプリミティブとして現れている。
我々は、これらのエージェントが中核攻撃機能とどのように交わるかを分析し、現在の強度と限界を評価する。
制御された対向エミュレーション環境における2つの横移動シナリオのLMAをベンチマークする。
論文 参考訳（メタデータ） (2026-05-07T16:07:41Z) - FAMA: Failure-Aware Meta-Agentic Framework for Open-Source LLMs in Interactive Tool Use Environments [60.3427704389541]
大規模言語モデルは、自律エージェントの意思決定コアとして、ますます多くデプロイされている。
しかし、会話のベンチマークでは、誤った意思決定のカスケード効果のために、これらのエージェントは頻繁に失敗する。
これらの課題に対処するために、Failure-Aware Meta-Agenticフレームワークを提案する。
論文 参考訳（メタデータ） (2026-04-28T02:21:53Z) - TAG: Target-Agnostic Guidance for Stable Object-Centric Inference in Vision-Language-Action Models [59.13964209628383]
VLA(Vision-Language-Action)ポリシーは、言語指示や視覚的な観察をロボット行動にマッピングする上で大きな進歩を見せている。
本稿では,VLA政策における乱れや外見に起因したバイアスを明示的に軽減する単純な推論時ガイダンス機構であるTAG(Target-Agnostic Guidance)を提案する。
我々は, LIBERO, LIBERO-Plus, VLABenchなどの標準操作ベンチマーク上でTAGを評価し, クラッタ下での堅牢性を一貫して改善し, ニアミスや不正なオブジェクト実行を減らす。
論文 参考訳（メタデータ） (2026-03-25T17:56:32Z) - Execution-State-Aware LLM Reasoning for Automated Proof-of-Vulnerability Generation [36.950993500170014]
本稿では,PoV生成を反復的仮説検証法として再構成するエージェントフレームワークであるDrillAgentを提案する。
我々は、実世界のC/C++脆弱性の大規模なベンチマークであるSEC-bench上でDrillAgentを評価する。
論文 参考訳（メタデータ） (2026-02-14T03:17:27Z) - Reshaping Action Error Distributions for Reliable Vision-Language-Action Models [69.38615670891038]
ロボット操作において、視覚言語アクション(VLA)モデルは、一般化可能でスケーラブルなロボットポリシーを学ぶための有望なパラダイムとして登場した。
連続動作型VLAモデルに焦点をあて、トレーニング中の動作誤差分布を再構成することにより、従来のMSEベースの回帰を超越する。
複数の代表的VLAアーキテクチャ上で、標準、少数ショット、ノイズの多い設定にまたがるアプローチを評価します。
論文 参考訳（メタデータ） (2026-02-04T05:37:09Z) - From Knowing to Doing Precisely: A General Self-Correction and Termination Framework for VLA models [42.553888395227766]
本稿では、視覚言語アクション(VLA)モデルのための軽量でトレーニング不要なフレームワークを提案する。
VLA-SCTは自己修正制御ループとして動作し、データ駆動型アクションリファインメントと条件論理を組み合わせて終了する。
本手法は,LIBEROベンチマークのすべてのデータセットに対して一貫した改善を実現する。
論文 参考訳（メタデータ） (2026-02-02T08:44:40Z) - CycleVLA: Proactive Self-Correcting Vision-Language-Action Models via Subtask Backtracking and Minimum Bayes Risk Decoding [60.06899554269808]
サイクロンVLA(CycleVLA)は、VLA(Vision-Language-Action Model)を積極的に自己補正するシステムである。
CycleVLAは、重要なサブタスク遷移ポイントにフラグを付けるプログレス対応のVLAを統合することで、これを実現する。
大規模な実験により、CycleVLAは、よく訓練されたVLAと訓練されていないVLAの両方のパフォーマンスを改善することが示された。
論文 参考訳（メタデータ） (2026-01-05T17:31:01Z) - AttackVLA: Benchmarking Adversarial and Backdoor Attacks on Vision-Language-Action Models [60.39655329875822]
VLA(Vision-Language-Action)モデルは、ロボットが自然言語の命令を解釈し、多様なタスクを実行することを可能にするモデルである。
このようなモデルを攻撃することへの関心は高まっているが、既存の手法の有効性は依然として不明である。
我々はVLA開発ライフサイクルに合わせて統合されたフレームワークであるAttackVLAを提案する。
論文 参考訳（メタデータ） (2025-11-15T10:30:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。