論文の概要: Fly-by-Code: Embodied Coding Agents for Aerial Manipulation with Active Visual and Physical Feedback
- arxiv url: http://arxiv.org/abs/2610.12549v1
- Date: Thu, 08 Oct 2026 18:00:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.224187
- Title: Fly-by-Code: Embodied Coding Agents for Aerial Manipulation with Active Visual and Physical Feedback
- Title（参考訳）: Fly-by-Code:アクティブな視覚・身体的フィードバックを持つ空気操作のための身体的コーディングエージェント
- Abstract要約: エンボディードコーディングエージェントは、プログラムを生成し、実行フィードバックからそれらを精製することで、ロボットポリシーを構築する。
この改善は、実行フィードバックがタスクが成功したかどうかを明らかにし、失敗した後、プログラムのリビジョンをガイドするのに十分な証拠を提供すると仮定する。
同じフィードバックを再検査しても、収集されていない観察や、利用可能な証拠が区別できない原因を分離することはできません。
アクティブな"View and Probe"フレームワークであるActive Feedback(AF)を紹介します。
- 参考スコア（独自算出の注目度）: 63.75302732504381
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Embodied coding agents construct robot policies from natural-language instructions by generating executable programs and refining them from execution feedback. This refinement assumes that execution feedback reveals whether the task succeeded and, after a failure, provides sufficient evidence to guide program revision. Aerial manipulation violates this assumption in two ways. Payload constraints restrict onboard camera coverage and leave task-critical outcomes outside the robot's view (partial observability), while strong dynamic coupling and limited control margins make physical interactions fragile (limited interaction robustness) and leave failure causes unresolved. Re-examining the same feedback cannot recover observations that were never collected or separate failure causes that the available evidence does not distinguish. To acquire this missing evidence, we introduce Active Feedback (AF), an active "View and Probe" framework. When execution feedback leaves unresolved questions, the agent synthesizes a separate diagnostic program that runs in simulation to inspect unseen outcomes from informative viewpoints (View) or test hypotheses about failure causes through targeted physical interactions (Probe). Across six simulated aerial manipulation tasks with 60 trials per condition, AF reduces false completion declarations from 25 to 5 and raises final task success from 31.7% to 75% compared with terminal feedback under the same coding-agent configuration and task-execution limit. Using shared robot APIs, task programs refined with AF in simulation run on a physical aerial manipulator without task-program source-code modification and complete multi-stage manipulation tasks in the real world. These results show that executable diagnosis fills gaps in execution feedback for embodied coding agents, improving both completion assessment and program refinement in aerial manipulation.
- Abstract（参考訳）: エンボディードコーディングエージェントは、実行可能プログラムを生成し、実行フィードバックから精製することにより、自然言語命令からロボットポリシーを構築する。
この改善は、実行フィードバックがタスクが成功したかどうかを明らかにし、失敗した後、プログラムのリビジョンをガイドするのに十分な証拠を提供すると仮定する。
航空管制は、この仮定を2つの方法で破る。
負荷制限はカメラのカバレッジを制限し、ロボットの視野外(部分観測可能性)でタスククリティカルな結果を残すが、強い動的結合と制限された制御マージンは物理的相互作用を脆弱にし(相互作用の堅牢性を制限する)、障害を未解決にする。
同じフィードバックを再検査しても、収集されていない観察や、利用可能な証拠が区別できない原因を分離することはできません。
この欠落した証拠を得るために、アクティブな"View and Probe"フレームワークであるActive Feedback(AF)を紹介します。
実行フィードバックが未解決の質問を残すと、エージェントはシミュレーションで実行される別個の診断プログラムを合成し、情報的視点(ビュー)から見えない結果を検査したり、ターゲットの物理的相互作用(プローブ)を通じて障害原因に関する仮説を検証したりする。
AFは6つの模擬空中操作タスクのうち、60の試行を条件として、偽完了宣言を25から5に減らし、最終タスク成功を31.7%から75%に引き上げる。
共有ロボットAPIを用いて、タスクプログラムのソースコード修正や実世界でのマルチステージ操作を伴わない物理的空中マニピュレータ上でのシミュレーションにおいて、AFで改良されたタスクプログラムを動作させる。
これらの結果から,実行可能診断はエンボディコーディングエージェントの実行フィードバックのギャップを埋め,航空操作における完了評価とプログラム改善の両面を改善した。
関連論文リスト
- RobotWorld: Benchmarking Multimodal Agents for Robot Use Across Diverse Tasks and Embodiments [91.39996227368]
汎用エージェントはますます、コードを書き、ツールを使い、複雑なデジタルタスクを完遂し、これらの能力が物理的な世界にどこまで浸透するかという疑問を提起している。
ロボットのインタフェースを通じて、指示や観察を物理的タスクの実行に変換するという、ロボット利用のための挑戦的なシミュレーションテストベッドであるRobotWorldを紹介した。
タスク結果と実行トレースを分析して、転送する機能と、信頼性の高い完了を防ぐギャップの両方を識別する。
論文 参考訳（メタデータ） (2026-10-07T16:55:24Z) - Ego2World: Compiling Egocentric Cooking Videos into Executable Worlds for Belief-State Planning [49.28013800186945]
Ego2Worldは、アノテートされた調理アクティビティを、部分的な観察の下で実行可能な計画環境に変換するベンチマークである。
コンパイラはソースステップとオブジェクトをシンボリックアクションルール、永続的な世界状態、明示的なタスク条件にリンクする。
世界国家とエージェントの信念は別々に維持され、計画と情報の再利用に関する制御された研究を可能にする。
論文 参考訳（メタデータ） (2026-10-02T02:51:03Z) - CodeActionBench: Evaluating Agentic Code-as-Policy for Embodied Manipulation [55.1660787557339]
CodeActionBenchは、エージェント的なCode-as-Policyを通じてこの機能を評価する25の操作タスクのベンチマークである。
共有ロボットAPIは、RGB観測、校正された幾何学的操作、ロボットのフィードバック、および有界運動を提供し、タスク依存の判断を評価対象に残す。
9つの構成と675の試行で大規模な評価が行われ、成功率は2.7%から73.3%である。
最も強力な構成であるGPT-6 Astra with Codex CLIは、3回の試行で少なくとも25タスクのうち22タスクを解決した。
論文 参考訳（メタデータ） (2026-09-27T17:59:31Z) - PhyAgentOS: A Self-Evolving Operating System for Embodied Agents with Decoupled Cognitive Planning and Physical Execution [49.776611937968]
我々は、スケジューリング、検証、メモリ、ベンチマーク、安全性をシステムレベルのサービスとして提供するPhyAgentOSを紹介します。
セッション中心のセッションは、スケジューリング、互換性、監督された実行、エビデンス収集、受け入れの最小単位として、アクションではなくセッションを扱う。
SessionVerifierは、実行終了とセマンティックタスク完了を、成功、失敗、または再計画のエビデンスに基づいて判断する。
ベンチマークはデプロイメントセッションと検証パスを再利用するので、結果は実際の実行に遡る。
論文 参考訳（メタデータ） (2026-07-18T04:46:53Z) - AgentAbstain: Do LLM Agents Know When Not to Act? [19.223843408018997]
既存の評価は、エージェントがいつ禁じるべきかを知るのではなく、タスクの成功に焦点を当てている。
エージェント禁忌のための最初の体系的評価枠組みとして,ツールを用いたLDMエージェントの動作を検知するキャリブレーション能力について述べる。
AgentAbstainは、エージェントネイティブな分類に基づくペアタスクのベンチマークである。
論文 参考訳（メタデータ） (2026-07-11T00:57:36Z) - TTHE: Test-Time Harness Evolution [50.26245555541721]
既存のアプローチでは、デプロイ前、トレーニング前、あるいはテスト時に凍結される固定されたエージェントワークフローの開発データを最適化する。
我々は、エージェントがテスト入力で生成するラベルのない実行トレースのみを使用して、評価自体にハーネスを最適化できるかどうかを問う。
評価中、TTHEは候補ハーネスの人口を維持し、それらの実行トレースの理由をエージェントプロジェクタを通じてそれらを洗練する。
その後、審査員は実行元プロキシ信号から改善されたハーネスをコミットし、選択したプログラムは継続してその後の入力を統治する。
論文 参考訳（メタデータ） (2026-07-09T05:53:39Z) - When Agents Do Not Stop: Uncovering Infinite Agentic Loops in LLM Agents [7.986500985812644]
私たちはこの問題をInfinite Agentic Loops (IALs)と呼んでいる。
IALはエージェントロジック、フレームワークセマンティクス、実行時の観察、終了メカニズム間の相互作用から生まれる。
本研究では,実世界のLLMエージェントプロジェクトにおけるALF検出のための静的解析ツールであるIAL-Scanを提案する。
論文 参考訳（メタデータ） (2026-07-02T03:14:27Z) - A Physical Agentic Loop for Language-Guided Grasping with Execution-State Monitoring [5.437966695589128]
我々は、接地された実行状態上で動作する有界な実施エージェントとして言語誘導の把握を再構築する。
未修正の学習操作プリミティブをラップする物理エージェントループを導入する。
眼内カメラD405を用いた移動マニピュレータのループを検証した。
論文 参考訳（メタデータ） (2026-04-08T08:01:35Z) - AnyPos: Automated Task-Agnostic Actions for Bimanual Manipulation [24.199522837278128]
本稿では,タスク固有の条件からアクション実行を分離するタスク非依存のアクションパラダイムを提案する。
ATARAはスケーラブルなセルフ教師付きフレームワークで、人間の遠隔操作と比較して30倍以上のコレクションを高速化する。
我々はArm-Decoupled EstimationとDirection-Aware Decoderを備えた逆動的モデルであるAnyPosを提案する。
論文 参考訳（メタデータ） (2025-07-17T03:48:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。