論文の概要: Action- and Language-Conditioned Video Assessment for Embodied Control

• arxiv url: http://arxiv.org/abs/2608.08273v1
• Date: Sat, 08 Aug 2026 18:05:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:36.755438
• Title: Action- and Language-Conditioned Video Assessment for Embodied Control
• Title（参考訳）: 身体制御のためのアクション・アンド・ランゲージ・コンディションド・ビデオアセスメント
• Abstract要約: 自然言語命令を実行する視覚ベースの実施エージェントは、完全な軌道上のタスク進捗を評価するフィードバックメカニズムを必要とする。 本稿では、視覚的観察、実行されたアクションシーケンス、および自然言語命令に基づいて評価を行う軌道評価器であるALVA(Action- and Language-Conditioned Video Assessment)を提案する。 シミュレーションされた3D世帯環境において、ALVAは、ほぼゼロの偽陽性率で保守的な評価パターンを示す。
• 参考スコア（独自算出の注目度）: 25.788621525752006
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-based embodied agents executing multi-step natural language instructions require feedback mechanisms that assess task progress over complete trajectories. Conventional approaches based on final-frame matching or continuous embedding similarity may overlook intermediate transitions that are necessary for determining whether an instruction has been completed. We propose ALVA (Action- and Language-Conditioned Video Assessment), a trajectory evaluator that conditions its assessment on visual observations, the executed action sequence, and the natural language instruction. The method uses a pre-trained vision-language model (VLM) in two stages: it first summarizes frame-to-frame visual transitions conditioned on the executed actions and then assesses the generated summary with respect to the instruction to produce a discrete trajectory-level progress score. In simulated 3D household environments, ALVA exhibits a conservative assessment pattern with near-zero false-positive rates. When used as terminal feedback for closed-loop policy optimization, it provides more effective feedback than the evaluated static image and embedding-based visual baselines and reduces the performance gap to a ground-truth oracle. These results support action- and language-conditioned video assessment as an interpretable feedback mechanism for the evaluated simulated embodied-control tasks.
• Abstract（参考訳）: 多段階の自然言語命令を実行する視覚ベースの実施エージェントは、完全な軌道上のタスク進捗を評価するフィードバックメカニズムを必要とする。 ファイナルフレームマッチングや連続埋め込み類似性に基づく従来のアプローチは、命令が完了したかどうかを決定するのに必要な中間遷移を見逃す可能性がある。 本稿では、視覚的観察、実行されたアクションシーケンス、および自然言語命令に基づいて評価を行う軌道評価器であるALVA(Action- and Language-Conditioned Video Assessment)を提案する。 まず、実行された動作に条件付きフレーム間視覚遷移を要約し、次に命令に関して生成された要約を評価して、離散軌跡レベルの進行スコアを生成する。 シミュレーションされた3D世帯環境において、ALVAは、ほぼゼロの偽陽性率で保守的な評価パターンを示す。 クローズループポリシ最適化の端末フィードバックとして使用すると、評価された静的イメージや埋め込みベースの視覚ベースラインよりも効果的なフィードバックを提供し、グラウント・トラス・オラクルへのパフォーマンスギャップを低減する。 これらの結果は、評価された擬似制御タスクの解釈可能なフィードバックメカニズムとして、アクションおよび言語条件のビデオアセスメントを支援する。

関連論文リスト

• VLA-Corrector: Stage-Aware Observable State Understanding for Prompt-Based Closed-Loop Recovery of Vision-Language-Action Policies [12.698552476812855]
  VLA(Vision-Language-Action)ポリシーによる長距離ロボット操作は、実行時の逸脱に対して脆弱である。 本稿では,固定VLAポリシのクローズループ修正を可能にする,ステージアウェアの故障検証とPromptリカバリフレームワークを提案する。
  論文  参考訳（メタデータ） (2026-09-06T09:50:30Z)
• FutureRTC: Real-Time Robot Execution with Anticipatory-Conditioned Action Chunking [51.97839311685636]
  FutureRTCは、実行時の観察と非同期VLA制御の状態を予測するためのプラグイン・アンド・プレイ適応フレームワークである。 FutureRTCは推論遅延に対する堅牢性を実現し,よりスムーズな軌道,高速な実行,一貫したタスク成功率を実現している。
  論文  参考訳（メタデータ） (2026-07-27T05:10:16Z)
• Action with Visual Primitives [36.230909065494345]
  VLA(Vision-Language-Action)モデルは、汎用的なロボット操作のための有望なパラダイムとして登場した。 AVP(Action with Visual Primitives)は、このビジュアルプリミティブ中心のインターフェースを実装したエンドツーエンドアーキテクチャである。 AVP は pi_0.5 よりも 27.61% 向上し,近年の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2026-05-21T08:52:47Z)
• Interactive Evaluation Requires a Design Science [90.62695599188204]
  大規模言語モデル(LLM)は、ツールや環境、ユーザ、その他のエージェントを通じて、時間とともに機能するシステムとして、ますます多くデプロイされている。 フィールドはインタラクティブなベンチマークを構築し始めたが、その結果のランドスケープは断片化されている。 本論では,対話的評価は原則的評価パラダイムとして扱うべきであると論じる。
  論文  参考訳（メタデータ） (2026-05-18T04:03:18Z)
• AsgardBench -- Evaluating Visually Grounded Interactive Planning Under Minimal Feedback [28.254110943200683]
  AsgardBenchは、視覚的に基礎があり、ハイレベルなアクションシーケンス生成と対話的な計画を評価することを目指している。 評価の結果,視覚的入力を使わずに性能が急激に低下し,視覚的接地や状態追跡の弱点が明らかとなった。 私たちのベンチマークでは,より限定的な疑問に言及しています – 期待通りに進まなければ,実際に計画に適応するために,モデルが見ているものを使用することは可能ですか?
  論文  参考訳（メタデータ） (2026-03-16T20:31:43Z)
• See, Plan, Rewind: Progress-Aware Vision-Language-Action Models for Robust Robotic Manipulation [59.07792608884117]
  本稿では,See, Plan, Rewind (SPR)について紹介する。 SPRは、現在の状態と今後のマイルストーンを見て、次の2Dウェイポイントに向けて軌道を計画し、障害時に回復可能な状態に戻すという、継続的なコアサイクルを通じて運用される。 SPRは、OpenVLA-OFTとUniVLAを上回る最小のパフォーマンス低下で最先端のロバスト性を達成する。
  論文  参考訳（メタデータ） (2026-03-10T07:22:51Z)
• AC^2-VLA: Action-Context-Aware Adaptive Computation in Vision-Language-Action Models for Efficient Robotic Manipulation [21.23747444669735]
  VLAモデル(AC2-VLA)に対するアクションコンテキスト対応適応計算を提案する。 AC2-VLAは、タイムステップ間の認識再利用、トークンプルーニング、統一メカニズム内のモデルコンポーネントの選択的な実行を適応的に行う。 ロボット操作ベンチマークの実験では、AC2-VLAはFLOPを29.4%まで減らし、最大1.79倍のスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-01-27T14:10:39Z)
• ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
  本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。 具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。 本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
  論文  参考訳（メタデータ） (2026-01-23T11:31:07Z)
• Do What You Say: Steering Vision-Language-Action Models via Runtime Reasoning-Action Alignment Verification [17.948161564138033]
  Reasoning Vision Language Action (VLA)モデルは、低レベルアクションの前にステップバイステップのテキストプランを生成することで、ロボットによる命令追従を改善する。 しかし、正しいテキストプランであっても、生成したアクションは計画の意図した結果、特にアウト・オブ・ディストリビューションのシナリオを見逃す可能性がある。 我々は、この現象をCoT忠実性の欠如として定式化し、推論・アクションアライメントのためのトレーニング不要な実行時ポリシーステアリング手法を導入する。
  論文  参考訳（メタデータ） (2025-10-18T00:38:45Z)
• Adapting Vision-Language Models for Evaluating World Models [24.813041196394582]
  データおよび計算制約下でのシミュレーション環境におけるロールアウトに対する視覚言語評価手法であるUNIVERSEを提案する。 本研究では,タスク形式,コンテキスト長,サンプリング戦略,データ構成を網羅した,完全,部分的,パラメータ効率の微調整を大規模に検討する。 その結果得られた統合評価器は、単一のチェックポイントを使用してタスク固有のベースラインのパフォーマンスにマッチする。
  論文  参考訳（メタデータ） (2025-06-22T09:53:28Z)
• VITA: Zero-Shot Value Functions via Test-Time Adaptation of Vision-Language Models [49.78447737655287]
  VITAはゼロショット値関数学習法であり、テスト時間適応によって両方の能力を増強する。 オフライン強化学習において,VITAのゼロショット値推定が報酬形成に有効であることを示す。
  論文  参考訳（メタデータ） (2025-06-11T18:05:33Z)
• End-to-End Evaluation for Low-Latency Simultaneous Speech Translation [55.525125193856084]
  本稿では,低遅延音声翻訳の様々な側面を現実的な条件下で実行し,評価するための第1の枠組みを提案する。 これには、オーディオのセグメンテーションと、異なるコンポーネントの実行時間が含まれる。 また、このフレームワークを用いて低遅延音声翻訳の異なるアプローチを比較する。
  論文  参考訳（メタデータ） (2023-08-07T09:06:20Z)
• FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality Assessment [93.09267863425492]
  競争力のあるスポーツビデオにおける行動の高レベル意味論と内部時間構造の両方を理解することが、予測を正確かつ解釈可能なものにする鍵である、と我々は主張する。 本研究では,多様なダイビングイベントに対して,アクションプロシージャに関する詳細なアノテーションを付加した,ファインディビングと呼ばれる詳細なデータセットを構築した。
  論文  参考訳（メタデータ） (2022-04-07T17:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。