論文の概要: ValueFormer: A Causal Transformer Value Function with Stage-Aware Labels for Semi-Autonomous Vision-Language-Action Policies
- arxiv url: http://arxiv.org/abs/2608.02958v1
- Date: Mon, 03 Aug 2026 23:46:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:22.965276
- Title: ValueFormer: A Causal Transformer Value Function with Stage-Aware Labels for Semi-Autonomous Vision-Language-Action Policies
- Title（参考訳）: ValueFormer: 半自動視線制御のための段別ラベル付き因果変換器値関数
- Abstract要約: 本稿では,凍結したDINOv3バックボーン上の因果変換器であるValueFormerを紹介する。
障害エピソードには、障害ステージ前の成功曲線を保存するステージ認識、成功テーマデカイリターンとラベル付けされ、単一の障害時間ではなく、ミス間隔から検出が監視される。
- 参考スコア（独自算出の注目度）: 0.576537956677604
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-Language-Action (VLA) policies trained by behavior cloning fail silently: from the action stream alone, a collapsing rollout looks much like one making clean progress, because imitation supplies no notion of progress. Reinforcement learning would supply one, but it is impractical here, where real-robot experience is costly and deformable food resists simulation. The cheap alternative, a terminal success / failure bit, is learnable in principle yet far too sparse to say when a rollout went wrong. We argue that the per-frame label, not the architecture, is the hard part: to be useful it must be dense, continuous, and correctly shaped. We present ValueFormer, a compact policy-agnostic causal transformer over a frozen DINOv3 backbone that emits two per-frame signals in one forward pass: a smooth Monte Carlo value, V_mc, for advantage estimation and a sharp binary value for online mistake detection, targets that pull in opposite directions by design. Failed episodes are labeled with a stage-aware, success-then-decay return that preserves the success curve before the failure stage, and detection is supervised from mistake intervals rather than a single failure time, so mistakes the policy recovers from also carry signal. On a real-robot bimanual sandwich-assembly task 1,427 episodes), a critic-derived per-frame training weight lifts task completion from 70% to 85% (within noise at n=20), and a batched bf16 encoder cuts the live serving cost 3~5 times so the critic runs at 2 Hz alongside the policy on a single GPU.
- Abstract（参考訳）: 行動クローンによって訓練されたVLA(Vision-Language-Action)ポリシーは、静かに失敗する。
強化学習はそれを提供するが、実際のロボット体験はコストがかかり、変形可能な食品はシミュレーションに抵抗する。
低価格の代替手段である端末の成功/失敗ビットは、原則的に学ぶことができませんが、ロールアウトがいつ問題になったかと言うにはほど遠いものです。
アーキテクチャではなく、フレーム単位のラベルが難しい部分である、と私たちは主張しています。
本稿では,フリーズしたDINOv3バックボーン上のコンパクトなポリシーに依存しない因果変換器であるValueFormerについて述べる。
障害エピソードには、障害ステージ前の成功曲線を保存するステージ認識、成功テーマデカイリターンとラベル付けされ、単一の障害時間ではなく、ミス間隔から検出が監視されるため、ポリシのリカバリも信号を運ぶ。
実ロボットのバイマチュアルサンドイッチ組立てタスク1,427エピソードでは、批評家由来のフレーム毎のトレーニングウェイトがタスク完了を70%から85%(ノイズはn=20)に引き上げ、バッチ化されたbf16エンコーダがライブサービスコストを3～5倍に削減するので、批評家は1つのGPUのポリシーに従って2Hzで実行することができる。
関連論文リスト
- Where Success Breaks: Failure-Boundary Learning for Robust Vision-Language-Action Models [47.715495058757824]
教師付き微調整(SFT)により適応された視覚反応(VLA)モデルは構造的非対称性を継承する。
我々は、ロバストなVLA適応は、さらなるデモンストレーションフィッティングではなく、*Failure-Boundary Learning'として見るべきだと論じている。
論文 参考訳（メタデータ） (2026-09-05T14:24:16Z) - DemoBridge: A Simulation-in-the-Loop Toolkit for Single-View Human Demonstration Retargeting [49.70827726228219]
このツールキットは、人間の手による実演のシングルビューRGBステレオ記録を、物理で検証可能なロボットアーム軌道に変換する。
DemoBridgeの中核は、衝突を意識した単一のプランナーである。
物理シミュレーターはループ内で動作し、生成した各フェーズを検証し、障害時にバックトラックするので、与えられたように再生できないデモは破棄されるのではなく、再計画される。
論文 参考訳（メタデータ） (2026-07-10T15:31:04Z) - Sequential Planning via Anchored Robotic Keypoints [3.176338968032152]
トレーニング不要なニューロシンボリック操作システムであるSPARK(Anchored Robotic Keypoints, SPARK)について述べる。
単一のGeminiコールは、構成可能なキネマティックプリミティブの型付き振舞いツリー(BT)としてプランを構成する。
2つ目のGeminiコールでは、オブジェクトごとに3つの代替テキストプロンプトが提案され、SAM3がそれぞれを評価します。
代替のプロンプトは、空間スイートに+27.7、オブジェクトスイートに+10.0、全体のリカバリループに+5.0を加算する。
論文 参考訳（メタデータ） (2026-06-29T17:48:01Z) - Perfect Demo Makes Poor Teacher: Learning Robust Alignment from Critical Motion Segments [53.85970147743299]
専門家によるデモンストレーションは、ロボット模倣学習における金の標準であると広く考えられている。
しかし、挿入、積み重ね、アライメントなどのきめ細かい操作のために、私たちは直感的な失敗モードを発見しました。
視覚言語モデルとアクションエキスパートをブリッジする,コンパクトな動的特徴であるSTAIRを導入する。
論文 参考訳（メタデータ） (2026-06-14T04:15:29Z) - Capability and Robustness Cannot Both Be Free: An Information-Theoretic Bound for Vision-Language-Action Models [0.0]
VLA(Vision-Language-Action)モデルはクリーンな入力で高い成功率に達するが、小さな逆方向の摂動で崩壊する。
PGD攻撃は、OpenVLA-7BのLIBEROの成功を95%ドルから5%以下に下げることを示す。
任意のVLAポリシーに対して、capability $I(Astar;Api)$と robustness $I(Api;Atildepi)-I(Api;)$ sum to at least $H(Astar)+I(X;Xt)
論文 参考訳（メタデータ） (2026-05-25T14:16:57Z) - Survive or Collapse: The Asymmetric Roles of Data Gating and Reward Grounding in Self-Play RL [76.45061154544568]
セルフプレイ強化学習は、言語モデルを独自の生成タスクで訓練し、人間ラベルなしでプロジェクタとソルバを共進化させる。
最近のシステムでは強い推理効果が報告されているが、崩壊と不安定性は広く観察され、理解されていない。
代わりに、自己プレイの安定性は、提案者生成タスクがトレーニングプールに入るかを判断するデータレベルゲートと、すでに認められたタスクに関するポリシーを更新する報酬信号の2つの異なるレバーによって管理されていると論じる。
論文 参考訳（メタデータ） (2026-05-21T09:19:23Z) - ReCoVer: Resilient LLM Pre-Training System via Fault-Tolerant Collective and Versatile Workload [18.933354857797056]
大規模GPUクラスタ上での大規模言語モデルの事前トレーニングは、ハードウェア障害を稀ではなく日常的なものにしている。
一つの不変量を保持するレジリエントな事前学習システムであるReCoVerを提案する。
チェックポイントとリスタートのベースラインと比較して、ReCoVerは連続する障害の後、より効果的なスループットを2.23タイムで示す。
論文 参考訳（メタデータ） (2026-05-11T20:28:31Z) - Guardian: Detecting Robotic Planning and Execution Errors with Vision-Language Models [53.20969621498248]
本稿では,多種多様な計画および実行障害を生成するために,軌道を手続き的に乱す自動ロボット故障合成手法を提案する。
RLBench-Fail, BridgeDataV2-Fail, UR5-Failの3つの新しい故障検出ベンチマークを構築した。
次に、詳細な障害推論と検出のためのマルチビューイメージを備えたVLMであるGuardianをトレーニングします。
論文 参考訳（メタデータ） (2025-12-01T17:57:27Z) - Reinforcement Learning with Verifiable yet Noisy Rewards under Imperfect Verifiers [90.50039419576807]
RLVR(Reinforcement Learning with Verifiable Rewards)は、人為的なラベル付けを避けるために、自動検証に対するポリシーを訓練する。
認証ハッキングの脆弱性を軽減するため、多くのRLVRシステムはトレーニング中にバイナリ$0,1$の報酬を破棄する。
この選択にはコストがかかる:textitfalse negatives(正しい回答、FNを拒絶)とtextitfalse positives(間違った回答、FPを受け入れる)を導入する。
論文 参考訳（メタデータ） (2025-10-01T13:56:44Z) - Abduct, Act, Predict: Scaffolding Causal Inference for Automated Failure Attribution in Multi-Agent Systems [20.846301581161978]
マルチエージェントシステムにおける障害帰属は、批判的だが未解決の課題である。
現在の手法では、これを長い会話ログ上のパターン認識タスクとして扱う。
A2P Scaffoldingは、パターン認識から構造化因果推論タスクへの障害帰属を変換する。
論文 参考訳（メタデータ） (2025-09-12T16:51:15Z) - WR-ONE2SET: Towards Well-Calibrated Keyphrase Generation [57.11538133231843]
キーワード生成は、入力文書を要約する短いフレーズを自動的に生成することを目的としている。
最近登場したONE2SETパラダイムは、キーフレーズをセットとして生成し、競争性能を達成した。
本稿では, ONE2SET を拡張した WR-ONE2SET を提案する。
論文 参考訳（メタデータ） (2022-11-13T09:56:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。