論文の概要: AnyviewMeter: Adapting Robotic Reward Models with Camera Geometry and Multi-View Attention
- arxiv url: http://arxiv.org/abs/2609.20106v1
- Date: Thu, 17 Sep 2026 12:07:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.25388
- Title: AnyviewMeter: Adapting Robotic Reward Models with Camera Geometry and Multi-View Attention
- Title(参考訳): AnyviewMeter: カメラ幾何学とマルチビューアテンションを用いたロボットリワードモデルへの適応
- Abstract要約: 本稿では,ロボット報酬モデルのための幾何条件適応フレームワークであるAnyviewMeterを紹介する。
シングルビュー報酬予測とジョイントマルチビュー評価の両方をサポートする。
固定カメラと手首カメラの実際のタスクでは、絶対誤差は平均的なRGB微調整と比較して約21%減少する。
- 参考スコア(独自算出の注目度): 35.358017813860535
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Robotic reward models evaluate task execution from visual observations, but their predictions can change with camera viewpoint and occlusion even when the underlying task state is unchanged. Adapting a pretrained reward model to a local task therefore requires accounting for how that task is observed. We introduce AnyviewMeter, a geometry-conditioned adaptation framework for robotic reward models that represent task progress as a scalar reward signal. It combines low-rank fine-tuning with token-aligned Plucker rays and synchronous block attention: ray conditioning incorporates camera geometry into visual features and attention queries and keys, while block attention fuses synchronized views inside the pretrained decoder. The framework supports both single-view reward prediction and joint multi-view evaluation through parameter-efficient adaptation of a pretrained Robometer model. On PickCube, single-view adaptation improves progress prediction in every camera group and reduces mean absolute error under a changed field of view by approximately 21% relative to RGB fine-tuning. Across simulated manipulation tasks, joint multi-view prediction reduces progress error by 41-69% compared with averaging single-view RGB predictions and improves temporal ordering in approximately 88% of task-camera groups. On real tasks with fixed and wrist-mounted cameras, mean absolute error decreases by approximately 21% relative to averaged RGB fine-tuning. These results support camera geometry and joint visual evidence as useful components of task-specific robotic reward adaptation.
- Abstract(参考訳): ロボット報酬モデルでは、視覚的な観察からタスクの実行を評価するが、その予測は、基礎となるタスク状態が変化しても、カメラの視点や隠蔽によって変化することができる。
したがって、事前訓練された報酬モデルをローカルタスクに適用するには、そのタスクがどのように観察されるかを説明する必要がある。
我々は,タスク進行をスカラー報酬信号として表現するロボット報酬モデルのための幾何条件適応フレームワークであるAnyviewMeterを紹介する。
レイコンディショニングは、カメラ幾何学を視覚的特徴や注意クエリ、キーに取り入れ、ブロックアテンションは、事前訓練されたデコーダ内の同期ビューを融合させる。
このフレームワークは、事前訓練されたロビオメーターモデルのパラメータ効率適応により、単視点報酬予測と共同多視点評価の両方をサポートする。
PickCubeでは、カメラ群ごとの進捗予測を改善し、RGBファインチューニングと比較して平均絶対誤差を約21%削減する。
シミュレーション操作タスク全体では、統合マルチビュー予測は、平均的な単一ビューRGB予測と比較して、進捗誤差を41~69%削減し、タスクカメラ群の約88%で時間順序を改善する。
固定カメラと手首カメラの実際のタスクでは、絶対誤差は平均的なRGB微調整と比較して約21%減少する。
これらの結果は、タスク固有のロボット報酬適応の有用な構成要素として、カメラ幾何学と共同視覚的証拠を支持する。
関連論文リスト
- DECOWAM: Decoupled Whole-Body World-Action Model for Legged Mobile Manipulation [9.154987050049268]
DeCOWAMは、カメラのエゴモーションをベースアクションとアームアクションとを分離する全身世界アクションモデルである。
固定されたリプレイプロトコルでは、DECWAMはFastWAM上での将来のビデオとアクションの予測を改善し、25.95Mのトレーニング可能な適応パラメータでアクションMSEを21.7%削減した。
これらの結果から,運動視点下でのパラメータ効率のよい共同視覚予測と全身制御を支援することが示唆された。
論文 参考訳(メタデータ) (2026-08-20T14:44:11Z) - RayViT: Ray-Conditioned Visual Representations for Viewpoint-Robust Imitation Learning [59.07474327224552]
我々は、カメラ幾何学を予め訓練されたViTバックボーンに注入する軽量アーキテクチャである、bf RobotextRay-conditioned Vision Transformer(RayViT)を提案する。
RayViTはカメラ幾何学をチャンカー線地図として表現し、それを線特徴に修正し、ゲートクロスアテンションを使用して線条件のクラストークンを生成する。
sim-とreal-robotタスクの実験では、RayViTはカメラの摂動下で約13パーセントのロバスト性を改善することが示されている。
論文 参考訳(メタデータ) (2026-07-31T16:56:33Z) - UniviewVLA: A Unified Multiview Vision-Language-Action Model with World Modeling [33.6086006552446]
ワールド・モデリングを用いたマルチビュー・ビジョン・ランゲージ・アクション・モデルであるUniviewVLAを提案する。
生成されたマルチビューの将来のビューを活用することで、UniviewVLAは隠蔽されたキューと将来のシーンの進化をモデル化する。
UniviewVLA は LIBERO で95.8%、CALVIN ABCD to D で4.60を達成している。
論文 参考訳(メタデータ) (2026-06-19T14:53:40Z) - SWEET: Sparse World Modeling with Image Editing for Embodied Task Execution [61.612676324369595]
画像編集モデルがロボット操作のための疎視世界モデルとして機能するかどうかを考察する。
本稿では,一括予測型視覚計画フレームワークSWEETを提案する。
DROIDとRoboMimicの実験では、SWEETは見知らぬシーンの予測を改善している。
論文 参考訳(メタデータ) (2026-05-19T03:54:46Z) - From Rays to Projections: Better Inputs for Feed-Forward View Synthesis [26.130973137744018]
フィードフォワードビュー合成モデルは、最小3次元誘導バイアスを持つ単一のパスで新しいビューを予測する。
既存の作業はカメラをシャーカー線マップとしてエンコードし、予測を任意の世界座標ゲージに結び付け、小さなカメラ変換に敏感にする。
本稿では,プロジェクティブ・コンディショニングを提案する。プロジェクティブ・コンディショニングは,プロジェクティブ・コンディショニングのパラメータを,安定な2次元入力を提供するターゲットビュー・プロジェクティブ・キューに置き換える。
論文 参考訳(メタデータ) (2026-01-08T17:03:44Z) - One Diffusion to Generate Them All [54.82732533013014]
OneDiffusionは双方向画像合成と理解をサポートする汎用的で大規模な拡散モデルである。
テキスト、深さ、ポーズ、レイアウト、セマンティックマップなどの入力から条件生成を可能にする。
OneDiffusionは、シーケンシャルな画像入力を使用して、マルチビュー生成、カメラポーズ推定、即時パーソナライズを可能にする。
論文 参考訳(メタデータ) (2024-11-25T12:11:05Z) - What Makes Pre-Trained Visual Representations Successful for Robust
Manipulation? [57.92924256181857]
照明やシーンテクスチャの微妙な変化の下では,操作や制御作業のために設計された視覚表現が必ずしも一般化されないことがわかった。
創発的セグメンテーション能力は,ViTモデルにおける分布外一般化の強い予測因子であることがわかった。
論文 参考訳(メタデータ) (2023-11-03T18:09:08Z) - A Control-Centric Benchmark for Video Prediction [69.22614362800692]
本稿では,アクション条件付きビデオ予測のベンチマークを,制御ベンチマークの形式で提案する。
私たちのベンチマークには、11のタスクカテゴリと310のタスクインスタンス定義を備えたシミュレーション環境が含まれています。
次に、ベンチマークを活用して、スケールするモデルサイズ、トレーニングデータの量、モデルアンサンブルの影響を調査します。
論文 参考訳(メタデータ) (2023-04-26T17:59:45Z) - Decoupled Appearance and Motion Learning for Efficient Anomaly Detection
in Surveillance Video [9.80717374118619]
我々は、純粋に教師なしの方法で正常な振る舞いを学習する新しいニューラルネットワークアーキテクチャを提案する。
我々のモデルは、関連するアプローチの16倍から45倍のフレームを毎秒処理できる。
論文 参考訳(メタデータ) (2020-11-10T11:40:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。