論文の概要: RawVLA: Embodied Neural Image Signal Processor For Robotic Manipulation
- arxiv url: http://arxiv.org/abs/2609.37530v1
- Date: Tue, 29 Sep 2026 13:16:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-30 21:28:47.53791
- Title: RawVLA: Embodied Neural Image Signal Processor For Robotic Manipulation
- Title(参考訳): ロボットマニピュレーションのためのニューラルネットワークプロセッサRawVLA
- Abstract要約: ビジョン言語アクション(VLA)モデルは通常、固定カメライメージ信号プロセッサ(ISP)によって生成されたRGBイメージで動作する。
RAW-to-RGB処理は動作予測と操作成功の両方を現実的に形作ることを示す。
本稿では、凍結VLAポリシーに対するRAW観測を適応的にレンダリングするストリーミングニューラルISPであるRawVLAを紹介する。
- 参考スコア(独自算出の注目度): 29.026187404310548
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language-action (VLA) models typically operate on RGB images produced by a fixed camera image signal processor (ISP), leaving the imaging pipeline outside the learning and evaluation loop. We systematically examine the consequences of this overlooked design choice across five fundamental ISP dimensions: gain, sensor noise, chromatic response, tonal response, and bit depth. Our analysis reveals that RAW-to-RGB processing materially shapes both action prediction and manipulation success, with different ISP dimensions exerting substantially different effects. Guided by these findings, we introduce RawVLA, a streaming neural ISP that adaptively renders RAW observations for frozen VLA policies while concentrating its capacity on the imaging factors relevant to embodied behavior. We further present RawVLA-Bench, a RAW-domain manipulation benchmark to expose image processing as an explicit evaluation variable across clean and adverse acquisition conditions. Experiments on RawVLA-Bench show that RawVLA preserves performance under standard conditions while substantially improving robustness under degraded imaging, establishing adaptive RAW processing as an effective interface between physical cameras and embodied policies.
- Abstract(参考訳): ビジョン言語アクション(VLA)モデルは通常、固定カメライメージ信号プロセッサ(ISP)によって生成されたRGBイメージで動作し、画像パイプラインを学習と評価ループの外に残す。
我々は、この見過ごされた設計選択の結果を、ゲイン、センサノイズ、色応答、トーン応答、ビット深さの5つの基本的なISP次元で体系的に検討した。
分析の結果,RAW-to-RGB処理は動作予測と操作成功の両方を実質的に形作っていることがわかった。
これらの知見に導かれたRawVLAは、凍結VLAポリシーに対するRAW観測を適応的にレンダリングするストリーミングニューラルネットワークISPである。
さらに、RawVLA-BenchはRAWドメインのベンチマークで、画像処理をクリーンかつ有害な取得条件における明示的な評価変数として公開する。
RawVLA-Benchの実験では、RawVLAは標準条件下での性能を維持しつつ、劣化画像下での堅牢性を大幅に向上し、物理カメラと実装ポリシーの効果的なインターフェースとして適応RAW処理を確立している。
関連論文リスト
- Dark-ISP: Enhancing RAW Image Processing for Low-Light Object Detection [22.292648672901066]
低照度オブジェクト検出は、多くの現実世界のアプリケーションにとって重要であるが、画質が劣化しているため、依然として困難である。
そこで我々は,暗黒環境下で直接Baier RAW画像を処理できる,軽量で自己適応的な画像信号処理(ISP)プラグインであるDark-ISPを提案する。
提案手法は最先端のRGBおよびRAWに基づく検出手法より優れており、低照度環境への挑戦において最小限のパラメータで優れた結果が得られる。
論文 参考訳(メタデータ) (2025-09-11T06:44:43Z) - Beyond RGB: Adaptive Parallel Processing for RAW Object Detection [5.36869872375791]
Raw Adaptation Module (RAM)は、従来の画像信号処理(ISP)を置き換えるために設計されたモジュールである。
提案手法はRGBに基づく手法より優れており,様々なRAW画像データセットにまたがって最先端の結果が得られる。
論文 参考訳(メタデータ) (2025-03-17T13:36:49Z) - Retinex-RAWMamba: Bridging Demosaicing and Denoising for Low-Light RAW Image Enhancement [71.13353154514418]
低照度画像の強化、特に生ドメインからsRGBドメインへのマッピングのようなクロスドメインタスクは、依然として大きな課題である。
RAWMambaと呼ばれる低照度RAW画像用にカスタマイズされた新しいMambaベースの手法を提案する。
低照度RAW画像の高精細化を図り、復調を施すことにより、高精細化を実現する。
論文 参考訳(メタデータ) (2024-09-11T06:12:03Z) - A Learnable Color Correction Matrix for RAW Reconstruction [19.394856071610604]
複雑な逆画像信号処理装置(ISP)を近似する学習可能な色補正行列(CCM)を導入する。
実験結果から,本手法で生成したRAW(simRAW)画像は,より複雑な逆ISP法で生成した画像と同等の性能向上が得られた。
論文 参考訳(メタデータ) (2024-09-04T07:46:42Z) - Reversed Image Signal Processing and RAW Reconstruction. AIM 2022
Challenge Report [109.2135194765743]
本稿では,AIM 2022 Challenge on Reversed Image Signal Processing and RAW Reconstructionを紹介する。
我々は,メタデータを使わずにRGBから生のセンサイメージを回収し,ISP変換を「逆」することを目的としている。
論文 参考訳(メタデータ) (2022-10-20T10:43:53Z) - Towards Low Light Enhancement with RAW Images [101.35754364753409]
我々は、低光強度でRAW画像を使用することの優位性について、最初のベンチマークを行う。
本研究では,RAW画像の特性を計測可能な因子に分解するFEM(Facterized Enhancement Model)を新たに開発した。
実アプリケーションにおけるRAW画像の利点と利用不可のトレードオフを生かしたREENet(RAW-guiding Exposure Enhancement Network)を開発した。
論文 参考訳(メタデータ) (2021-12-28T07:27:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。