論文の概要: Allegory of the Cave: Measurement-Grounded Vision-Language Learning

• arxiv url: http://arxiv.org/abs/2605.11727v1
• Date: Tue, 12 May 2026 08:09:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.697425
• Title: Allegory of the Cave: Measurement-Grounded Vision-Language Learning
• Title（参考訳）: ケーブのアレゴリー:実測による視覚言語学習
• Authors: Kepeng Xu, Li Xu, Gang He, Wenxin Yu,
• Abstract要約: 基礎となるカメラ計測に近づいたときの接地効果について検討した。 PRISM-VLとして,測位型視覚言語学習を定式化し,インスタンス化する。 PRISM-VL-8B は 0.6120 BLEU, 0.4571 ROUGE-L, 82.66% LLM-Judge に到達し、RGB Qwen3-VL-8B ベースラインを +0.1074 BLEU, +0.1071 ROUGE-L, +4.46 ポイント改善した。
• 参考スコア（独自算出の注目度）: 10.9958900639469
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models typically reason over post-ISP RGB images, although RGB rendering can clip, suppress, or quantize sensor evidence before inference. We study whether grounding improves when the visual interface is moved closer to the underlying camera measurement. We formulate measurement-grounded vision-language learning and instantiate it as PRISM-VL, which combines RAW-derived Meas.-XYZ inputs, camera-conditioned grounding, and Exposure-Bracketed Supervision Aggregation for transferring supervision from RGB proxies to measurement-domain observations. Using a quality-controlled 150K instruction-tuning set and a held-out benchmark targeting low-light, HDR, visibility-sensitive, and hallucination-sensitive cases, PRISM-VL-8B reaches 0.6120 BLEU, 0.4571 ROUGE-L, and 82.66\% LLM-Judge accuracy, improving over the RGB Qwen3-VL-8B baseline by +0.1074 BLEU, +0.1071 ROUGE-L, and +4.46 percentage points. These results suggest that part of VLM grounding error arises from information lost during RGB rendering, and that preserving measurement-domain evidence can improve multimodal reasoning.
• Abstract（参考訳）: ビジョン言語モデルは、通常、ISP以降のRGB画像よりも引き起こされるが、RGBレンダリングは推論の前にセンサーのエビデンスをクリップしたり、抑制したり、定量化することができる。 基礎となるカメラ計測に近づいたときの接地効果について検討した。 我々は,RAWから派生したミースを組み合わせた測位型視覚言語学習を定式化し,PRISM-VLとしてインスタンス化する。 -XYZ入力、カメラコンディショニング、露光ブラケットスーパービジョン・アグリゲーションにより、RGBプロキシから測定領域の観測へ監督を移す。 品質制御された150K命令チューニングセットと、低照度、HDR、可視性、幻覚感度のケースをターゲットにしたホールトアウトベンチマークを使用して、PRISM-VL-8Bは0.6120 BLEU、0.4571 ROUGE-L、82.66\% LLM-Judge精度に達し、RGB Qwen3-VL-8Bベースラインを+0.1074 BLEU、+0.1071 ROUGE-L、+4.46 %向上した。 これらの結果から,VLMの接地誤差の一部は,RGBレンダリング中に失われた情報から生じ,測定領域の証拠を保存することで,マルチモーダル推論を改善することが示唆された。

関連論文リスト

• DUALVISION: RGB-Infrared Multimodal Large Language Models for Robust Visual Reasoning [9.159590863386706]
  マルチモーダル大言語モデル(MLLM)は、RGB画像を用いた視覚知覚と推論タスクにおいて、優れた性能を達成している。 霧、ぼやけ、低照度などの一般的な劣化下では壊れやすい。 パッチレベルのローカライズド・クロスアテンションにより、IR-RGB情報をMLLMに効率的に組み込む軽量融合モジュールであるVISIONを提案する。
  論文  参考訳（メタデータ） (2026-04-20T20:51:39Z)
• Towards RAW Object Detection in Diverse Conditions [65.30190654593842]
  62のカテゴリにまたがる135,601のアノテーション付きインスタンスを備えた7,785の高分解能実RAW画像を提供するAODRawデータセットを紹介した。 sRGB と RAW の領域ギャップにより RAW オブジェクト検出の可能性は sRGB と RAW との事前学習によって制限されることがわかった。 我々は,RAW事前学習を支援するために,SRGBドメインで事前学習した市販のモデルから知識を抽出する。
  論文  参考訳（メタデータ） (2024-11-24T01:23:04Z)
• HalluciDet: Hallucinating RGB Modality for Person Detection Through Privileged Information [12.376615603048279]
  HalluciDetは、オブジェクト検出のためのIR-RGB画像変換モデルである。 我々は、画像翻訳とIRの微調整のための最先端手法に対する我々のアプローチを実証的に比較した。
  論文  参考訳（メタデータ） (2023-10-07T03:00:33Z)
• RGB-based Category-level Object Pose Estimation via Decoupled Metric Scale Recovery [72.13154206106259]
  本研究では、6次元のポーズとサイズ推定を分離し、不完全なスケールが剛性変換に与える影響を緩和するパイプラインを提案する。 具体的には,事前学習した単分子推定器を用いて局所的な幾何学的情報を抽出する。 別個のブランチは、カテゴリレベルの統計に基づいてオブジェクトのメートル法スケールを直接復元するように設計されている。
  論文  参考訳（メタデータ） (2023-09-19T02:20:26Z)
• Translation, Scale and Rotation: Cross-Modal Alignment Meets RGB-Infrared Vehicle Detection [10.460296317901662]
  空中RGB-IR画像における検出は, クロスモーダルな不整合問題に悩まされている。 本稿では,TSRA (Translation-Scale-Rotation Alignment) モジュールを提案する。 TSRAモジュールに基づく2ストリーム特徴アライメント検出器(TSFADet)は、空中画像におけるRGB-IRオブジェクト検出のために構築されている。
  論文  参考訳（メタデータ） (2022-09-28T03:06:18Z)
• Boosting RGB-D Saliency Detection by Leveraging Unlabeled RGB Images [89.81919625224103]
  RGB-D Salient Object Detection (SOD) のための深層モデルの訓練は、しばしば多数のラベル付きRGB-D画像を必要とする。 本稿では、ラベルのないRGB画像を活用するために、Dual-Semi RGB-D Salient Object Detection Network (DS-Net)を提案する。
  論文  参考訳（メタデータ） (2022-01-01T03:02:27Z)
• Learning RAW-to-sRGB Mappings with Inaccurately Aligned Supervision [76.41657124981549]
  本稿では,画像アライメントとRAW-to-sRGBマッピングのための共同学習モデルを提案する。 実験の結果,本手法はZRRおよびSR-RAWデータセットの最先端に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2021-08-18T12:41:36Z)
• Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild [48.44194221801609]
  この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。 我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。 提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
  論文  参考訳（メタデータ） (2021-08-15T05:19:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。