論文の概要: Allegory of the Cave: Measurement-Grounded Vision-Language Learning

• arxiv url: http://arxiv.org/abs/2605.11727v1
• Date: Tue, 12 May 2026 08:09:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.697425
• Title: Allegory of the Cave: Measurement-Grounded Vision-Language Learning
• Title（参考訳）: ケーブのアレゴリー:実測による視覚言語学習
• Abstract要約: 基礎となるカメラ計測に近づいたときの接地効果について検討した。 PRISM-VLとして,測位型視覚言語学習を定式化し,インスタンス化する。 PRISM-VL-8B は 0.6120 BLEU, 0.4571 ROUGE-L, 82.66% LLM-Judge に到達し、RGB Qwen3-VL-8B ベースラインを +0.1074 BLEU, +0.1071 ROUGE-L, +4.46 ポイント改善した。
• 参考スコア（独自算出の注目度）: 10.9958900639469
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models typically reason over post-ISP RGB images, although RGB rendering can clip, suppress, or quantize sensor evidence before inference. We study whether grounding improves when the visual interface is moved closer to the underlying camera measurement. We formulate measurement-grounded vision-language learning and instantiate it as PRISM-VL, which combines RAW-derived Meas.-XYZ inputs, camera-conditioned grounding, and Exposure-Bracketed Supervision Aggregation for transferring supervision from RGB proxies to measurement-domain observations. Using a quality-controlled 150K instruction-tuning set and a held-out benchmark targeting low-light, HDR, visibility-sensitive, and hallucination-sensitive cases, PRISM-VL-8B reaches 0.6120 BLEU, 0.4571 ROUGE-L, and 82.66\% LLM-Judge accuracy, improving over the RGB Qwen3-VL-8B baseline by +0.1074 BLEU, +0.1071 ROUGE-L, and +4.46 percentage points. These results suggest that part of VLM grounding error arises from information lost during RGB rendering, and that preserving measurement-domain evidence can improve multimodal reasoning.
• Abstract（参考訳）: ビジョン言語モデルは、通常、ISP以降のRGB画像よりも引き起こされるが、RGBレンダリングは推論の前にセンサーのエビデンスをクリップしたり、抑制したり、定量化することができる。 基礎となるカメラ計測に近づいたときの接地効果について検討した。 我々は,RAWから派生したミースを組み合わせた測位型視覚言語学習を定式化し,PRISM-VLとしてインスタンス化する。 -XYZ入力、カメラコンディショニング、露光ブラケットスーパービジョン・アグリゲーションにより、RGBプロキシから測定領域の観測へ監督を移す。 品質制御された150K命令チューニングセットと、低照度、HDR、可視性、幻覚感度のケースをターゲットにしたホールトアウトベンチマークを使用して、PRISM-VL-8Bは0.6120 BLEU、0.4571 ROUGE-L、82.66\% LLM-Judge精度に達し、RGB Qwen3-VL-8Bベースラインを+0.1074 BLEU、+0.1071 ROUGE-L、+4.46 %向上した。 これらの結果から,VLMの接地誤差の一部は,RGBレンダリング中に失われた情報から生じ,測定領域の証拠を保存することで,マルチモーダル推論を改善することが示唆された。

関連論文リスト

• AAMBERS-UAV: Acquisition-Aware Multimodal Backbone Evaluation and Ranking for UAV Weedy Rice Segmentation [1.8712640370276672]
  124イメージの目標獲得テストセットを修正し、2つのプロトコルを同一の列車、検証、テスト数と比較する。 SegFormer-B0 は RGB と 4バンド多重スペクトル (MS) と 7チャネル RGB+MS の2つの固定分割種子を用いて評価した。 固定分割されたU-Net/ResNet18レプリケーションは、3つの入力すべてに対して正の露光ゲインを確認するが、RGBはどちらのプロトコルでも最良のモダリティである。
  論文  参考訳（メタデータ） (2026-09-04T22:54:01Z)
• Toward Robust and 3D-Aware RGB-NIR Imaging in the Dark [68.49637363691325]
  本稿では,RGB-NIR低照度画像に3次元ニューラルモデリングを取り入れた新しい視点を提供する。 強力なモデルは、暗黙的に非常にノイズの多いRGB観測を3次元空間でNIRキューで融合させ、クリーンなRGBイメージを効果的に回収するために最適化することができる。
  論文  参考訳（メタデータ） (2026-07-31T17:59:18Z)
• MonoIR-RS: Infrared Remote Sensing Vision-Language Learning with CLIP and VLM Adaptation [12.037405766509274]
  MonoIR-RSは、大規模な赤外線リモートセンシングビジョン言語データセットである。 IR対応データ構築とCLIPスタイルのコントラスト適応とVLM命令チューニングを結合する。 合成した赤外線画像は、グレースケール変換よりも実際の熱画像に近いことが示される。
  論文  参考訳（メタデータ） (2026-07-07T17:53:58Z)
• Towards UAV Detection in the Real World: A New Multispectral Dataset UAVNet-MS and a New Method [80.50361258830928]
  UAVNet-MSは、微小UAV検出のための最初のマルチスペクトルデータセットである。 本稿では、アレイ誘起パララックスと空間-スペクトル融合に対処するデュアルストリームベースラインであるMFDNetを提案する。 この研究は、基礎的なデータセット、強力なベースライン、マルチスペクトルUAV監視研究のためのベンチマークを提供する。
  論文  参考訳（メタデータ） (2026-05-20T09:49:04Z)
• White-Balance First, Adjust Later: Cross-Camera Color Constancy via Vision-Language Evaluation [37.38870850999494]
  VLM-CCは、反復的な精錬プロセスとして色の一貫性を定式化するフィードバック誘導フレームワークである。 直接RGB推定をVLM誘導の知覚フィードバックに置き換えることで、VLM-CCはクロスカメラカラーの不安定性を実現する。
  論文  参考訳（メタデータ） (2026-05-19T09:53:35Z)
• DUALVISION: RGB-Infrared Multimodal Large Language Models for Robust Visual Reasoning [9.159590863386706]
  マルチモーダル大言語モデル(MLLM)は、RGB画像を用いた視覚知覚と推論タスクにおいて、優れた性能を達成している。 霧、ぼやけ、低照度などの一般的な劣化下では壊れやすい。 パッチレベルのローカライズド・クロスアテンションにより、IR-RGB情報をMLLMに効率的に組み込む軽量融合モジュールであるVISIONを提案する。
  論文  参考訳（メタデータ） (2026-04-20T20:51:39Z)
• Towards RAW Object Detection in Diverse Conditions [65.30190654593842]
  62のカテゴリにまたがる135,601のアノテーション付きインスタンスを備えた7,785の高分解能実RAW画像を提供するAODRawデータセットを紹介した。 sRGB と RAW の領域ギャップにより RAW オブジェクト検出の可能性は sRGB と RAW との事前学習によって制限されることがわかった。 我々は,RAW事前学習を支援するために,SRGBドメインで事前学習した市販のモデルから知識を抽出する。
  論文  参考訳（メタデータ） (2024-11-24T01:23:04Z)
• HalluciDet: Hallucinating RGB Modality for Person Detection Through Privileged Information [12.376615603048279]
  HalluciDetは、オブジェクト検出のためのIR-RGB画像変換モデルである。 我々は、画像翻訳とIRの微調整のための最先端手法に対する我々のアプローチを実証的に比較した。
  論文  参考訳（メタデータ） (2023-10-07T03:00:33Z)
• RGB-based Category-level Object Pose Estimation via Decoupled Metric Scale Recovery [72.13154206106259]
  本研究では、6次元のポーズとサイズ推定を分離し、不完全なスケールが剛性変換に与える影響を緩和するパイプラインを提案する。 具体的には,事前学習した単分子推定器を用いて局所的な幾何学的情報を抽出する。 別個のブランチは、カテゴリレベルの統計に基づいてオブジェクトのメートル法スケールを直接復元するように設計されている。
  論文  参考訳（メタデータ） (2023-09-19T02:20:26Z)
• Translation, Scale and Rotation: Cross-Modal Alignment Meets RGB-Infrared Vehicle Detection [10.460296317901662]
  空中RGB-IR画像における検出は, クロスモーダルな不整合問題に悩まされている。 本稿では,TSRA (Translation-Scale-Rotation Alignment) モジュールを提案する。 TSRAモジュールに基づく2ストリーム特徴アライメント検出器(TSFADet)は、空中画像におけるRGB-IRオブジェクト検出のために構築されている。
  論文  参考訳（メタデータ） (2022-09-28T03:06:18Z)
• Boosting RGB-D Saliency Detection by Leveraging Unlabeled RGB Images [89.81919625224103]
  RGB-D Salient Object Detection (SOD) のための深層モデルの訓練は、しばしば多数のラベル付きRGB-D画像を必要とする。 本稿では、ラベルのないRGB画像を活用するために、Dual-Semi RGB-D Salient Object Detection Network (DS-Net)を提案する。
  論文  参考訳（メタデータ） (2022-01-01T03:02:27Z)
• Learning RAW-to-sRGB Mappings with Inaccurately Aligned Supervision [76.41657124981549]
  本稿では,画像アライメントとRAW-to-sRGBマッピングのための共同学習モデルを提案する。 実験の結果,本手法はZRRおよびSR-RAWデータセットの最先端に対して良好に動作することがわかった。
  論文  参考訳（メタデータ） (2021-08-18T12:41:36Z)
• Semantic-embedded Unsupervised Spectral Reconstruction from Single RGB Images in the Wild [48.44194221801609]
  この課題に対処するため、我々は、新しい軽量でエンドツーエンドの学習ベースのフレームワークを提案する。 我々は、効率的なカメラスペクトル応答関数推定により、検索されたHS画像から入力されたRGB画像と再投影されたRGB画像の差を徐々に広げる。 提案手法は最先端の教師なし手法よりも優れており,いくつかの設定下では最新の教師付き手法よりも優れている。
  論文  参考訳（メタデータ） (2021-08-15T05:19:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。