論文の概要: Are Prompt Optimizers Blind? Cross-Modal Visual Feedback for Automatic Prompt Optimization
- arxiv url: http://arxiv.org/abs/2607.24354v1
- Date: Mon, 27 Jul 2026 12:31:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.417818
- Title: Are Prompt Optimizers Blind? Cross-Modal Visual Feedback for Automatic Prompt Optimization
- Title（参考訳）: Promptオプティマイザは盲目か? 自動Promptオプティマイザのためのクロスプラットフォームビジュアルフィードバック
- Abstract要約: CMVF(Cross-Modal Visual Feedback)を紹介する。
CMVFは,(1)より強力なVLMが予測やラベルにアクセスせずに各失敗画像を検査する視覚診断段階と,(2)これらの観察結果を再利用可能なタスクレベルの視覚盲点パターンに圧縮する誤り認識集約段階とを包含する。
CMVFは、各目標において最強のベースラインを平均2.4ポイント改善し、各ベンチマークで最大6.5ポイント向上している。
- 参考スコア（独自算出の注目度）: 59.164665622252016
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Automatic prompt optimization (APO) has been widely adopted to adapt vision-language models (VLMs) to downstream tasks without weight updates, yielding promising results. However, on multimodal tasks, the effectiveness of APO is fundamentally bottlenecked by a blind feedback channel: the optimizer reads the question, the prediction, and the gold answer, but never the input image on which the model failed, and therefore cannot diagnose visually grounded errors. As a remedy, we introduce Cross-Modal Visual Feedback (CMVF). CMVF incorporates (1) a failure-conditioned visual diagnosis stage, in which a stronger optimizer VLM inspects each failed image without access to predictions or labels, and (2) an error-aware aggregation stage that compresses these observations into reusable, task-level visual blind-spot patterns that drive the prompt rewrite. Crucially, the image is consumed only during optimization; the deployed artifact is an ordinary text prompt that runs at the same inference cost as any text-only baseline. Extensive results across 12 VQA datasets and 4 target VLMs demonstrate that CMVF consistently ranks first, improving over the strongest baseline on every target by 2.4 points on average, with gains of up to 6.5 points on individual benchmarks. Moreover, the optimizer self-organizes into expert-style visual checklists that transfer across models without re-optimization.
- Abstract（参考訳）: 自動プロンプト最適化(APO)は、ウェイト更新なしで下流タスクに視覚言語モデル(VLM)を適用するために広く採用されており、有望な結果が得られる。
しかし、マルチモーダルタスクでは、APOの有効性は基本的に盲点フィードバックチャネルによってボトルネック化され、オプティマイザは質問、予測、そして金の答えを読み取るが、モデルが失敗した入力画像は読めないため、視覚的に根拠付けられた誤りを診断することはできない。
対策として、Cross-Modal Visual Feedback (CMVF)を紹介する。
CMVF は,(1) 故障条件付き視覚診断段階と,(VLM) より強力なオプティマイザ(VLM) が予測やラベルにアクセスせずに各失敗画像を検査する段階と,(2) それらの観察結果を再利用可能なタスクレベルの視覚盲点パターンに圧縮し,即時書き直しを促進する段階とを備えている。
配置されたアーティファクトは通常のテキストプロンプトで、テキストのみのベースラインと同じ推論コストで実行される。
12のVQAデータセットと4つのターゲットVLMの広範な結果から、CMVFが常に上位にランクされ、各目標において最強のベースラインを平均2.4ポイント改善し、個々のベンチマークで最大6.5ポイント向上したことが示されている。
さらに、オプティマイザは、再最適化せずにモデル間で転送されるエキスパートスタイルのビジュアルチェックリストに自己組織化される。
関連論文リスト
- P$^2$-DPO: Grounding Hallucination in Perceptual Processing via Calibration Direct Preference Optimization [55.74731799669337]
幻覚は近年、LVLM(Large Vision-Language Models)において大きな研究の注目を集めている。
直接選好最適化(DPO)は、人間が提供した修正選好から直接学習することを目的としている。
既存の選好ペアは視覚に依存しないことが多く、その本質的に非政治的な性質は、モデル学習を導く上での有効性を制限している。
本稿では、モデルが独自の選好ペアから生成し学習する新しい訓練パラダイムである知覚処理直接選好最適化(P$2$-DPO)を提案する。
論文 参考訳（メタデータ） (2026-06-02T09:22:53Z) - Geometry-Aware Uncertainty Coresets for Robust Visual In-Context Learning in Histopathology [8.2867621159451]
GAUCは,事前学習されたマルチモーダル埋め込み空間で直接動作する,トレーニング不要なコアセット選択法である。
CRC-100K と MHIST が複数のオープンソース VLM アーキテクチャにまたがっている場合、GAUC は精度、キャリブレーション、高速な勾配ロバスト性を改善している。
論文 参考訳（メタデータ） (2026-05-18T13:54:04Z) - Fix Before Search: Benchmarking Agentic Query Visual Pre-processing in Multimodal Retrieval-augmented Generation [47.96044455071274]
V-QPP-Benchは、Visual Queryの事前処理に特化した最初のベンチマークである。
視覚障害は、検索リコールとエンド・ツー・エンドのMRAGパフォーマンスの両方を著しく低下させる。
市販のMLLMは、特別な訓練を受けずにツールの選択とパラメータ予測に苦労する。
教師付き微調整により、コンパクトモデルはより大きなプロプライエタリモデルと同等または優れた性能を達成できる。
論文 参考訳（メタデータ） (2026-02-13T18:39:48Z) - ReViP: Reducing False Completion in Vision-Language-Action Models with Vision-Proprioception Rebalance [50.05984919728878]
本稿では、視覚的接地と摂動下での堅牢性を高めるために、視覚-受容器リバランスを備えた新しいVLAフレームワークReViPを提案する。
具体的には、タスクステージオブザーバとして外部VLMを使用して、視覚的な観察からリアルタイムなタスク中心の視覚的手がかりを抽出する。
本稿では,オブジェクトドロップのような制御された設定を持つLIBERO上に構築された最初のFalse-Completion Benchmark Suiteを提案する。
論文 参考訳（メタデータ） (2026-01-23T11:31:07Z) - Aligning Text, Code, and Vision: A Multi-Objective Reinforcement Learning Framework for Text-to-Visualization [50.13408999553116]
テキスト2Vis生成のための最初の強化学習フレームワークであるRL-Text2Visを提案する。
本手法では,テキストの精度,コードの有効性,可視化品質を共同で最適化する新しい多目的報酬を用いている。
その結果,GRPOは可視化生成における構造的マルチモーダル推論の効果的な戦略として確立された。
論文 参考訳（メタデータ） (2026-01-08T04:29:07Z) - Input-Adaptive Visual Preprocessing for Efficient Fast Vision-Language Model Inference [2.8292841621378844]
本稿では,画像コンテンツ特性に基づいて,入力解像度と空間範囲を適応的に調整する視覚前処理手法を提案する。
提案手法は、コンテンツ認識画像解析、適応解像度選択、およびコンテンツ認識トリミングを組み合わせることで、視覚符号化前の視覚的冗長性を低減する。
実験結果から,適応的前処理は画像毎の推測時間を50%以上削減し,視覚トークン数の55%以上を連続的に減少させることがわかった。
論文 参考訳（メタデータ） (2025-12-23T23:30:56Z) - AdaptVision: Efficient Vision-Language Models via Adaptive Visual Acquisition [21.989922235835067]
AdaptVisionは、粗いアプローチによる適応的な視覚トークン取得を可能にする効率的なVLMパラダイムである。
本稿では,AdaptVisionが最先端のVLM手法よりもはるかに少ない視覚トークンを消費し,優れた性能を実現することを示す。
論文 参考訳（メタデータ） (2025-12-03T13:43:30Z) - Doubly Debiased Test-Time Prompt Tuning for Vision-Language Models [43.35073848153914]
視覚言語モデルに対するテスト時プロンプトチューニングは、ゼロショット設定下での素晴らしい一般化機能を示している。
我々は、モデルとデータの観点から、迅速な最適化バイアスの根底にある原因を分析する。
論文 参考訳（メタデータ） (2025-11-12T09:35:31Z) - Enhancing Visual-Language Modality Alignment in Large Vision Language Models via Self-Improvement [102.22911097049953]
大規模視覚言語モデル(LVLM)は、視覚的質問応答および推論タスクにおいて印象的な結果を得た。
既存の手法は、しばしば外部モデルやデータに依存し、制御不能で不安定なアライメント結果をもたらす。
本稿では,外部依存を伴わない視覚的・言語的モダリティアライメントを向上させる自己改善フレームワークSIMAを提案する。
論文 参考訳（メタデータ） (2024-05-24T23:09:27Z) - Vision-Flan: Scaling Human-Labeled Tasks in Visual Instruction Tuning [53.93074108238167]
現在までに最も多種多様なビジュアル・インストラクション・チューニング・データセットであるVision-Flanを構築している。
本稿では、VLMをVision-Flan上で微調整し、さらにGPT-4合成データに基づいて調整する2段階の命令チューニングフレームワークを提案する。
この2段階のチューニングフレームワークは、従来の1段階の視覚的チューニングフレームワークよりも大幅に優れています。
論文 参考訳（メタデータ） (2024-02-18T19:38:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。