論文の概要: Retrieved Images as Visual Thought: Training-Free Multimodal In-Context Learning for the Open-vs-Closed Gap
- arxiv url: http://arxiv.org/abs/2607.00606v1
- Date: Wed, 01 Jul 2026 08:31:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-02 19:56:07.809266
- Title: Retrieved Images as Visual Thought: Training-Free Multimodal In-Context Learning for the Open-vs-Closed Gap
- Title（参考訳）: 視覚的思考としての検索画像:オープンvsクローズドギャップのための学習自由なマルチモーダルインコンテキスト学習
- Abstract要約: ReVisITは、検索した画像とラベルのペアを視覚的思考の単位として扱う、トレインフリーのフレームワークである。
VL-ICL Bench Fast Open MiniImageNetでは、ReVisITのQwen3-VL-30B-A3Bは4ショットで98.5%に達し、約1/2.4のパラメータで、72B LLaVA-VisionOne SOTA (98.7%)と統計的に区別できない。
- 参考スコア（独自算出の注目度）: 6.097306160389619
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent work on Thinking with Images makes vision a dynamic part of reasoning, but does so through generation: the model invokes external tools, synthesizes code, or imagines new imagery, each at the cost of a tool protocol, brittle code, or an expensive training pipeline. A fourth route makes vision dynamic without generating anything, by retrieving labeled exemplar images and reasoning over them, yet it remains underexplored despite being train-free. We present ReVisIT, a train-free framework that realizes this retrieval-based route by treating each retrieved image-label pair as a unit of visual thought. ReVisIT combines structured class definitions, per-query multimodal retrieval of exemplars, and alternating user/assistant injection of those exemplars before joint multi-attribute decoding, and degrades gracefully to whichever components a task admits. On VL-ICL Bench Fast Open MiniImageNet, Qwen3-VL-30B-A3B with ReVisIT reaches 98.5% at 4-shot, statistically indistinguishable from the 72B LLaVA-OneVision SOTA (98.7%) on this near-saturated task at about 1/2.4 the parameters, while the same backbone without the scaffold sits at chance. The turns layer alone adds 26.1 points to GPT-4.1 on free-form concept induction (Bongard-OpenWorld), and the full stack yields a 4-6 point macro gain across three backbones on MAAC-Bench, a new license-clean 27-class, 5-attribute benchmark, significant by paired bootstrap on the curator-derived attributes. Component analysis shows that retrieval-plus-turns is the universal lever while structured definitions are need-adaptive, and that 83% of the retrieval gain comes from retrieval quality rather than from the presence of exemplars. MAAC-Bench is released with a rubric-grounded LLM verification protocol that replaces author spot-check on subjective attributes.
- Abstract（参考訳）: モデルは外部ツールを起動し、コードを合成し、新しいイメージを想像する。それぞれがツールプロトコルや脆いコード、高価なトレーニングパイプラインのコストで。
第4の経路は、ラベル付き例の画像を取得してそれらを推論することによって、何も生成せずに視覚を動的にするが、列車のないにもかかわらず探索は過小評価されている。
本稿では,検索した画像とラベルのペアを視覚的思考の単位として扱うことで,この検索に基づく経路を実現する自由列車フレームワークReVisITを提案する。
ReVisITは構造化されたクラス定義、例のクエリごとのマルチモーダル検索、共同マルチ属性のデコードの前にそれらの例のユーザ/アシスト注入を交互に組み合わせ、タスクがどのコンポーネントで許容するかを優雅に分解する。
VL-ICL Bench Fast Open MiniImageNetでは、ReVisITのQwen3-VL-30B-A3Bは4ショットで98.5%に達し、約1/2.4のパラメータでこの近接飽和タスクの72B LLaVA-OneVision SOTA (98.7%)と統計的に区別できない。
ターン層だけでGPT-4.1に26.1ポイントを追加し(Bongard-OpenWorld)、完全なスタックはMAAC-Benchの3つのバックボーンで4-6ポイントのマクロゲインを得る。
成分分析により,構造的定義が要求適応的である一方で,検索+ターンは普遍的なレバーであり,検索ゲインの83%は前例の存在によるものではなく,検索品質によるものであることが示された。
MAAC-Benchは、主観的属性の著者のスポットチェックを置き換えるルーリックグラウンドのLLM検証プロトコルでリリースされた。
関連論文リスト
- Learning to Look Again: Loss-Gap Supervision for Free-form Crop Routing in Vision-Language Models [9.530053392873178]
視覚言語モデル(VLM)は、具体的な理由から多くの詳細中心の質問に失敗する。
より視覚的なトークンをクエリ毎に割り当てることによって、OCRやドキュメントケースが改善されるが、非差別的に費やされ、グローバルなコンテキストに依存するタスクを邪魔する可能性がある。
本稿では,視覚的再読解学習のためのフレームワークであるGapSightを提案する。
論文 参考訳（メタデータ） (2026-08-22T04:10:28Z) - When Generated Images Look Right and Retrieve Wrong: Coverage-Guided Cross-Scale Re-Indexing for Knowledge-Faithful Generative Perception [12.968836079025344]
本稿では,3段階のセマンティックピラミッドを構築するクローズドループマルチモーダルインデックスフレームワークCERESを提案する。
同言語対応ルータを通じて暗黙的な概念をマイニングし、スケールロートなクロスアテンションを軽量なU-Netジェネレータに実行し、生成した画像を同じ凍結VLMで再インデックスすることでカバレッジを検証する。
7つの設定にまたがる4つのパンシャープベンチマークでは、CERESは、スケールの変動が最も極端である最大のゲインを持つ、新しい最先端のアートを提供する。
論文 参考訳（メタデータ） (2026-08-21T07:28:01Z) - TRACE-Bench: Decomposing and Diagnosing Multi-Reference Image Generation [74.69068352546073]
TRACE-Benchは、多様な芸術的スタイルと現実世界の主題にまたがるマルチ参照画像の評価ツールである。
631の定式テンプレートと、様々な芸術様式と現実世界の主題にまたがる約4,000の参照画像で構成されている。
その公式構造は、演算子整合性評価プロトコルを駆動し、可視性スコアリングと診断木解析を行う。
論文 参考訳（メタデータ） (2026-08-17T16:15:50Z) - Ask, Solve, Generate: Self-Evolving Unified Multimodal Understanding and Generation via Self-Consistency Rewards [52.42920996842378]
視覚的理解と画像生成の両方をサポートするほとんどの統合された大型マルチモーダルモデル(LMM)は、訓練後の監督に頼っている。
本稿では,3つの内部的役割を持つ自己進化型トレーニングフレームワークを提案する。 視覚的質問を生成するプロポーラ, 回答と評価を行うソルバ, 画像を生成するジェネレータである。
画像生成のために,質問文の忠実度とサイクル一貫性キャプションを組み合わせたマルチスケール内部評価手法を設計する。
論文 参考訳（メタデータ） (2026-06-25T17:59:57Z) - COVTrack++: Learning Open-Vocabulary Multi-Object Tracking from Continuous Videos via a Synergistic Paradigm [59.26203051651017]
C-TAOはOpen-Vocabulary Multi-Object Tracking (OVMOT)のための最初の連続アノテーション付きトレーニングセットである
フレームワークボトルネックに対するCOVTrack++は,3つのモジュールによる検出とアソシエーションの双方向相互機構を実現するための相乗的フレームワークである。
TAOの実験では、新しいTAAは検証とテストセットで35.4%、30.5%に達し、新しいAssocAは4.8%、新しいLocAは5.8%向上した。
論文 参考訳（メタデータ） (2026-03-25T07:20:27Z) - SimpleOCR: Rendering Visualized Questions to Teach MLLMs to Read [43.28273039987167]
テキストクエリを画像に直接描画するVisualized-Question (VQ) 設定を導入する。
強力なOCR能力を持つにもかかわらず、モデルはVQ設定で最大12.7%の性能低下に悩まされる。
学習プロセスに構造的制約を課すプラグアンドプレイトレーニング戦略であるSimpleOCRを提案する。
論文 参考訳（メタデータ） (2026-02-25T21:36:30Z) - Instance-Level Composed Image Retrieval [34.04479584450632]
i-CIRは、インスタンスレベルのクラス定義に焦点を当てた、新しい評価データセットである。
その設計とキュレーションプロセスは、将来の研究を促進するためにデータセットをコンパクトに保つ。
事前学習された視覚・言語モデル(VLM)を,BASICと呼ばれる学習自由なアプローチで活用する。
論文 参考訳（メタデータ） (2025-10-29T10:57:59Z) - Vision-Free Retrieval: Rethinking Multimodal Search with Textual Scene Descriptions [81.33113485830711]
視覚言語モデルに対して,視覚のない単一エンコーダ検索パイプラインを導入する。
VLLM生成した構造化画像記述の助けを借りてテキストからテキストへ移行する。
提案手法は,複数検索および構成性ベンチマークにおいて,最先端のゼロショット性能を実現する。
論文 参考訳（メタデータ） (2025-09-23T16:22:27Z) - One RL to See Them All: Visual Triple Unified Reinforcement Learning [92.90120580989839]
V-Triuneは、視覚的推論と知覚タスクを1つのトレーニングパイプライン内で実現するビジュアルトリプル統一強化学習システムである。
V-Triuneは3つの補完的なコンポーネントで構成されている: Sample-Level Datashelf (多様なタスク入力を統一する)、Verifier-Level Reward (特殊検証を通じてカスタム報酬を提供する)。
本稿では,V-Triuneが処理する知覚タスクに対して適応的,進行的,明確なフィードバックを提供する,新しい動的IoU報酬を提案する。
論文 参考訳（メタデータ） (2025-05-23T17:41:14Z) - Raising the Bar of AI-generated Image Detection with CLIP [50.345365081177555]
本研究の目的は、AI生成画像の普遍的検出のための事前学習された視覚言語モデル(VLM)の可能性を探ることである。
我々は,CLIP機能に基づく軽量な検出戦略を開発し,その性能を様々な難易度シナリオで検証する。
論文 参考訳（メタデータ） (2023-11-30T21:11:20Z) - ViewFormer: View Set Attention for Multi-view 3D Shape Understanding [7.39435265842079]
マルチビュー3次元形状認識と検索のためのモデルであるViewFormerを提案する。
2つのアテンションブロックと4.8Mの学習可能なパラメータだけで、ViewFormerは初めてModelNet40で98.8%の認識精度を達成した。
難易度の高いRGBDデータセットでは、98.4%の認識精度が達成され、最強のベースラインに対して4.1%の絶対改善が達成された。
論文 参考訳（メタデータ） (2023-04-29T03:58:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。