論文の概要: FiRE: Enhancing MLLMs with Fine-Grained Context Learning for Complex Image Retrieval
- arxiv url: http://arxiv.org/abs/2607.27959v1
- Date: Thu, 30 Jul 2026 10:06:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.504361
- Title: FiRE: Enhancing MLLMs with Fine-Grained Context Learning for Complex Image Retrieval
- Title（参考訳）: Fire: 複雑な画像検索のためのファイングラインドコンテキスト学習によるMLLMの強化
- Authors: Bohan Hou, Haoqiang Lin, Xuemeng Song, Haokun Wen, Meng Liu, Yupeng Hu, Xiangyu Zhao,
- Abstract要約: 本稿では, 細粒度マルチモーダル・クインタプル・データセット構築パイプラインと, 細粒度マルチモーダル・ファインタニング・ストラテジーを提案する。
提案手法では, 微調整過程を, 1) 微粒なコンテキスト推論指向の微調整, (2) 微粒な検索指向の微調整の2段階に分けている。
- 参考スコア（独自算出の注目度）: 39.372170257570595
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Due to their strong generalizable multimodal processing and reasoning capabilities, Multimodal Large Language Models (MLLMs) have demonstrated significant potential as universal image retrievers, effectively addressing diverse real-world image retrieval tasks. Nevertheless, pioneering studies, while promising, overlook the potential of fine-grained context modeling and disentangled fine-tuning objectives in enhancing MLLMs' retrieval performance, particularly for complex tasks such as long-text-to-image retrieval, visual dialog retrieval, and composed image retrieval (CIR). Therefore, in this work, we propose an automated fine-grained multimodal quintuple dataset construction pipeline and a novel two-stage fine-grained multimodal fine-tuning strategy. The dataset generation pipeline produces a comprehensive CIR dataset with fine-grained image captions and modification text, facilitating fine-grained context modeling. Beyond the previously entangled fine-tuning paradigm, our approach separates the fine-tuning process into two distinct stages: (1) fine-grained context reasoning-oriented fine-tuning and (2) fine-grained retrieval-oriented fine-tuning. These stages aim to sequentially enhance the model's context understanding and query-target alignment capabilities, thereby improving retrieval performance. Extensive experiments across five datasets encompassing diverse and complex image retrieval tasks demonstrate the remarkable superiority of our method over existing approaches in zero-shot retrieval settings, even with a more lightweight MLLM backbone compared to those methods.
- Abstract（参考訳）: マルチモーダル大規模言語モデル (MLLM) は, 強力な一般化可能なマルチモーダル処理と推論能力により, 多様な実世界の画像検索タスクに効果的に対処し, 普遍的な画像検索機能として有意義な可能性を証明している。
それにもかかわらず、先駆的な研究は、特に長文対画像検索、ビジュアルダイアログ検索、合成画像検索(CIR)といった複雑なタスクにおいて、MLLMの検索性能を高めるための微粒なコンテキストモデリングと微粒化目標の可能性を無視した。
そこで本研究では,自動化された細粒度マルチモーダル・クインタプル・データセット構築パイプラインと,新しい2段階の細粒度マルチモーダル・ファインタニング戦略を提案する。
データセット生成パイプラインは、きめ細かい画像キャプションと修正テキストを備えた包括的なCIRデータセットを生成し、きめ細かいコンテキストモデリングを容易にする。
従来の細調整パラダイムの他に, 細調整プロセスは, 1) きめ細かいコンテキスト推論指向の微調整, (2) きめ細かい検索指向の微調整の2段階に分けている。
これらの段階は、モデルのコンテキスト理解とクエリターゲットアライメント能力を逐次強化し、検索性能を向上させることを目的としている。
多様な複雑な画像検索タスクを含む5つのデータセットにわたる大規模な実験は、従来のゼロショット検索設定に比べて、より軽量なMLLMバックボーンであっても、従来の手法よりもはるかに優れていることを示す。
関連論文リスト
- Exploring a Unified Vision-Centric Contrastive Alternatives on Multi-Modal Web Documents [99.62178668680578]
本稿では,単一の視覚変換器を用いてテキスト,画像,それらの組み合わせをモデル化する統合フレームワークであるビジョン中心コントラスト学習(VC2L)を提案する。
VC2Lは完全にピクセル空間で動作し、テキスト、ビジュアル、または組み合わせのいずれでも、すべての入力を画像として描画する。
ウェブ文書における複雑なクロスモーダル関係を捉えるため、VC2Lは連続するマルチモーダルセグメントを整列するスニペットレベルのコントラスト学習目標を採用している。
論文 参考訳（メタデータ） (2025-10-21T14:59:29Z) - Generalized Contrastive Learning for Universal Multimodal Retrieval [53.70202081784898]
クロスモーダル検索モデル(例えばCLIP)は、融合した画像テキストのモダリティからなるキーを検索することで、劣化したパフォーマンスを示す。
本稿では,新たなデータセットキュレーションを必要とせずに,マルチモーダル検索性能を向上させる新しい損失定式化である汎用コントラスト学習(GCL)を提案する。
論文 参考訳（メタデータ） (2025-09-30T01:25:04Z) - From Easy to Hard: The MIR Benchmark for Progressive Interleaved Multi-Image Reasoning [27.117102717184597]
Multi-image Interleaved Reasoningは、複数の画像とその関連するテキストコンテキストを共同で理解し、推論するマルチモーダル大言語モデル(MLLM)の能力を改善することを目的としている。
MIRは、画像領域と対応するテキストを正確に関連付けるために、インターリーブされたテキストコンテキストを伴う複数の画像に対する共同推論を必要とする。
提案手法は, MIRベンチマークおよび他の確立されたベンチマークにおいて, モデル推論性能を著しく向上させる。
論文 参考訳（メタデータ） (2025-09-21T11:19:02Z) - Recurrence Meets Transformers for Universal Multimodal Retrieval [59.92546492752452]
ReT-2は画像とテキストの両方からなるマルチモーダルクエリをサポートする統合検索モデルである。
検索構成の異なるM2KRとM-BEIRのベンチマークでReT-2を評価する。
検索強化された生成パイプラインに統合されると、ReT-2はEncyclopedic-VQAとInfoSeekデータセットのダウンストリームのパフォーマンスも向上する。
論文 参考訳（メタデータ） (2025-09-10T18:00:29Z) - IDMR: Towards Instance-Driven Precise Visual Correspondence in Multimodal Retrieval [29.05476868272228]
インスタンス駆動型マルチモーダル画像検索(IDMR)は、テキスト記述シナリオにマッチしながら、クエリイメージと同じインスタンスを含む画像を取得するモデルを必要とする、新しいタスクである。
この能力をベンチマークするために,実世界の物体追跡と一対一のビデオデータを用いたIDMRベンチを開発した。
我々のMultimodal Large Language Model(MLLM)に基づく検索モデルは、1.2Mサンプルに基づいて訓練され、従来のベンチマークとゼロショットIDMRベンチの両方で最先端のアプローチより優れている。
論文 参考訳（メタデータ） (2025-04-01T16:47:20Z) - ImageScope: Unifying Language-Guided Image Retrieval via Large Multimodal Model Collective Reasoning [62.61187785810336]
ImageScopeは、トレーニング不要で3段階のフレームワークで、言語誘導の画像検索タスクを統合する。
最初の段階では,様々な意味的粒度のレベルにまたがって探索意図を合成することにより,フレームワークの堅牢性を向上させる。
第2段階と第3段階において、述語命題を局所的に検証し、一括評価を行うことにより、検索結果を反映する。
論文 参考訳（メタデータ） (2025-03-13T08:43:24Z) - Benchmarking Retrieval-Augmented Generation in Multi-Modal Contexts [56.7225771305861]
本稿では,マルチモーダル大規模言語モデルの有効性を評価するためのベンチマークであるMulti-Modal Retrieval-Augmented Generation (M$2$RAG)を紹介する。
このベンチマークは、イメージキャプション、マルチモーダル質問応答、マルチモーダル事実検証、イメージリランクの4つのタスクで構成されている。
MLLMのコンテキスト利用能力を高めるため,マルチモーダル検索型インストラクションチューニング(MM-RAIT)も導入する。
論文 参考訳（メタデータ） (2025-02-24T16:25:25Z) - Towards Text-Image Interleaved Retrieval [49.96332254241075]
テキスト画像検索(TIIR)タスクを導入し、クエリと文書をインターリーブしたテキスト画像シーケンスとする。
我々は、自然にインターリーブされたwikiHowチュートリアルに基づいてTIIRベンチマークを構築し、インターリーブされたクエリを生成するために特定のパイプラインを設計する。
異なる粒度で視覚トークンの数を圧縮する新しいMMEを提案する。
論文 参考訳（メタデータ） (2025-02-18T12:00:47Z) - Diffusion Augmented Retrieval: A Training-Free Approach to Interactive Text-to-Image Retrieval [7.439049772394586]
Diffusion Augmented Retrieval (DAR)は、複数の中間表現を生成するフレームワークである。
DARの結果は微調整されたI-TIRモデルと同等だが、チューニングオーバーヘッドは発生しない。
論文 参考訳（メタデータ） (2025-01-26T03:29:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。