論文の概要: CIR-CoT: Towards Interpretable Composed Image Retrieval via End-to-End Chain-of-Thought Reasoning

• arxiv url: http://arxiv.org/abs/2510.08003v1
• Date: Thu, 09 Oct 2025 09:41:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-10 17:54:14.990492
• Title: CIR-CoT: Towards Interpretable Composed Image Retrieval via End-to-End Chain-of-Thought Reasoning
• Title（参考訳）: CIR-CoT:End-to-End-End-of-Thought Reasoningによる解釈可能な合成画像検索に向けて
• Authors: Weihuang Lin, Yiwei Ma, Jiayi Ji, Xiaoshuai Sun, Rongrong Ji,
• Abstract要約: Composed Image Retrieval (CIR) は、参照画像と修正テキストから対象画像を見つけることを目的としている。 CIR-CoTは、明示的なChain-of-Thought (CoT)推論を統合するために設計された最初のエンドツーエンド検索指向MLLMである。
• 参考スコア（独自算出の注目度）: 93.05917922306196
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Composed Image Retrieval (CIR), which aims to find a target image from a reference image and a modification text, presents the core challenge of performing unified reasoning across visual and semantic modalities. While current approaches based on Vision-Language Models (VLMs, e.g., CLIP) and more recent Multimodal Large Language Models (MLLMs, e.g., Qwen-VL) have shown progress, they predominantly function as ``black boxes." This inherent opacity not only prevents users from understanding the retrieval rationale but also restricts the models' ability to follow complex, fine-grained instructions. To overcome these limitations, we introduce CIR-CoT, the first end-to-end retrieval-oriented MLLM designed to integrate explicit Chain-of-Thought (CoT) reasoning. By compelling the model to first generate an interpretable reasoning chain, CIR-CoT enhances its ability to capture crucial cross-modal interactions, leading to more accurate retrieval while making its decision process transparent. Since existing datasets like FashionIQ and CIRR lack the necessary reasoning data, a key contribution of our work is the creation of structured CoT annotations using a three-stage process involving a caption, reasoning, and conclusion. Our model is then fine-tuned to produce this structured output before encoding its final retrieval intent into a dedicated embedding. Comprehensive experiments show that CIR-CoT achieves highly competitive performance on in-domain datasets (FashionIQ, CIRR) and demonstrates remarkable generalization on the out-of-domain CIRCO dataset, establishing a new path toward more effective and trustworthy retrieval systems.
• Abstract（参考訳）: 参照画像と修正テキストから対象画像を見つけることを目的としたComposeed Image Retrieval (CIR)は、視覚的および意味的モダリティをまたいだ統一推論を行う上での課題である。 Vision-Language Models (VLMs, e g , CLIPs) と最近のMultimodal Large Language Models (MLLMs, e g , Qwen-VL) に基づく現在のアプローチは進歩しているが、それらは主に `black box' として機能する。 「この本質的な不透明さは、ユーザーが検索の合理性を理解することを妨げているだけでなく、複雑なきめ細かい指示に従う能力も制限している。」 これらの制限を克服するため,我々はCIR-CoTを導入し,CIR-CoTは,CIR-CoT(Chain-of-Thought)推論を統合した最初のエンドツーエンド検索指向MLLMである。 モデルに解釈可能な推論チェーンを最初に生成させることで、CIR-CoTは重要なクロスモーダル相互作用を捕捉する能力を高め、決定プロセスを透明化しながらより正確な検索を行う。 FashionIQやCIRRといった既存のデータセットには必要な推論データがないため、私たちの研究の重要な貢献は、キャプション、推論、結論を含む3段階のプロセスを使用して構造化されたCoTアノテーションを作成することです。 我々のモデルは、最終的な検索意図を専用の埋め込みに符号化する前に、この構造化された出力を生成するように微調整される。 総合的な実験により、CIR-CoTはドメイン内データセット(FashionIQ, CIRR)上で高い競争性能を達成し、ドメイン外のCIRCOデータセットに顕著な一般化を示し、より効果的で信頼性の高い検索システムへの新たな経路を確立する。

関連論文リスト

• Vis-CoT: A Human-in-the-Loop Framework for Interactive Visualization and Intervention in LLM Chain-of-Thought Reasoning [0.13192560874022083]
  本稿では、リニアチェーン・オブ・シントテキストを対話型推論グラフに変換するヒューマン・イン・ザ・ループ・フレームワークであるVis-CoTを紹介する。 ユーザは論理フローを視覚化し、欠陥のあるステップを特定し、誤ったパスをプルーニングし、新しいユーザ定義のオンプレミスを移植することで介入することができる。 Vis-CoTは、非対話的ベースラインよりも24ポイントまで精度を向上する。
  論文  参考訳（メタデータ） (2025-09-01T12:09:43Z)
• ESTR-CoT: Towards Explainable and Accurate Event Stream based Scene Text Recognition with Chain-of-Thought Reasoning [57.767536707234036]
  本稿では,イベントストリームシーンのテキスト認識フレームワークESTR-CoTを提案する。 具体的には、まず視覚エンコーダEVA-CLIPを採用し、入力イベントストリームをトークンに変換し、Llamaトークン化器を使用して与えられた生成プロンプトをエンコードする。 Qフォーマーは、事前訓練された大言語モデルVicuna-7Bにビジョントークンを整列させ、応答とチェーン・オブ・シークレット(CoT)推論プロセスの両方を同時に出力する。
  論文  参考訳（メタデータ） (2025-07-02T23:41:31Z)
• CoLLM: A Large Language Model for Composed Image Retrieval [76.29725148964368]
  Composed Image Retrieval (CIR)は、マルチモーダルクエリに基づいた画像検索を目的とした複雑なタスクである。 本稿では,イメージキャプションペアからトリプレットをオンザフライで生成するワンストップフレームワークであるCoLLMを提案する。 我々はLarge Language Models (LLMs) を利用して参照画像の埋め込みと修正テキストを生成する。
  論文  参考訳（メタデータ） (2025-03-25T17:59:50Z)
• CoTMR: Chain-of-Thought Multi-Scale Reasoning for Training-Free Zero-Shot Composed Image Retrieval [13.59418209417664]
  Zero-Shot Composed Image Retrieval (ZS-CIR) は、サンプルをトレーニングすることなく、合成クエリから情報を統合してターゲット画像を取得することを目的としている。 我々は,ZS-CIRのためのトレーニングフリーフレームワークであるCoTMRを提案し,新しいChain-of-Thought(CoT)とマルチスケール推論を提案する。
  論文  参考訳（メタデータ） (2025-02-28T08:12:23Z)
• Multi-task Visual Grounding with Coarse-to-Fine Consistency Constraints [15.541287957548771]
  本稿では,粗大な一貫性制約を持つビジュアルグラウンドアーキテクチャを提案する。 暗黙的かつ明示的なモデリングアプローチを2段階のフレームワークに統合する。 最先端のREC法とRIS法を実質的なマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2025-01-12T04:30:13Z)
• Compositional Image Retrieval via Instruction-Aware Contrastive Learning [40.54022628032561]
  Composed Image Retrieval (CIR)は、テキストとペアリングした画像の合成クエリに基づいてターゲットイメージを検索する。 実際には、下流タスクにおけるアノテートデータの不足のため、ゼロショットCIR(ZS-CIR)が望ましい。 命令調整型マルチモーダルLLM(MLLM)を用いて合成表現を生成する新しい埋め込み手法を提案する。
  論文  参考訳（メタデータ） (2024-12-07T22:46:52Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)
• Towards More Unified In-context Visual Understanding [74.55332581979292]
  マルチモーダル出力を有効にした視覚理解のための新しいICLフレームワークを提案する。 まず、テキストと視覚的プロンプトの両方を量子化し、統一された表現空間に埋め込む。 次にデコーダのみのスパーストランスアーキテクチャを用いて生成モデリングを行う。
  論文  参考訳（メタデータ） (2023-12-05T06:02:21Z)
• Zero-shot Composed Text-Image Retrieval [72.43790281036584]
  合成画像検索(CIR)の問題点を考察する。 テキストや画像などのマルチモーダル情報を融合し、クエリにマッチする画像を正確に検索し、ユーザの表現能力を拡張できるモデルをトレーニングすることを目的としている。
  論文  参考訳（メタデータ） (2023-06-12T17:56:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。