論文の概要: Training-free Conditional Image Embedding Framework Leveraging Large Vision Language Models

• arxiv url: http://arxiv.org/abs/2512.21860v1
• Date: Fri, 26 Dec 2025 04:51:23 GMT
• ステータス: 情報取得中
• システム内更新日: 2025-12-29 12:00:12.611556
• Title: Training-free Conditional Image Embedding Framework Leveraging Large Vision Language Models
• Title（参考訳）: 大規模視覚言語モデルを活用した訓練不要条件付き画像埋め込みフレームワーク
• Authors: Masayuki Kawarada, Kosuke Yamada, Antonio Tejero-de-Pablos, Naoto Inoue,
• Abstract要約: 条件付き画像埋め込みは、所定の条件で示される画像の特定の側面に焦点を当てた特徴表現である。 本稿では,大規模視覚言語モデル(LVLM)を利用して条件付き画像埋め込みを生成するDIORを提案する。 DIORは、LVLMに与えられた条件に関連する単一の単語で画像を記述するように促す、トレーニング不要のアプローチである。
• 参考スコア（独自算出の注目度）: 8.200362992332503
• License:
• Abstract: Conditional image embeddings are feature representations that focus on specific aspects of an image indicated by a given textual condition (e.g., color, genre), which has been a challenging problem. Although recent vision foundation models, such as CLIP, offer rich representations of images, they are not designed to focus on a specified condition. In this paper, we propose DIOR, a method that leverages a large vision-language model (LVLM) to generate conditional image embeddings. DIOR is a training-free approach that prompts the LVLM to describe an image with a single word related to a given condition. The hidden state vector of the LVLM's last token is then extracted as the conditional image embedding. DIOR provides a versatile solution that can be applied to any image and condition without additional training or task-specific priors. Comprehensive experimental results on conditional image similarity tasks demonstrate that DIOR outperforms existing training-free baselines, including CLIP. Furthermore, DIOR achieves superior performance compared to methods that require additional training across multiple settings.
• Abstract（参考訳）: 条件付き画像埋め込みは、与えられたテキスト条件(例えば、色、ジャンル)で示される画像の特定の側面に焦点を当てた特徴表現である。 最近のビジョンファウンデーションモデルであるCLIPは、画像のリッチな表現を提供するが、特定の条件にフォーカスするようには設計されていない。 本稿では,大規模視覚言語モデル(LVLM)を利用して条件付き画像埋め込みを生成するDIORを提案する。 DIORは、LVLMに与えられた条件に関連する単一の単語で画像を記述するように促す、トレーニング不要のアプローチである。 次に、LVLMの最終トークンの隠れ状態ベクトルを条件画像埋め込みとして抽出する。 DIORは、追加のトレーニングやタスク固有の事前処理なしで、任意のイメージや条件に適用可能な、汎用的なソリューションを提供する。 条件付き画像類似性タスクに関する総合的な実験結果は、DIORがCLIPを含む既存のトレーニング不要ベースラインより優れていることを示している。 さらに、DIORは、複数の設定にまたがる追加のトレーニングを必要とするメソッドと比較して、優れたパフォーマンスを達成する。

関連論文リスト

• SmartCLIP: Modular Vision-language Alignment with Identification Guarantees [59.16312652369709]
  Contrastive Language-Image Pre-Traiing (CLIP)citepradford2021 Learningは、コンピュータビジョンとマルチモーダル学習において重要なモデルとして登場した。 CLIPは、多くの画像テキストデータセットにおける潜在的な情報ミスアライメントに苦労し、絡み合った表現に悩まされている。 モジュラー方式で、最も関連性の高い視覚的およびテキスト的表現を特定し、調整する新しいアプローチである。
  論文  参考訳（メタデータ） (2025-07-29T22:26:20Z)
• Grounding Descriptions in Images informs Zero-Shot Visual Recognition [47.66166611138081]
  我々は,表現を細かなレベルと粗いレベルの両方で同時に調整することを目的とした,新しい事前学習戦略であるGRAINを提案する。 我々は,現在の最先端技術と比較して,モデルのゼロショット性能の向上を実証する。
  論文  参考訳（メタデータ） (2024-12-05T18:52:00Z)
• FLAIR: VLM with Fine-grained Language-informed Image Representations [49.2684130383925]
  FLAIRは、局所的な画像埋め込みを学ぶために、長く詳細な画像記述を利用するアプローチである。 実験では,30M画像テキスト対を用いたFLAIRによる微細な視覚情報収集の有効性を実証した。
  論文  参考訳（メタデータ） (2024-12-04T18:56:04Z)
• Image2Sentence based Asymmetrical Zero-shot Composed Image Retrieval [92.13664084464514]
  合成画像検索(CIR)の課題は,検索画像とユーザの意図を記述したテキストに基づいて画像を取得することである。 既存の手法は、CIRタスクにおける高度な大規模視覚言語(VL)モデルにおいて大きな進歩を遂げているが、それらは一般的に、モデルトレーニングのためのラベル付き三重項の欠如とリソース制限された環境への展開の困難という2つの大きな問題に悩まされている。 本稿では、VLモデルを利用して合成学習のためのラベルなし画像のみに依存する画像2Sentenceに基づく非対称ゼロショット合成画像検索(ISA)を提案する。
  論文  参考訳（メタデータ） (2024-03-03T07:58:03Z)
• SILC: Improving Vision Language Pretraining with Self-Distillation [113.50400246862056]
  本稿では,視覚言語事前学習のための新しいフレームワークであるSILCを紹介する。 SILCは、局所-言語対応学習を自己蒸留で簡単に追加することで、画像テキストのコントラスト学習を改善する。 指数移動平均(EMA)教師モデルから局所像の特徴を抽出することにより,検出やセグメンテーションといった密集した予測タスクにおけるモデル性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-10-20T08:44:47Z)
• Is a Caption Worth a Thousand Images? A Controlled Study for Representation Learning [88.5382122413913]
  本研究では,従来の画像のみの手法よりも伝達可能な表現を持つ視覚モデルが得られるかを検討した。 画像のみの手法は、より多くの画像データでトレーニングされた場合でも、CLIPの転送性能と一致しないことがわかった。 この結果から,CLIPが既存の事前学習データセットに存在する言語情報を活用できるように,シンプルな処方薬を考案した。
  論文  参考訳（メタデータ） (2022-07-15T17:50:51Z)
• Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
  Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。 近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。 本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
  論文  参考訳（メタデータ） (2022-05-26T03:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。