論文の概要: FocalLens: Instruction Tuning Enables Zero-Shot Conditional Image Representations
- arxiv url: http://arxiv.org/abs/2504.08368v1
- Date: Fri, 11 Apr 2025 09:07:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-14 14:20:28.550177
- Title: FocalLens: Instruction Tuning Enables Zero-Shot Conditional Image Representations
- Title（参考訳）: FocalLens: ゼロショット条件の画像表現を可能にするインストラクションチューニング
- Authors: Cheng-Yu Hsieh, Pavan Kumar Anasosalu Vasu, Fartash Faghri, Raviteja Vemulapalli, Chun-Liang Li, Ranjay Krishna, Oncel Tuzel, Hadi Pouransari,
- Abstract要約: 本稿では、関心の文脈に基づいて、同じ画像に対して異なる表現を生成する条件付き視覚符号化法であるFocalLensを紹介する。
本稿では,FocalLensが画像画像検索,画像分類,画像テキスト検索など,下流タスクの性能改善につながることを示す。
- 参考スコア（独自算出の注目度）: 40.27064688727896
- License:
- Abstract: Visual understanding is inherently contextual -- what we focus on in an image depends on the task at hand. For instance, given an image of a person holding a bouquet of flowers, we may focus on either the person such as their clothing, or the type of flowers, depending on the context of interest. Yet, most existing image encoding paradigms represent an image as a fixed, generic feature vector, overlooking the potential needs of prioritizing varying visual information for different downstream use cases. In this work, we introduce FocalLens, a conditional visual encoding method that produces different representations for the same image based on the context of interest, expressed flexibly through natural language. We leverage vision instruction tuning data and contrastively finetune a pretrained vision encoder to take natural language instructions as additional inputs for producing conditional image representations. Extensive experiments validate that conditional image representation from FocalLens better pronounce the visual features of interest compared to generic features produced by standard vision encoders like CLIP. In addition, we show FocalLens further leads to performance improvements on a range of downstream tasks including image-image retrieval, image classification, and image-text retrieval, with an average gain of 5 and 10 points on the challenging SugarCrepe and MMVP-VLM benchmarks, respectively.
- Abstract（参考訳）: 視覚的理解は本質的にコンテキスト的です - 私たちがイメージにフォーカスするものは、手元にあるタスクに依存します。
例えば、花束を持っている人のイメージを考えると、興味のある状況に応じて、衣服や花の種類などの人物に焦点を当てることができる。
しかし、既存の画像符号化パラダイムのほとんどは、画像を固定された汎用的な特徴ベクトルとして表現しており、下流のさまざまなユースケースに対して様々な視覚情報を優先順位付けする潜在的なニーズを見越している。
本研究では、関心の文脈に基づいて同じ画像の異なる表現を生成し、自然言語で柔軟に表現する条件付き視覚符号化法であるFocalLensを紹介する。
我々は、視覚命令チューニングデータを活用し、訓練済みの視覚エンコーダを対照的に微調整して、条件付き画像表現を生成するための追加入力として自然言語命令を取り込む。
広範囲な実験により、FocalLensの条件付き画像表現は、CLIPのような標準視覚エンコーダによって生成される一般的な特徴と比較して、興味のある視覚的特徴をよりよく発音する。
さらに、FocalLensは、画像画像検索、画像分類、画像テキスト検索など、様々な下流タスクの性能向上に寄与し、SugarCrepeベンチマークとMMVP-VLMベンチマークでは、それぞれ平均5点と10点のゲインが得られた。
関連論文リスト
- Ranking-aware adapter for text-driven image ordering with CLIP [76.80965830448781]
本稿では,CLIPモデルを学習からランクへのタスクに再構成する,効率的かつ効率的な手法を提案する。
我々のアプローチは、ランキングの目的のために新しい指示に適応するための学習可能なプロンプトを取り入れている。
私たちのランキングアウェアアダプタは、様々なタスクにおいて微調整されたCLIPよりも一貫して優れています。
論文 参考訳（メタデータ） (2024-12-09T18:51:05Z) - FLAIR: VLM with Fine-grained Language-informed Image Representations [49.2684130383925]
FLAIRは、局所的な画像埋め込みを学ぶために、長く詳細な画像記述を利用するアプローチである。
実験では,30M画像テキスト対を用いたFLAIRによる微細な視覚情報収集の有効性を実証した。
論文 参考訳（メタデータ） (2024-12-04T18:56:04Z) - Vision Language Model-based Caption Evaluation Method Leveraging Visual
Context Extraction [27.00018283430169]
本稿では視覚言語モデルに基づくキャプション評価手法VisCE$2$を提案する。
本手法は,オブジェクト,属性,関係性を含む画像の詳細な内容を参照する視覚的コンテキストに焦点をあてる。
論文 参考訳（メタデータ） (2024-02-28T01:29:36Z) - Task-Oriented Multi-Modal Mutual Leaning for Vision-Language Models [52.3032592038514]
ラベル関連画像情報で生成したプロンプトを豊かにするためのクラス対応テキストプロンプトを提案する。
我々は、新しいクラスで4.03%、調和平均で3.19%の改善を11の分類ベンチマークで達成した。
論文 参考訳（メタデータ） (2023-03-30T06:02:40Z) - Visual Clues: Bridging Vision and Language Foundations for Image
Paragraph Captioning [78.07495777674747]
我々は、視覚的手がかりを用いて、大きな事前訓練された視覚基盤モデルと言語モデルをブリッジすることで、余分なクロスモーダルトレーニングなしでそれを行うことができると論じる。
基礎モデルの強力なゼロショット機能のおかげで、画像のリッチなセマンティック表現を構築することから始める。
大規模言語モデルを用いて視覚的コンテンツを包括的に記述し、視覚モデルによって再度検証し、画像に最適な候補を選択する。
論文 参考訳（メタデータ） (2022-06-03T22:33:09Z) - Exploring Explicit and Implicit Visual Relationships for Image
Captioning [11.82805641934772]
本稿では,画像キャプションのための領域レベルの表現を豊かにするために,明示的かつ暗黙的な視覚関係を探索する。
具体的には、オブジェクトペア上にセマンティックグラフを構築し、ゲートグラフ畳み込みネットワーク(Gated GCN)を利用して、近隣住民の情報を選択的に集約する。
暗黙的に、我々は変圧器から領域ベースの双方向エンコーダ表現を介して検出されたオブジェクト間のグローバルな相互作用を描画する。
論文 参考訳（メタデータ） (2021-05-06T01:47:51Z) - Improving Image Captioning with Better Use of Captions [65.39641077768488]
本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。
我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。
生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
論文 参考訳（メタデータ） (2020-06-21T14:10:47Z) - Fine-grained Image Classification and Retrieval by Combining Visual and
Locally Pooled Textual Features [8.317191999275536]
特に、テキストの存在は、コンピュータビジョンタスクの多様性に対処するために使用されるべき強力なガイドコンテンツを提供する。
本稿では,テキスト情報と視覚的手がかりを併用した細粒度分類と画像検索の課題に対処し,両者の本質的な関係を解明する。
論文 参考訳（メタデータ） (2020-01-14T12:06:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。