論文の概要: Text-Guided Semantic Image Encoder

• arxiv url: http://arxiv.org/abs/2511.20770v1
• Date: Tue, 25 Nov 2025 19:04:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-27 18:37:58.815018
• Title: Text-Guided Semantic Image Encoder
• Title（参考訳）: テキストガイドセマンティック画像エンコーダ
• Authors: Raghuveer Thirukovalluru, Xiaochuang Han, Bhuwan Dhingra, Emily Dinan, Maha Elbayad,
• Abstract要約: 入力テキストクエリに条件付き画像表現を生成するテキストガイドセマンティックイメージ(TIE)を提案する。 TIEに基づく視覚言語モデル(VLM)は、画像タイル(トークン)の半分しか利用せず、優れた性能を実現している。 TIEは問合せ関連リージョンに一貫して参加し、解釈可能性と問合せ固有のグラウンドの両方を強化している。
• 参考スコア（独自算出の注目度）: 25.15773515839525
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Image encoders, a fundamental component of vision-language models (VLMs), are typically pretrained independently before being aligned with a language model. This standard paradigm results in encoders that process images agnostically, without regard to the specific downstream task or text query. To address this limitation, we propose the Text-Guided Semantic Image Encoder (TIE), which generates image representations conditioned on the input text query. VLMs equipped with TIE outperform their conventional counterparts by +1.5 and +1.3 points on average across nine image-to-text benchmarks at the 1B and 3B scales, respectively, with gains reaching up to 6 points on tasks such as DocVQA and InfoVQA. Moreover, TIE-based VLMs attain superior performance while utilizing only half as many image tiles (tokens), resulting in notably improved inference efficiency. TIE also generalizes well with generic queries, indicating that text-conditioned training effectively optimizes the encoder to capture key visual features. Qualitative analysis confirms that TIE consistently attends to query-relevant regions, enhancing both interpretability and query-specific grounding.
• Abstract（参考訳）: 視覚言語モデル(VLM)の基本コンポーネントである画像エンコーダは、通常、言語モデルに整列する前に独立して事前訓練される。 この標準パラダイムは、特定のダウンストリームタスクやテキストクエリに関係なく、画像を不可知的に処理するエンコーダをもたらす。 この制限に対処するために、入力テキストクエリに条件付き画像表現を生成するText-Guided Semantic Image Encoder (TIE)を提案する。 TIEを搭載したVLMは、1Bスケールと3Bスケールの9つの画像とテキストのベンチマークで平均+1.5点と+1.3点を上回り、DocVQAやInfoVQAといったタスクでは最大6点まで上昇した。 さらに、TIEベースのVLMは、半分のイメージタイル(トークン)しか利用せず、優れた性能を実現し、推論効率が著しく向上した。 TIEはまた、一般的なクエリとよく似ていて、テキスト条件のトレーニングがエンコーダを効果的に最適化し、重要な視覚的特徴をキャプチャすることを示している。 質的な分析により、TIEはクエリ関連領域に一貫して参加し、解釈可能性とクエリ特化グラウンドの両方を強化している。

関連論文リスト

• Text-Visual Semantic Constrained AI-Generated Image Quality Assessment [47.575342788480505]
  本稿では,AI生成画像におけるテキスト画像の一貫性と知覚歪みの両方を包括的に評価する統合フレームワークを提案する。 このアプローチでは、複数のモデルから重要な機能を統合し、2つのコアモジュールを導入することで、上記の課題に取り組む。 複数のベンチマークデータセットで実施されたテストは、SC-AGIQAが既存の最先端メソッドより優れていることを示している。
  論文  参考訳（メタデータ） (2025-07-14T16:21:05Z)
• Adding simple structure at inference improves Vision-Language Compositionality [15.785274903236663]
  本稿では,イメージとキャプションが与えられた場合,イメージを小さな作物に分割する,推論時に単純な構造を加えることを提案する。 提案手法は,評価された視覚言語モデルの性能をトレーニングなしで継続的に改善する。
  論文  参考訳（メタデータ） (2025-06-11T13:06:25Z)
• Better Reasoning with Less Data: Enhancing VLMs Through Unified Modality Scoring [26.174094671736686]
  視覚的調律データセットのための品質駆動型データ選択パイプラインを提案する。 クロスモダリティアセスメントフレームワークを統合し、まず各データエントリを適切な視覚言語タスクに割り当てる。 一般的なキャプションとタスク固有のキャプションを生成し、各エントリのアライメント、明度、タスクのラミリティ、テキストコヒーレンス、画像の明度を評価する。
  論文  参考訳（メタデータ） (2025-06-10T04:04:58Z)
• MLLM-Guided VLM Fine-Tuning with Joint Inference for Zero-Shot Composed Image Retrieval [50.062817677022586]
  Zero-Shot Image Retrieval (ZS-CIR) メソッドは通常、参照イメージを擬似テキストトークンに変換するアダプタを訓練する。 MLLM-Guided VLM Fine-Tuning with Joint Inference (MVFT-JI) を提案する。
  論文  参考訳（メタデータ） (2025-05-26T08:56:59Z)
• Leopard: A Vision Language Model For Text-Rich Multi-Image Tasks [62.758680527838436]
  複数のテキストリッチな画像を含む視覚言語タスクを扱うためのMLLMであるLeopardを提案する。 まず、テキストリッチでマルチイメージのシナリオに合わせて、約100万の高品質なマルチモーダル命令チューニングデータをキュレートした。 第2に,視覚列長の割り当てを動的に最適化する適応型高解像度マルチイメージ符号化モジュールを提案する。
  論文  参考訳（メタデータ） (2024-10-02T16:55:01Z)
• See then Tell: Enhancing Key Information Extraction with Vision Grounding [32.445618057103324]
  STNet(See then Tell Net)は、視覚基盤の正確な答えを提供するために設計された、新しいエンドツーエンドモデルである。 モデルの可視性を高めるため、広範囲に構造化されたテーブル認識データセットを収集する。 提案手法は,KIE性能の大幅な向上を実証し,公開データセットの最先端化を実現している。
  論文  参考訳（メタデータ） (2024-09-29T06:21:05Z)
• UNIT: Unifying Image and Text Recognition in One Vision Encoder [51.140564856352825]
  UNITは、単一のモデル内で画像とテキストの認識を統一することを目的とした、新しいトレーニングフレームワークである。 文書関連タスクにおいて,UNITが既存の手法を著しく上回ることを示す。 注目すべきなのは、UNITはオリジナルのビジョンエンコーダアーキテクチャを保持しており、推論とデプロイメントの点で費用がかからないことだ。
  論文  参考訳（メタデータ） (2024-09-06T08:02:43Z)
• Advancing Visual Grounding with Scene Knowledge: Benchmark and Method [74.72663425217522]
  ビジュアルグラウンドディング(VG)は、視覚と言語の間にきめ細かいアライメントを確立することを目的としている。 既存のVGデータセットの多くは、単純な記述テキストを使って構築されている。 我々は、アンダーラインScene underline-guided underlineVisual underlineGroundingの新たなベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-07-21T13:06:02Z)
• TAP: Text-Aware Pre-training for Text-VQA and Text-Caption [75.44716665758415]
  テキストVQAとテキストキャプションタスクのためのテキスト認識事前学習(TAP)を提案する。 TAPは、事前トレーニングにシーンテキスト(OCRエンジンから生成される)を明示的に組み込む。 我々のアプローチは、複数のタスクで大きな利幅で芸術の状態を上回っている。
  論文  参考訳（メタデータ） (2020-12-08T18:55:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。