論文の概要: FAST-GOAL: Fast and Efficient Global-local Object Alignment Learning

• arxiv url: http://arxiv.org/abs/2605.26615v1
• Date: Tue, 26 May 2026 06:52:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.708783
• Title: FAST-GOAL: Fast and Efficient Global-local Object Alignment Learning
• Title（参考訳）: FAST-GOAL: 高速で効率的なグローバルなオブジェクトアライメント学習
• Authors: Hyungyu Choi, Young Kyun Jang, Chanho Eom,
• Abstract要約: 本稿では,CLIPの長文処理能力を向上するFAST-GOALを提案する。 まず、FLISM(Fast Local Image-Sentence Matching)は局所画像領域を効率的に抽出する。 第二に、トークン類似性に基づく学習(TSL)は、画像内の特定の領域と対応する領域の埋め込みからのパッチトークンの類似性を最大化する。
• 参考スコア（独自算出の注目度）: 11.395181681423892
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision-language models such as CLIP have shown impressive capabilities in aligning images and text, but they often struggle with lengthy and detailed text descriptions due to pre-training on short and concise captions. We present FAST-GOAL (Fast and Efficient Global-local Object Alignment Learning), an efficient fine-tuning method that enhances ability of CLIP to handle lengthy text through global-local semantic alignment. Our method consists of two key components. First, Fast Local Image-Sentence Matching (FLISM) efficiently extracts local image regions through object detection and spatial division, then matches them with corresponding sentences. Second, Token Similarity-based Learning (TSL) maximizes the similarity between patch tokens from specific regions in the image and their corresponding region embeddings, applying the same principle to text, which enhances the ability of the model to capture detailed correspondences. Additionally, we introduce GLIT100k, a dataset that provides both global image-lengthy caption pairs and context-derived local pairs, where local descriptions are extracted from global captions to maintain semantic coherence. Through extensive experiments on long caption datasets (DOCCI, DCI) and short caption datasets (MSCOCO, Flickr30k), we demonstrate that FAST-GOAL achieves significant improvements over baselines, enabling effective adaptation of CLIP to detailed textual descriptions while maintaining computational efficiency.
• Abstract（参考訳）: CLIPのような視覚言語モデルは、画像とテキストの整列に優れた能力を示しているが、短いキャプションと簡潔なキャプションの事前トレーニングのために、長く詳細なテキスト記述に苦しむことが多い。 FAST-GOAL(Fast and Efficient Global-local Object Alignment Learning)は,CLIPによる局所的セマンティックアライメントによる長文処理能力を向上する,効率的な微調整手法である。 提案手法は2つのキーコンポーネントから構成される。 まず、FLISM(Fast Local Image-Sentence Matching)は、オブジェクト検出と空間分割によって局所画像領域を効率よく抽出し、対応する文と照合する。 第2に,Token similarity-based Learning (TSL) は,画像中の特定の領域からのパッチトークンと対応する領域の埋め込みとの類似性を最大化し,テキストに同じ原理を適用することにより,詳細な対応を捕捉するモデルの能力を高める。 さらに,グローバルな画像長字幕ペアと文脈由来の局所的なペアの両方を提供するデータセットGLIT100kを導入し,局所的な記述をグローバルな字幕から抽出してセマンティック・コヒーレンスを維持する。 長い字幕データセット (DOCCI, DCI) と短い字幕データセット (MSCOCO, Flickr30k) に関する広範な実験を通じて、FAST-GOAL がベースラインよりも大幅に改善され、計算効率を保ちながら、CLIP を詳細なテキスト記述に効果的に適用できることを実証した。

関連論文リスト

• MulCLIP: A Multi-level Alignment Framework for Enhancing Fine-grained Long-context CLIP [4.6096940605642915]
  MulCLIPは、画像コンポーネントで自然な長文構造をブリッジするエンドツーエンドフレームワークである。 画像と要約と長いキャプションの間には、グローバルなコントラストの一致が保たれている。 長いテキストシーケンスに対して位置埋め込みを拡張する。
  論文  参考訳（メタデータ） (2025-12-08T03:23:41Z)
• GOAL: Global-local Object Alignment Learning [7.9061560322289335]
  CLIPのようなビジョン言語モデルは、画像とテキストを整列する素晴らしい機能を示している。 短いキャプションと簡潔なキャプションに焦点が当てられているため、長い詳細な文章の記述に苦しむことが多い。 本稿では,CLIPの長文処理能力を高める新しい微調整手法であるGOALを提案する。
  論文  参考訳（メタデータ） (2025-03-22T14:27:32Z)
• FLAIR: VLM with Fine-grained Language-informed Image Representations [49.2684130383925]
  FLAIRは、局所的な画像埋め込みを学ぶために、長く詳細な画像記述を利用するアプローチである。 実験では,30M画像テキスト対を用いたFLAIRによる微細な視覚情報収集の有効性を実証した。
  論文  参考訳（メタデータ） (2024-12-04T18:56:04Z)
• Contrastive Localized Language-Image Pre-Training [60.4967533101887]
  コントラスト言語-画像事前学習(CLIP)は、画像/テキスト表現を生成するために視覚エンコーダを訓練するための著名な方法である。 本稿では,CLIPとリージョンテキストのコントラッシブな損失とモジュールを補完することにより,CLOC(Contrastive Localized Language- Image Pre-Trening)を提案する。 CLOCは画像領域認識および検索タスクのための高品質な地域埋め込みを可能にする。
  論文  参考訳（メタデータ） (2024-10-03T17:56:09Z)
• DIAL: Dense Image-text ALignment for Weakly Supervised Semantic Segmentation [8.422110274212503]
  弱教師付きセマンティックセグメンテーションアプローチは通常、初期シード生成にクラスアクティベーションマップ(CAM)に依存する。 DALNetは、テキストの埋め込みを利用して、さまざまなレベルの粒度のオブジェクトの包括的理解と正確な位置決めを強化する。 このアプローチは特に、シングルステージの手法として、より効率的なエンドツーエンドプロセスを可能にします。
  論文  参考訳（メタデータ） (2024-09-24T06:51:49Z)
• Selective Vision-Language Subspace Projection for Few-shot CLIP [55.361337202198925]
  SSP (Selective Vision-Language Subspace Projection) という手法を導入する。 SSPはローカルな画像特徴を取り入れ、それらをブリッジとして利用し、画像とテキストのペア間のアライメントを強化する。 提案手法では,学習不要な行列計算しか必要とせず,高度なCLIPベースの数ショット学習フレームワークにシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-07-24T03:45:35Z)
• AddressCLIP: Empowering Vision-Language Models for City-wide Image Address Localization [57.34659640776723]
  そこで我々は,より意味論的に問題を解決するために,AddressCLIPというエンドツーエンドのフレームワークを提案する。 われわれはピッツバーグとサンフランシスコに3つのデータセットを構築した。
  論文  参考訳（メタデータ） (2024-07-11T03:18:53Z)
• SyCoCa: Symmetrizing Contrastive Captioners with Attentive Masking for Multimodal Alignment [11.556516260190737]
  言語と視覚のマルチモーダルアライメントは、現在の視覚言語モデル研究の基本的なトピックである。 本稿では,Contrastive Language-Image Pretraining (CLIP) と Image Caption (IC) を統合するためのContrastive Captioners (CoCa) を提案する。
  論文  参考訳（メタデータ） (2024-01-04T08:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。