論文の概要: Seeing the Abstract: Translating the Abstract Language for Vision Language Models
- arxiv url: http://arxiv.org/abs/2505.03242v1
- Date: Tue, 06 May 2025 07:14:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-07 18:50:11.24061
- Title: Seeing the Abstract: Translating the Abstract Language for Vision Language Models
- Title（参考訳）: 抽象言語を見る:視覚言語モデルのための抽象言語を翻訳する
- Authors: Davide Talon, Federico Girella, Ziyue Liu, Marco Cristani, Yiming Wang,
- Abstract要約: 本研究は,抽象表現を持つ高表現領域であるファッション領域に焦点をあてる。
最近の大規模マルチモーダルファッションデータセットを分析することで、抽象用語が支配的な存在であることが分かる。
本稿では, 抽象表現をよく表現されたコンクリートにシフトさせるための, 学習不要でモデルに依存しない ACT (Abstract-to-Concrete Translator) を提案する。
- 参考スコア（独自算出の注目度）: 13.065703240655973
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Natural language goes beyond dryly describing visual content. It contains rich abstract concepts to express feeling, creativity and properties that cannot be directly perceived. Yet, current research in Vision Language Models (VLMs) has not shed light on abstract-oriented language. Our research breaks new ground by uncovering its wide presence and under-estimated value, with extensive analysis. Particularly, we focus our investigation on the fashion domain, a highly-representative field with abstract expressions. By analyzing recent large-scale multimodal fashion datasets, we find that abstract terms have a dominant presence, rivaling the concrete ones, providing novel information, and being useful in the retrieval task. However, a critical challenge emerges: current general-purpose or fashion-specific VLMs are pre-trained with databases that lack sufficient abstract words in their text corpora, thus hindering their ability to effectively represent abstract-oriented language. We propose a training-free and model-agnostic method, Abstract-to-Concrete Translator (ACT), to shift abstract representations towards well-represented concrete ones in the VLM latent space, using pre-trained models and existing multimodal databases. On the text-to-image retrieval task, despite being training-free, ACT outperforms the fine-tuned VLMs in both same- and cross-dataset settings, exhibiting its effectiveness with a strong generalization capability. Moreover, the improvement introduced by ACT is consistent with various VLMs, making it a plug-and-play solution.
- Abstract（参考訳）: 自然言語は、視覚的内容の描写を辛うじて行うものではない。
それは、直接認識できない感覚、創造性、特性を表現するための豊富な抽象概念を含んでいる。
しかし、現在のビジョン言語モデル(VLM)の研究は、抽象言語に光を当てていない。
我々の研究は、その広い存在と過小評価された価値を明らかにすることによって、広範囲な分析によって、新しい地盤を破る。
特に、抽象表現を持つ高度に表現的な分野であるファッション領域について、本研究の焦点をあてる。
近年の大規模マルチモーダル・ファッション・データセットを解析した結果,抽象用語が支配的な存在であり,具体的用語と競合し,新たな情報を提供し,検索作業に有用であることが判明した。
しかし、現在の汎用またはファッション固有のVLMは、テキストコーパスに十分な抽象語が欠けているデータベースで事前訓練されているため、抽象指向言語を効果的に表現する能力を妨げる。
本稿では, 事前学習モデルと既存のマルチモーダルデータベースを用いて, VLMラテント空間において, 抽象表現をよく表現された具体的な表現へとシフトさせる, 学習自由かつモデルに依存しない ACT (Abstract-to-Concrete Translator) を提案する。
テキスト・ツー・イメージ検索タスクでは、トレーニング不要でありながら、ACTは、同じおよび横断的な設定で微調整されたVLMよりも優れ、強力な一般化能力でその効果を示す。
さらに、ACTによって導入された改善は様々なVLMと一致しており、プラグイン・アンド・プレイのソリューションとなっている。
関連論文リスト
- True Multimodal In-Context Learning Needs Attention to the Visual Context [69.63677595066012]
MLLM(Multimodal Large Language Models)は、新しいタスクに適応したMICL(Multimodal In-Context Learning)を実現する。
現在のMLLMは、視覚的手がかりを無視し、テキストパターンを過度に無視する傾向にあり、真のマルチモーダル適応よりも単なるテキスト模倣に繋がる。
視覚的コンテキストへのモデルへの参加を促す,効率的な微調整戦略であるDynamic Attention Reallocation (DARA)を紹介した。
論文 参考訳（メタデータ） (2025-07-21T17:08:18Z) - Is A Picture Worth A Thousand Words? Delving Into Spatial Reasoning for Vision Language Models [37.44286562901589]
本研究では,空間推論の多様な側面をカバーする新しいベンチマークであるSpatialEvalを提案する。
我々は、競合する言語と視覚言語モデルを総合的に評価する。
文献で見過ごされてきたいくつかの反直感的な洞察が明らかとなった。
論文 参考訳（メタデータ） (2024-06-21T03:53:37Z) - Learning with Language-Guided State Abstractions [58.199148890064826]
高次元観測空間における一般化可能なポリシー学習は、よく設計された状態表現によって促進される。
我々の手法であるLGAは、自然言語の監視と言語モデルからの背景知識を組み合わせて、目に見えないタスクに適した状態表現を自動構築する。
シミュレーションされたロボットタスクの実験では、LGAは人間によって設計されたものと同様の状態抽象化をもたらすが、そのほんの少しの時間で得られる。
論文 参考訳（メタデータ） (2024-02-28T23:57:04Z) - Emergence and Function of Abstract Representations in Self-Supervised
Transformers [0.0]
本研究では,部分的にマスキングされた視覚シーンを再構築するために訓練された小型トランスフォーマーの内部動作について検討する。
ネットワークは、データセットのすべての意味的特徴をエンコードする中間抽象表現(抽象表現)を開発する。
正確な操作実験を用いて、抽象化がネットワークの意思決定プロセスの中心であることを実証する。
論文 参考訳（メタデータ） (2023-12-08T20:47:15Z) - AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph [62.685920585838616]
抽象能力は人間の知性において必須であり、言語モデルでは未探索のままである。
本稿では、抽象知識の221Kテキスト記述を統一したエンテーメントグラフであるAbsPyramidを提案する。
論文 参考訳（メタデータ） (2023-11-15T18:11:23Z) - OV-VG: A Benchmark for Open-Vocabulary Visual Grounding [33.02137080950678]
この研究は、新規で挑戦的なオープンボキャブラリ視覚タスクを導入している。
包括的な目的は、言語記述と新しいオブジェクトのローカライゼーションの関連を確立することである。
我々は、7,272 OV-VG画像と1,000 OV-PL画像を含むベンチマークをキュレートした。
論文 参考訳（メタデータ） (2023-10-22T17:54:53Z) - OCRBench: On the Hidden Mystery of OCR in Large Multimodal Models [122.27878464009181]
テキスト関連視覚タスクにおいて, GPT4V や Gemini などの大規模マルチモーダルモデルの包括的評価を行った。
OCRBenchには29のデータセットがあり、最も包括的なOCR評価ベンチマークが利用できる。
論文 参考訳（メタデータ） (2023-05-13T11:28:37Z) - Summary-Oriented Vision Modeling for Multimodal Abstractive
Summarization [63.320005222549646]
マルチモーダル抽象要約(MAS)は、マルチモーダルデータ(テキストとビジョン)から簡潔な要約を作成することを目的としている。
本稿では,要約指向の視覚的特徴によって要約品質を改善することを提案する。
中高、低低、ゼロリソースのシナリオをカバーする44言語の実験は、提案手法の有効性と優位性を検証する。
論文 参考訳（メタデータ） (2022-12-15T09:05:26Z) - DiMBERT: Learning Vision-Language Grounded Representations with
Disentangled Multimodal-Attention [101.99313208598569]
視覚と言語(V-L)タスクは、視覚内容と自然言語の両方を理解する必要がある。
視覚と言語に対する注意空間を分離したDiMBERT(Disentangled Multimodal-Attention BERT)を提案する。
DiMBERTは3つのタスクに対して最新のパフォーマンスを新たに設定する。
論文 参考訳（メタデータ） (2022-10-28T23:00:40Z) - Semantic Exploration from Language Abstractions and Pretrained
Representations [23.02024937564099]
効果的な探究は強化学習(RL)の課題である
意味論的に意味のある状態抽象化を用いて新規性を定義する。
自然画像キャプションデータセットに基づく視覚言語表現の評価を行った。
論文 参考訳（メタデータ） (2022-04-08T17:08:00Z) - Probing Contextual Language Models for Common Ground with Visual
Representations [76.05769268286038]
我々は、マッチングと非マッチングの視覚表現を区別する上で、テキストのみの表現がいかに効果的かを評価するための探索モデルを設計する。
以上の結果から,言語表現だけでは,適切な対象カテゴリから画像パッチを検索する強力な信号が得られることがわかった。
視覚的に接地された言語モデルは、例えば検索においてテキストのみの言語モデルよりわずかに優れているが、人間よりもはるかに低い。
論文 参考訳（メタデータ） (2020-05-01T21:28:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。