論文の概要: Lens: Bringing the Right Semantic Perspective into Focus for Training-Free Multimodal Representation Learning

• arxiv url: http://arxiv.org/abs/2609.20252v1
• Date: Tue, 28 Jul 2026 11:39:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.644961
• Title: Lens: Bringing the Right Semantic Perspective into Focus for Training-Free Multimodal Representation Learning
• Title（参考訳）: レンズ:訓練なしマルチモーダル表現学習に焦点をあてる正しい意味的視点
• Abstract要約: 本稿では,表現読み出しタスクを指向する学習自由フレームワークを提案する。 Lensは、36のMMEBデータセット全体で63.9の精度@1を達成し、最も近い同じバックボーントレーニングなしの埋め込みベースラインを10.2ポイント上回っている。
• 参考スコア（独自算出の注目度）: 18.84361135558989
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-quality representations are essential for a wide range of downstream tasks. Dedicated embedding models are explicitly optimized for representation learning, yet their training data are often more limited in scale and diversity than the massive corpora used to pretrain modern large language models and multimodal large language models. Large-scale pretraining and instruction following enable autoregressive models to select relevant evidence, integrate multimodal information, and infer semantics under different task perspectives, creating a distinctive opportunity for training-free representation learning. However, our analysis reveals that existing semantic-elicitation methods do not reliably orient the extracted states toward the semantic perspective required by the downstream task. Consequently, the resulting representations often remain dominated by salient input content. We characterize this problem as semantic perspective misalignment and propose Lens, a training-free framework that makes representation readout task-directed. Semantic Perspective Anchoring associates the task-required perspective with a task-specific readout phrase, specifying the interpretive role of the positions later used for extraction. Contextualized Phrase Readout places the same phrase after the complete input and aggregates its token states, combining full-context access with the anchored perspective. The resulting representation reflects task-conditioned evidence integration and inference rather than a generic summary of salient content. Without parameter updates, architectural modification, or reranking, Lens achieves an overall Precision@1 of 63.9 across all 36 MMEB datasets, outperforming the closest same-backbone training-free embedding baseline by 10.2 points.
• Abstract（参考訳）: 下流タスクには高品質な表現が不可欠である。 述語埋め込みモデルは、表現学習に明示的に最適化されているが、そのトレーニングデータは、近代的な大規模言語モデルやマルチモーダルな大規模言語モデルの事前訓練に使用される巨大なコーパスよりも、規模や多様性に制限されることが多い。 大規模な事前訓練と指示に従うことで、自己回帰モデルが関連する証拠を選択し、マルチモーダル情報を統合し、異なるタスクパースペクティブの下で意味を推論し、トレーニング不要な表現学習の独特な機会を生み出すことができる。 しかし,本分析により,既存の意味緩和手法では抽出された状態を下流タスクで要求される意味的視点に確実に向けることができないことが明らかとなった。 その結果、結果として得られる表現は、しばしば有能な入力コンテンツに支配される。 本稿では,この問題を意味的視点のミスアライメントとして特徴付け,表現読み出しタスクを指示する学習自由フレームワークであるLensを提案する。 Semantic Perspective Anchoringはタスク要求の視点とタスク固有の読み出しフレーズを関連付け、後に抽出に使用される位置の解釈的役割を指定する。 Contextualized Phrase Readoutは、完全な入力後に同じフレーズを配置し、そのトークン状態を集約し、フルコンテキストアクセスとアンロックされたパースペクティブを組み合わせる。 結果として得られた表現は、有能な内容の一般的な要約ではなく、タスク条件付きエビデンスの統合と推論を反映している。 パラメータの更新、アーキテクチャの変更、または再ランク無しで、Lensは36のMMEBデータセットすべてで63.9の精度@1を達成し、最も近い同じバックボーンのトレーニングなしの埋め込みベースラインを10.2ポイント上回っている。

関連論文リスト

• ViQ: Text-Aligned Visual Quantized Representations at Any Resolution [91.46185855575789]
  本稿では,視覚的量子化表現フレームワークViQについて紹介する。 我々のアプローチは、量子化学習をテキスト整列事前学習と特徴分別という2つの段階に構成する。 マルチモーダル・タスクの実験では、ViQは最先端のマルチモーダル・ビジョン・エンコーダに比べて競争性能が高いことを示した。
  論文  参考訳（メタデータ） (2026-06-25T17:29:27Z)
• Seeing What You Miss: Vision-Language Pre-training with Semantic Completion Learning [22.464424641734652]
  クロスモーダルアライメントは視覚言語事前学習モデルに不可欠である。 本研究では,グローバル・ローカル・アライメントを支援するセマンティック・コンプリート学習タスクを提案する。 また、フレキシブル・ビジョン・エンコーダを導入し、画像テキストとビデオテキストのマルチモーダルタスクを同時に実行できるようにした。
  論文  参考訳（メタデータ） (2022-11-24T06:39:16Z)
• MaPLe: Multi-modal Prompt Learning [54.96069171726668]
  本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。 最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
  論文  参考訳（メタデータ） (2022-10-06T17:59:56Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• Behind the Scene: Revealing the Secrets of Pre-trained Vision-and-Language Models [65.19308052012858]
  最近のTransformerベースの大規模事前学習モデルは、視覚言語(V+L)研究に革命をもたらした。 VALUEは,マルチモーダル事前学習における内部動作の解明を目的とした,精密に設計された探索タスクのセットである。 主要な観察:事前訓練されたモデルは、推論中の画像よりもテキストに出席する傾向を示す。
  論文  参考訳（メタデータ） (2020-05-15T01:06:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。