論文の概要: Better Language Models Exhibit Higher Visual Alignment
- arxiv url: http://arxiv.org/abs/2410.07173v2
- Date: Mon, 17 Feb 2025 13:25:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-18 14:07:43.679334
- Title: Better Language Models Exhibit Higher Visual Alignment
- Title（参考訳）: より良い言語モデルが視覚的アライメントを高める
- Authors: Jona Ruthardt, Gertjan J. Burghouts, Serge Belongie, Yuki M. Asano,
- Abstract要約: 識別的視覚言語モデルフレームワークにおいて、凍結したテキスト表現を利用して、最初の直接解析を行う。
復号器をベースとしたLCMは,本質的な視覚的アライメントを示す。
弊社のアプローチは、CLIPの精度が1.4%、中国語が38.7%を超えている。
- 参考スコア（独自算出の注目度）: 23.884532179063733
- License:
- Abstract: How well do text-only Large Language Models (LLMs) naturally align with the visual world? We provide the first direct analysis by utilizing frozen text representations in a discriminative vision-language model framework and measuring zero-shot generalization on unseen classes. We find decoder-based LLMs exhibit high intrinsic visual alignment. In particular, more capable LLMs reliably demonstrate stronger generalization. Moreover, utilizing frozen LLMs leads to strong gains in cross-lingual settings, where our approach surpasses CLIP's accuracy of 1.4% with 38.7% for Chinese. Our proposed method improves both robustness and generalization and also significantly reduces the need for paired data and compute, making vision-language models more accessible and adaptable.
- Abstract（参考訳）: テキストのみのLarge Language Models(LLMs)は、視覚の世界と自然にどのように一致しますか?
識別的視覚言語モデルフレームワークにおける凍結したテキスト表現を利用して、目に見えないクラスにおけるゼロショットの一般化を計測し、最初の直接解析を行う。
復号器をベースとしたLCMは,本質的な視覚的アライメントを示す。
特に、より有能なLLMはより強力な一般化を確実に示す。
さらに、凍結LDMを利用することで、CLIPの精度が1.4%、中国語が38.7%を超え、言語間設定が大幅に向上する。
提案手法は、ロバスト性と一般化の両方を改善し、またペア化されたデータと計算の必要性を大幅に低減し、視覚言語モデルがよりアクセスしやすく適応できるようにする。
関連論文リスト
- Discriminative Fine-tuning of LVLMs [67.14293827774827]
CLIPのような対照的に訓練された視覚言語モデル(VLM)は、識別的視覚言語表現学習の事実上のアプローチとなっている。
我々は,LVLMの識別的微調整のための新たな訓練手法である「両世界のベスト」を組み合わせることを提案する。
論文 参考訳（メタデータ） (2024-12-05T17:54:27Z) - LLM2Vec: Large Language Models Are Secretly Powerful Text Encoders [34.421335513040795]
大規模デコーダのみの言語モデル(LLM)は、今日のNLPタスクとベンチマークのほとんどで最先端のモデルである。
LLM2Vecは、任意のデコーダのみのLCMを強力なテキストエンコーダに変換する、単純な教師なしアプローチである。
論文 参考訳（メタデータ） (2024-04-09T02:51:05Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳（メタデータ） (2023-12-26T07:24:46Z) - VILA: On Pre-training for Visual Language Models [74.08039416548209]
ステップ・バイ・ステップ制御可能な比較によるVLM事前学習の設計オプションについて検討した。
私たちは、最先端のモデルよりも一貫して優れたVisual LanguageモデルファミリであるVILAを構築します。
論文 参考訳（メタデータ） (2023-12-12T18:58:18Z) - MLLMs-Augmented Visual-Language Representation Learning [70.5293060238008]
MLLM(Multi-modal Large Language Models)が視覚言語表現学習を向上させることを実証した。
本手法は単純で,MLLMを用いて画像毎に複数のキャプションを拡張できる。
拡張キャプションの品質と可用性を維持するために,テキストシーリングを提案する。
論文 参考訳（メタデータ） (2023-11-30T18:05:52Z) - mBLIP: Efficient Bootstrapping of Multilingual Vision-LLMs [50.17767479660832]
視覚言語モデル(Vision-LLMs)は、事前訓練された画像エンコーダを(凍結した)大型言語モデル(LLMs)とポストホック条件LLMsに整合させ、画像入力を理解する。
我々は,マルチ言語LLMを利用した最初のビジョン-LLMであるmBLIPを,コンシューマレベルのハードウェア上で計算的に効率よく提供する。
論文 参考訳（メタデータ） (2023-07-13T17:51:58Z) - Large Language Models Are Latent Variable Models: Explaining and Finding
Good Demonstrations for In-Context Learning [104.58874584354787]
近年,事前学習型大規模言語モデル (LLM) は,インコンテキスト学習(in-context learning)として知られる推論時少数ショット学習能力を実現する上で,顕著な効率性を示している。
本研究では,現実のLLMを潜在変数モデルとみなし,ベイズレンズによる文脈内学習現象を考察することを目的とする。
論文 参考訳（メタデータ） (2023-01-27T18:59:01Z) - Injecting Text and Cross-lingual Supervision in Few-shot Learning from
Self-Supervised Models [33.66135770490531]
新しい言語への自己教師付き表現の伝達を改善するために,音声集合音響モデルが言語間監督を活用する方法を示す。
また、格子フリーの最大相互情報目標を用いた微調整を実現するために、ターゲット言語テキストをどのように利用できるかを示す。
論文 参考訳（メタデータ） (2021-10-10T17:33:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。