論文の概要: A Statistical Theory of Contrastive Pre-training and Multimodal Generative AI

• arxiv url: http://arxiv.org/abs/2501.04641v1
• Date: Wed, 08 Jan 2025 17:47:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 16:10:19.697887
• Title: A Statistical Theory of Contrastive Pre-training and Multimodal Generative AI
• Title（参考訳）: コントラスト的事前学習とマルチモーダル生成AIの統計的理論
• Authors: Kazusato Oko, Licong Lin, Yuhang Cai, Song Mei,
• Abstract要約: マルチモーダル生成AIシステムは、異なるモーダルの表現を学ぶために、対照的な事前学習に依存している。 本稿では、下流タスクにおける対照的な事前学習の成功を説明するための理論的枠組みを開発する。
• 参考スコア（独自算出の注目度）: 18.974297347310287
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Multi-modal generative AI systems, such as those combining vision and language, rely on contrastive pre-training to learn representations across different modalities. While their practical benefits are widely acknowledged, a rigorous theoretical understanding of the contrastive pre-training framework remains limited. This paper develops a theoretical framework to explain the success of contrastive pre-training in downstream tasks, such as zero-shot classification, conditional diffusion models, and vision-language models. We introduce the concept of approximate sufficient statistics, a generalization of the classical sufficient statistics, and show that near-minimizers of the contrastive pre-training loss are approximately sufficient, making them adaptable to diverse downstream tasks. We further propose the Joint Generative Hierarchical Model for the joint distribution of images and text, showing that transformers can efficiently approximate relevant functions within this model via belief propagation. Building on this framework, we derive sample complexity guarantees for multi-modal learning based on contrastive pre-trained representations. Numerical simulations validate these theoretical findings, demonstrating the strong generalization performance of contrastively pre-trained transformers in various multi-modal tasks.
• Abstract（参考訳）: 視覚と言語を組み合わせたマルチモーダル生成AIシステムは、異なるモダリティの表現を学ぶために、対照的な事前学習に依存している。 彼らの実践的な利点は広く認められているが、対照的な事前学習フレームワークに関する厳密な理論的理解は依然として限られている。 本稿では、ゼロショット分類、条件付き拡散モデル、視覚言語モデルなど、下流タスクにおける対照的な事前学習の成功を説明する理論的枠組みを開発する。 本稿では,古典的十分統計学の一般化である近似十分統計学の概念を導入し,コントラスト付き事前学習損失の近似最小化器がほぼ十分であることを示す。 さらに,画像とテキストの連成分布に関する共同生成階層モデルを提案する。 このフレームワークを基盤として、コントラッシブな事前学習表現に基づくマルチモーダル学習のためのサンプル複雑性保証を導出する。 数値シミュレーションにより, 各種マルチモーダルタスクにおいて, 対照的に事前学習した変圧器の強い一般化性能が示された。

関連論文リスト

• Platonic Grounding for Efficient Multimodal Language Models [22.715168904364756]
  我々は、事前訓練されたモデルの整合性に依存する既存のマルチモーダルフレームワークをモチベーションし、簡単な修正を提案する。 私たちの研究は、事前学習されたモデルをより大規模なシステムに効率的に組み合わせることにも影響します。
  論文  参考訳（メタデータ） (2025-04-27T18:56:26Z)
• A Statistical Theory of Contrastive Learning via Approximate Sufficient Statistics [19.24473530318175]
  我々はデータ拡張に基づくコントラスト学習を解析するための新しい理論フレームワークを開発した。 我々は,SimCLRなどのコントラスト損失を最小化すれば,ほぼ十分エンコーダが得られることを示す。
  論文  参考訳（メタデータ） (2025-03-21T21:07:18Z)
• Generative Modeling of Class Probability for Multi-Modal Representation Learning [7.5696616045063845]
  マルチモーダル理解は、モデルが異なるモーダルから入力を共同で解釈できるようにすることによって、人工知能において重要な役割を担っている。 マルチモーダル表現学習にクラス確率分布を利用する新しいクラスアンカーアライメント手法を提案する。 本手法は,クラスアンカーを各モードのクラス確率分布の生成と調整のプロンプトとして符号化する。
  論文  参考訳（メタデータ） (2025-03-21T01:17:44Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [86.21199607040147]
  自己改善認知(Self-Improving cognition、SIcog)は、次世代基礎言語モデルを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解手法であるChain-of-Descriptionを導入し、構造化連鎖推論(CoT)を統合し、深いマルチモーダル推論をサポートする。 広範囲にわたる実験により、SIcogはマルチモーダル認知を著しく改善した次世代基盤MLLMを生産することが示された。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• On the Comparison between Multi-modal and Single-modal Contrastive Learning [50.74988548106031]
  マルチモーダルとシングルモーダルのコントラスト学習の違いを理解するための理論的基盤を導入する。 マルチモーダル・シングルモーダル・コントラッシブ・ラーニングの下流タスクにおける一般化に影響を及ぼす臨界因子,すなわち信号対雑音比(SNR)を同定する。 我々の分析は、単一モードと多モードのコントラスト学習の最適化と一般化を特徴付ける統一的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-05T06:21:17Z)
• Weighted Point Cloud Embedding for Multimodal Contrastive Learning Toward Optimal Similarity Metric [44.95433989446052]
  提案手法の利点は,CLIPの相対的損失に対する新たな理解を通じて示される。 重み付き点雲に基づく提案した類似性は、常に最適類似性を達成することを示す。
  論文  参考訳（メタデータ） (2024-04-30T03:15:04Z)
• Concept Learning for Interpretable Multi-Agent Reinforcement Learning [5.179808182296037]
  本稿では,ドメインエキスパートからの解釈可能な概念を,マルチエージェント強化学習を通じて学習したモデルに組み込む手法を提案する。 これにより、専門家は、結果のコンセプトモデルについて、これらのハイレベルな概念を実行時に推論するだけでなく、パフォーマンスを改善するために介入し、正しい予測を行うことができる。 シミュレーションおよび実世界の協調競争型マルチエージェントゲームにおいて,政策性能とサンプル効率の利点を生かし,解釈可能性とトレーニング安定性の向上を図っている。
  論文  参考訳（メタデータ） (2023-02-23T18:53:09Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Towards All-in-one Pre-training via Maximizing Multi-modal Mutual Information [77.80071279597665]
  マルチモーダル相互情報事前学習(M3I事前学習)を最大化するオールインワン単段階事前学習手法を提案する。 提案手法は,ImageNet分類,オブジェクト検出,LVIS長鎖オブジェクト検出,ADE20kセマンティックセマンティックセマンティックセマンティクスなど,様々なビジョンベンチマークにおける事前学習手法よりも優れた性能を実現する。
  論文  参考訳（メタデータ） (2022-11-17T18:59:49Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Video Prediction via Example Guidance [156.08546987158616]
  ビデオ予測タスクでは、将来のコンテンツとダイナミクスのマルチモーダルな性質を捉えることが大きな課題である。 本研究では,有効な将来状態の予測を効果的に行うための,シンプルで効果的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-07-03T14:57:24Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。