論文の概要: Expressivity In Multimodal Contrastive Learning

• arxiv url: http://arxiv.org/abs/2608.17203v1
• Date: Mon, 17 Aug 2026 23:29:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-19 21:40:53.162331
• Title: Expressivity In Multimodal Contrastive Learning
• Title（参考訳）: マルチモーダルコントラスト学習における表現性
• Abstract要約: 人口レベル, 密度推定の視点を取り入れて, 表現性について検討する。 表現性はアーキテクチャに依存していることを示す。 本稿では,既存のエンコーダ上に1つの学習重みベクトルを追加し,関節の普遍近似を復元するHadamard-CLIPを提案する。
• 参考スコア（独自算出の注目度）: 1.9674442311546263
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Contrastive learning has become a cornerstone of modern representation learning, powering CLIP-style models that underpin text-to-image generation, vision-language models, and retrieval across a rapidly growing range of modalities. Despite this empirical success, the expressive power of these architectures remains poorly understood. To gain insight, we study expressivity by adopting a population-level, density-estimation viewpoint: each architecture comprises a parameterized set of densities whose parameters may be chosen to approximate the joint distribution of the modalities. This isolates a question of pure representational capacity: which joint distributions can a given contrastive family of parameterizations approximate to arbitrary accuracy? We show that expressivity is sharply architecture-dependent. For two modalities, the simple two-tower CLIP architecture is a universal approximator. A natural generalization of CLIP, widely used in practice when three or more modalities are present, is based on a loss found by summing over all pairwise similarities. This provably cannot represent arbitrary joint distributions, although we prove that it remains expressive enough to match all pairwise conditionals. Motivated by this gap, we propose Hadamard-CLIP, which adds a single learned weight vector on top of the existing encoders and restores universal approximation of the joint for any number of modalities while preserving CLIP's fast, precomputable-embedding retrieval.
• Abstract（参考訳）: コントラスト学習は現代の表現学習の基盤となり、テキスト・ツー・イメージ生成、視覚言語モデル、そして急速に成長するモダリティの検索を支えるCLIPスタイルのモデルに力を入れている。 この経験的な成功にもかかわらず、これらの建築の表現力はいまだに理解されていない。 各アーキテクチャはパラメータ化された密度の集合からなり、そのパラメータはモダリティの結合分布を近似することができる。 これは純粋表現能力の問題を分離する: 任意の精度に近似したパラメータ化の与えられた対照的な族を、どの関節分布で得るか? 表現性はアーキテクチャに依存していることを示す。 2つのモダリティに対して、単純な2tower CLIPアーキテクチャは普遍近似器である。 CLIPの自然な一般化は、実際には3つ以上のモダリティが存在する場合に広く用いられるが、全てのペアの類似点を和って得られる損失に基づいている。 これは任意の関節分布を表わすことはできないが、すべてのペアの条件を満たすのに十分表現的であることを証明している。 このギャップによって、既存のエンコーダの上に1つの学習量ベクトルを追加し、CLIPの高速で計算可能なエンベディング検索を保ちながら、任意のモダリティに対して関節の普遍的な近似を復元するHadamard-CLIPを提案する。

関連論文リスト

• Where Does Generative Difficulty Reside? An Empirical Study of Target Representations [62.54876287800644]
  ターゲット表現は、イメージジェネレータが学ぶ必要がある分布を定義するが、しばしば交換可能なインターフェースとして扱われる。 マスク付き自己回帰整流モデルにおいて,生画素,SD-VAE潜伏剤,DINOv2,MAE表現-オートエンコーダの特徴について検討した。 その結果, 圧縮, 再構成忠実度, トークン次元, 可視的セマンティッククラスタリングは生成挙動を個別に予測できないことがわかった。
  論文  参考訳（メタデータ） (2026-08-01T12:32:31Z)
• RePercENT: Scaling Disentangled Representation Learning Beyond Two Modalities [34.35941675436447]
  RePercENTは、2つのモダリティを超えて、スケーラブルなペアワイズ・アンタングルをアンロックするように設計された、自己管理型のフレームワークである。 提案手法は, 事前抽出した埋め込みを直接操作し, 広範囲なジョイント・プレトレーニングの必要性を解消する。 さまざまなモダリティやタスクにわたって、RePercENTは、競合性能を維持しながら、アンタングルされたコンポーネントの回復に成功した。
  論文  参考訳（メタデータ） (2026-06-03T17:10:39Z)
• Rethinking the Good Enough Embedding for Easy Few-Shot Learning [4.941630596191806]
  本稿では,Platonic Representation hypothesisを利用して,既製の埋め込みが本質的に複雑なタスクに対して「十分良い」ことを実証する。 凍結したDINOv2-L特徴に対するk-Nearest Neighborの利用により,最適特徴抽出の階層的特徴付けを行う。 4つの主要なベンチマークで得られた結果は、我々のアプローチが洗練されたメタ学習アルゴリズムを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-05-13T21:52:05Z)
• Hyperbolic Enhanced Representation Learning for Incomplete Multi-view Clustering [57.38215918201251]
  本稿では,不完全なマルチビュークラスタリングのためのハイパーボリック拡張表現学習フレームワークであるHERLを提案する。 ポアンカレボール内で操作すると、HERLは表現学習を強化するために構造を意識した潜在空間を構築する。 HERLは最先端のアプローチよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2026-04-18T10:50:46Z)
• Hierarchical Contrastive Learning for Multimodal Data [3.1788482285024107]
  階層的コントラスト学習(Hierarchical Contrastive Learning)は、グローバルに共有され、部分的に共有され、モダリティ固有の表現を学習するフレームワークである。 マルチモーダルな電子健康記録では、HCLはより情報的な表現をもたらし、常に予測性能を改善する。
  論文  参考訳（メタデータ） (2026-04-07T05:53:04Z)
• Universal NP-Hardness of Clustering under General Utilities [11.62669179647184]
  有限距離空間上の多変数時間計算可能分割ユーティリティを動機付ける共通最適化コアを定式化する。 k-means、GMMs、DBSCAN、スペクトルクラスタリング、親和性伝播を含む10の主要なパラダイムをUPPフレームワークにマッピングすることで、それぞれのパラダイムがこの基本的障害を継承することを示した。
  論文  参考訳（メタデータ） (2026-02-27T13:08:15Z)
• Escaping Plato's Cave: JAM for Aligning Independently Trained Vision and Language Models [30.07172193932125]
  本稿では,JAM(Joint Autoencoder Modulator)が独立に訓練された表現のアライメントを誘導することを示す。 本研究は, 共通意味論の構造に関する理論的知見と, 一般論的な一助的基礎を専門的マルチモーダルモデルに変換するための実践的ガイダンスを提供する。
  論文  参考訳（メタデータ） (2025-07-01T21:43:50Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Understanding and Constructing Latent Modality Structures in Multi-modal Representation Learning [53.68371566336254]
  優れたパフォーマンスの鍵は、完全なモダリティアライメントではなく、有意義な潜在モダリティ構造にある、と我々は主張する。 具体的には,1)モダリティ内正規化のための深い特徴分離損失,2)モダリティ間正規化のためのブラウン橋損失,3)モダリティ内正規化およびモダリティ間正規化のための幾何学的整合損失を設計する。
  論文  参考訳（メタデータ） (2023-03-10T14:38:49Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• ExpressivE: A Spatio-Functional Embedding For Knowledge Graph Completion [78.8942067357231]
  ExpressivEは、一対の実体を点として埋め込み、仮想三重空間に超平行グラフとして関係を埋め込む。 我々は、ExpressivEが最先端のKGEと競合し、W18RRでさらに優れています。
  論文  参考訳（メタデータ） (2022-06-08T23:34:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。