論文の概要: Towards an Improved Understanding and Utilization of Maximum Manifold Capacity Representations

• arxiv url: http://arxiv.org/abs/2406.09366v1
• Date: Thu, 13 Jun 2024 17:49:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 16:15:58.972560
• Title: Towards an Improved Understanding and Utilization of Maximum Manifold Capacity Representations
• Title（参考訳）: 最大マニフォールド容量表現の理解と活用に向けて
• Authors: Rylan Schaeffer, Victor Lecomte, Dhruv Bhandarkar Pai, Andres Carranza, Berivan Isik, Alyssa Unell, Mikail Khona, Thomas Yerxa, Yann LeCun, SueYeon Chung, Andrey Gromov, Ravid Shwartz-Ziv, Sanmi Koyejo,
• Abstract要約: MMCR (Maximum Manifold Capacity Representations) は、MVSSLの他の主要な手法に適合または超越した自己教師付き学習手法である。 MMCRは学習した埋め込みのアライメントと均一性を動機付けていることを示す。 二重降下に類似した前訓練損失の非単調な変化を実験的に確認した。 次に,画像データに適用されたMMCRが,マルチモーダル画像テキストデータ上で動作可能であることを示す。
• 参考スコア（独自算出の注目度）: 29.69549286641418
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Maximum Manifold Capacity Representations (MMCR) is a recent multi-view self-supervised learning (MVSSL) method that matches or surpasses other leading MVSSL methods. MMCR is intriguing because it does not fit neatly into any of the commonplace MVSSL lineages, instead originating from a statistical mechanical perspective on the linear separability of data manifolds. In this paper, we seek to improve our understanding and our utilization of MMCR. To better understand MMCR, we leverage tools from high dimensional probability to demonstrate that MMCR incentivizes alignment and uniformity of learned embeddings. We then leverage tools from information theory to show that such embeddings maximize a well-known lower bound on mutual information between views, thereby connecting the geometric perspective of MMCR to the information-theoretic perspective commonly discussed in MVSSL. To better utilize MMCR, we mathematically predict and experimentally confirm non-monotonic changes in the pretraining loss akin to double descent but with respect to atypical hyperparameters. We also discover compute scaling laws that enable predicting the pretraining loss as a function of gradients steps, batch size, embedding dimension and number of views. We then show that MMCR, originally applied to image data, is performant on multimodal image-text data. By more deeply understanding the theoretical and empirical behavior of MMCR, our work reveals insights on improving MVSSL methods.
• Abstract（参考訳）: MMCR(Maximum Manifold Capacity Representations)は、MVSSLメソッドに適合または超える、最近の多視点自己教師型学習(MVSSL)手法である。 MMCRは、データ多様体の線形分離性に関する統計力学的観点から、共通のMVSSL系統のどれにもうまく適合しないので、興味深い。 本稿では,MMCRの理解と利用を改善することを目的とする。 MMCRをよりよく理解するために、高次元確率からツールを活用し、MMCRが学習した埋め込みのアライメントと均一性を動機付けることを示す。 次に、情報理論のツールを活用し、これらの埋め込みがビュー間の相互情報に対するよく知られた下界を最大化することを示し、その結果、MMCRの幾何学的視点とMVSSLでよく議論されている情報理論的視点を結びつける。 MMCRをより有効活用するために,非単調な非単調な損失の変化を,非定型ハイパーパラメータに関して,数学的に予測し,実験的に確認する。 また、グラデーションステップ、バッチサイズ、埋め込み次元、ビュー数などの関数として、事前学習損失を予測することができる計算スケーリング法則も発見する。 次に,画像データに適用されたMMCRが,マルチモーダル画像テキストデータ上で動作可能であることを示す。 MMCRの理論的および経験的挙動をより深く理解することにより,MVSSL法の改善に関する知見を明らかにする。

関連論文リスト

• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [66.1595537904019]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• F-LMM: Grounding Frozen Large Multimodal Models [53.8059045627934]
  我々は,人間とAIの会話において,F-LMM(F-LMM)を解凍したLMMを提示する。 トレーニング可能なCNNレイヤをいくつか使用すれば、ワードピクセルのアテンション重みをマスクロジットに変換することができる。 我々のF-LMMは特別なセグメンテーショントークンを学習したり、高品質な接地命令チューニングデータを利用したりもしません。
  論文  参考訳（メタデータ） (2024-06-09T15:14:26Z)
• Maximum Manifold Capacity Representations in State Representation Learning [8.938418994111716]
  多様体に基づく自己教師付き学習(SSL)は、多様体仮説に基づいて構築される。 アンバランスなアトラス(DIM-UA)を備えたDeepInfomaxが強力なツールとして登場した。 MMCRは、多様体圧縮によるクラス分離性を最適化することにより、SSLの新たなフロンティアを提供する。 本稿では,既存のSSLメソッドへのMMCRの革新的な統合について述べる。
  論文  参考訳（メタデータ） (2024-05-22T17:19:30Z)
• Learning Efficient Coding of Natural Images with Maximum Manifold Capacity Representations [4.666056064419346]
  効率的な符号化仮説は、感覚系の応答特性が入力の統計に適応していることを提案する。 エレガントではあるものの、情報理論の特性は実際的な設定や最適化の目的関数として使うのが難しいことで知られている。 ここでは、多様体の容量を直接最適化し、最大多様体容量表現(MMCR)が得られるという仮定を概説する。
  論文  参考訳（メタデータ） (2023-03-06T17:26:30Z)
• Understanding Multimodal Contrastive Learning and Incorporating Unpaired Data [19.72282903349282]
  マルチモーダル・コントラッシブ・ラーニング(MMCL)における非線形損失関数の一般クラスを示す。 MMCLの特徴学習能力は,各モダリティに適用される一助的コントラスト学習能力よりも優れていることを示す。 追加の未ペアデータにアクセスできる場合、追加の未ペアデータを含む新たなMMCL損失を提案する。
  論文  参考訳（メタデータ） (2023-02-13T10:11:05Z)
• From Cloze to Comprehension: Retrofitting Pre-trained Masked Language Model to Pre-trained Machine Reader [130.45769668885487]
  Pre-trained Machine Reader (PMR) は、ラベル付きデータを取得することなく、MLMを事前学習機械読解(MRC)モデルに適合させる新しい手法である。 提案したPMRを構築するために,多量の汎用および高品質なMRCスタイルのトレーニングデータを構築した。 PMRは、MRCの定式化における様々な抽出および分類タスクに対処するための統一モデルとして機能する可能性がある。
  論文  参考訳（メタデータ） (2022-12-09T10:21:56Z)
• Provable Generalization of Overparameterized Meta-learning Trained with SGD [62.892930625034374]
  我々は、広く使われているメタラーニング手法、モデル非依存メタラーニング(MAML)の一般化について研究する。 我々は、MAMLの過大なリスクに対して、上界と下界の両方を提供し、SGDダイナミクスがこれらの一般化境界にどのように影響するかをキャプチャする。 理論的知見は実験によってさらに検証される。
  論文  参考訳（メタデータ） (2022-06-18T07:22:57Z)
• MAML is a Noisy Contrastive Learner [72.04430033118426]
  モデルに依存しないメタラーニング(MAML)は、今日では最も人気があり広く採用されているメタラーニングアルゴリズムの1つである。 我々は、MAMLの動作メカニズムに対する新たな視点を提供し、以下に示すように、MAMLは、教師付きコントラスト目的関数を用いたメタラーナーに類似している。 このような干渉を軽減するため, 単純だが効果的な手法であるゼロ化手法を提案する。
  論文  参考訳（メタデータ） (2021-06-29T12:52:26Z)
• Multi-document Summarization with Maximal Marginal Relevance-guided Reinforcement Learning [54.446686397551275]
  RL-MMRは、古典的MDSで使用される高度な神経SDS法と統計測度を統一する。 RL-MMRは、より少ない有望な候補にMMRガイダンスを投入し、探索空間を抑え、より良い表現学習をもたらす。
  論文  参考訳（メタデータ） (2020-09-30T21:50:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。