論文の概要: On Stronger Computational Separations Between Multimodal and Unimodal Machine Learning
- arxiv url: http://arxiv.org/abs/2404.02254v1
- Date: Tue, 2 Apr 2024 19:21:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-04 19:28:46.490752
- Title: On Stronger Computational Separations Between Multimodal and Unimodal Machine Learning
- Title(参考訳): マルチモーダル機械学習と単モーダル機械学習のより強い計算分離について
- Authors: Ari Karchmer,
- Abstract要約: マルチモーダル機械学習は、大規模な経験的成功(例えば、GPT-4)を享受した
本稿では,マルチモーダル学習理論モデルと一助学習理論モデルとの分離の可能性を検討する。
自然条件下では、任意の計算分離が対応する暗号鍵合意プロトコルを意味することを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In multimodal machine learning, multiple modalities of data (e.g., text and images) are combined to facilitate the learning of a better machine learning model, which remains applicable to a corresponding unimodal task (e.g., text generation). Recently, multimodal machine learning has enjoyed huge empirical success (e.g. GPT-4). Motivated to develop theoretical justification for this empirical success, Lu (NeurIPS '23, ALT '24) introduces a theory of multimodal learning, and considers possible separations between theoretical models of multimodal and unimodal learning. In particular, Lu (ALT '24) shows a computational separation, which is relevant to worst-case instances of the learning task. In this paper, we give a stronger average-case computational separation, where for "typical" instances of the learning task, unimodal learning is computationally hard, but multimodal learning is easy. We then question how "organic" the average-case separation is. Would it be encountered in practice? To this end, we prove that under natural conditions, any given computational separation between average-case unimodal and multimodal learning tasks implies a corresponding cryptographic key agreement protocol. We suggest to interpret this as evidence that very strong computational advantages of multimodal learning may arise infrequently in practice, since they exist only for the "pathological" case of inherently cryptographic distributions. However, this does not apply to possible (super-polynomial) statistical advantages.
- Abstract(参考訳): マルチモーダル機械学習では、複数のデータ(例:テキスト、画像)を組み合わせることで、より優れた機械学習モデルの学習が容易になる。
近年,マルチモーダル機械学習は経験的成功を収めている(例: GPT-4)。
この経験的成功を理論的に正当化するために、Lu (NeurIPS '23, ALT '24) はマルチモーダル学習の理論を導入し、マルチモーダル学習とユニモーダル学習の理論的モデルとの分離の可能性を検討する。
特に、Lu(ALT '24)は、学習タスクの最悪の事例に関連する計算分離を示す。
本稿では,学習課題の「典型的」インスタンスに対して,一助学習は計算が難しいが,マルチモーダル学習は容易である,という,より強い平均ケースの計算分離を与える。
次に、平均ケース分離の“有機的”さに疑問を投げかけます。
それは実際に遭遇するだろうか?
この目的のために、自然条件下では、平均ケース・ユニモーダルとマルチモーダル・ラーニング・タスク間の任意の計算分離が対応する暗号鍵合意プロトコルを意味することを証明した。
これは、本質的に暗号分布の「病理学的」な場合のみ存在するため、マルチモーダル学習の非常に強力な計算上の優位性は、実際は頻繁に発生する可能性があるという証拠として解釈することを提案する。
しかし、これは(超ポリノミカルな)統計上の利点には当てはまらない。
関連論文リスト
- A Theory of Unimodal Bias in Multimodal Learning [8.089234432461806]
深層マルチモーダル線形ネットワークを用いた一様偏差理論を考案する。
長い一様相は、一般化の欠陥と恒久的一様偏差をもたらす可能性がある。
この研究は、ジョイントトレーニングにおけるマルチモーダルラーニングの病理を照らす。
論文 参考訳(メタデータ) (2023-12-01T21:29:54Z) - Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。
MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。
共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。
実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
論文 参考訳(メタデータ) (2023-11-17T18:57:40Z) - On the Computational Benefit of Multimodal Learning [3.4991031406102238]
特定の条件下では、マルチモーダル学習は計算量で指数関数的に一助学習を上回ることが示される。
具体的には,一助学習のためのNPハードな学習タスクを提案するが,時間内にはマルチモーダルアルゴリズムによって解ける。
論文 参考訳(メタデータ) (2023-09-25T00:20:50Z) - A Theory of Multimodal Learning [3.4991031406102238]
マルチモーダリティの研究は、マシンラーニングの分野において、比較的過小評価されている。
興味深い発見は、複数のモダリティで訓練されたモデルが、非モダリティタスクでも、微調整された非モダリティモデルより優れていることである。
本稿では,マルチモーダル学習アルゴリズムの一般化特性を研究することによって,この現象を説明する理論的枠組みを提供する。
論文 参考訳(メタデータ) (2023-09-21T20:05:49Z) - Deep Metric Loss for Multimodal Learning [3.8979646385036175]
マルチモーダル学習のための新しいテキストマルチモーダル損失パラダイムを提案する。
textMultiModal Losは、過剰適合による非効率な学習を防止し、マルチモーダルモデルを効率的に最適化する。
我々の損失は、最近のモデルの性能向上を実証的に示す。
論文 参考訳(メタデータ) (2023-08-21T06:04:30Z) - Learning Unseen Modality Interaction [54.23533023883659]
マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。
我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。
異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
論文 参考訳(メタデータ) (2023-06-22T10:53:10Z) - Multimodal Learning Without Labeled Multimodal Data: Guarantees and
Applications [97.79283975518047]
複数のモーダルから共同で学習する多くの機械学習システムでは、マルチモーダル相互作用の性質を理解することが中心的な研究課題である。
我々は,この相互作用定量化の課題について,ラベル付き単調データのみを用いた半教師付き環境で検討する。
相互作用の正確な情報理論的定義を用いて、我々の重要な貢献は、マルチモーダル相互作用の量を定量化するための下界と上界の導出である。
論文 参考訳(メタデータ) (2023-06-07T15:44:53Z) - Identifiability Results for Multimodal Contrastive Learning [72.15237484019174]
本研究では,以前研究したマルチビュー設定よりも,より一般的な設定で共有要因を復元可能であることを示す。
本研究は,マルチモーダル表現学習の理論的基盤を提供し,マルチモーダルコントラスト学習を実践的に効果的に設定する方法を説明する。
論文 参考訳(メタデータ) (2023-03-16T09:14:26Z) - Modality Competition: What Makes Joint Training of Multi-modal Network
Fail in Deep Learning? (Provably) [75.38159612828362]
最高のユニモーダルネットワークは、共同で訓練されたマルチモーダルネットワークよりも優れていることが観察されている。
この研究は、ニューラルネットワークにおけるそのようなパフォーマンスギャップの出現に関する理論的な説明を提供する。
論文 参考訳(メタデータ) (2022-03-23T06:21:53Z) - What Makes Multimodal Learning Better than Single (Provably) [28.793128982222438]
複数のモダリティを持つ学習は、モダリティのサブセットを使用することで、より少ない人口リスクを達成できることを示す。
これは、実際のマルチモーダル応用で観測された重要な定性的現象を捉えた最初の理論的治療である。
論文 参考訳(メタデータ) (2021-06-08T17:20:02Z) - Relating by Contrasting: A Data-efficient Framework for Multimodal
Generative Models [86.9292779620645]
生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。
提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
論文 参考訳(メタデータ) (2020-07-02T15:08:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。