論文の概要: On the Computational Benefit of Multimodal Learning

• arxiv url: http://arxiv.org/abs/2309.13782v1
• Date: Mon, 25 Sep 2023 00:20:50 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-26 17:31:41.927913
• Title: On the Computational Benefit of Multimodal Learning
• Title（参考訳）: マルチモーダル学習の計算的便益について
• Authors: Zhou Lu
• Abstract要約: 特定の条件下では、マルチモーダル学習は計算量で指数関数的に一助学習を上回ることが示される。 具体的には,一助学習のためのNPハードな学習タスクを提案するが,時間内にはマルチモーダルアルゴリズムによって解ける。
• 参考スコア（独自算出の注目度）: 3.4991031406102238
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human perception inherently operates in a multimodal manner. Similarly, as machines interpret the empirical world, their learning processes ought to be multimodal. The recent, remarkable successes in empirical multimodal learning underscore the significance of understanding this paradigm. Yet, a solid theoretical foundation for multimodal learning has eluded the field for some time. While a recent study by Lu (2023) has shown the superior sample complexity of multimodal learning compared to its unimodal counterpart, another basic question remains: does multimodal learning also offer computational advantages over unimodal learning? This work initiates a study on the computational benefit of multimodal learning. We demonstrate that, under certain conditions, multimodal learning can outpace unimodal learning exponentially in terms of computation. Specifically, we present a learning task that is NP-hard for unimodal learning but is solvable in polynomial time by a multimodal algorithm. Our construction is based on a novel modification to the intersection of two half-spaces problem.
• Abstract（参考訳）: 人間の知覚は本質的に多様である。 同様に、機械は経験的世界を解釈するので、学習プロセスはマルチモーダルでなければならない。 最近の経験的マルチモーダル学習の成功は、このパラダイムを理解することの重要性を強調している。 しかし、マルチモーダル学習の堅固な理論基盤は、しばらくの間この分野を脱却してきた。 Lu (2023) による最近の研究は、マルチモーダル学習の非モーダル学習と比較して、より優れたサンプル複雑さを示しているが、別の基本的な疑問が残る。 この研究は、マルチモーダル学習の計算的利点に関する研究を開始する。 特定の条件下では、マルチモーダル学習は計算量で指数関数的に一助学習を上回ることが示される。 具体的には,マルチモーダルアルゴリズムによって多項式時間で解ける一様学習のためのnpハードな学習タスクを提案する。 我々の構成は、2つの半空間問題の交点に対する新しい修正に基づいている。

関連論文リスト

• On the Comparison between Multi-modal and Single-modal Contrastive Learning [50.74988548106031]
  マルチモーダルとシングルモーダルのコントラスト学習の違いを理解するための理論的基盤を導入する。 マルチモーダル・シングルモーダル・コントラッシブ・ラーニングの下流タスクにおける一般化に影響を及ぼす臨界因子,すなわち信号対雑音比(SNR)を同定する。 我々の分析は、単一モードと多モードのコントラスト学習の最適化と一般化を特徴付ける統一的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2024-11-05T06:21:17Z)
• MMPareto: Boosting Multimodal Learning with Innocent Unimodal Assistance [10.580712937465032]
  従来無視されていた多モーダル学習目標と単モーダル学習目標との勾配の衝突を同定する。 MMParetoアルゴリズムを提案することで、学習目的に共通する方向の最終的な勾配を確保することができる。 また,タスクの難易度に明確な相違点のあるマルチタスクケースも容易に行えることが期待されている。
  論文  参考訳（メタデータ） (2024-05-28T01:19:13Z)
• On Stronger Computational Separations Between Multimodal and Unimodal Machine Learning [0.0]
  Lu (NeurIPS '23, ALT '24) はマルチモーダル学習の理論を導入する。 特に、Lu(ALT '24)は、学習タスクのtextitworst-caseインスタンスに関連する計算分離を示す。 基礎的な条件下では、平均ケースのユニモーダルとマルチモーダルの学習タスク間の任意の計算的分離が対応する暗号鍵合意プロトコルを意味することを証明している。
  論文  参考訳（メタデータ） (2024-04-02T19:21:28Z)
• Multimodal Representation Learning by Alternating Unimodal Adaptation [73.15829571740866]
  MLA(Multimodal Learning with Alternating Unimodal Adaptation)を提案する。 MLAは、それを交互に一助学習プロセスに変換することで、従来の共同マルチモーダル学習プロセスを再構築する。 共有ヘッドを通じてモーダル間相互作用をキャプチャし、異なるモーダル間で連続的な最適化を行う。 実験は5つの多様なデータセットで行われ、完全なモダリティを持つシナリオと、欠落したモダリティを持つシナリオを含む。
  論文  参考訳（メタデータ） (2023-11-17T18:57:40Z)
• A Theory of Multimodal Learning [3.4991031406102238]
  マルチモーダリティの研究は、マシンラーニングの分野において、比較的過小評価されている。 興味深い発見は、複数のモダリティで訓練されたモデルが、非モダリティタスクでも、微調整された非モダリティモデルより優れていることである。 本稿では,マルチモーダル学習アルゴリズムの一般化特性を研究することによって,この現象を説明する理論的枠組みを提供する。
  論文  参考訳（メタデータ） (2023-09-21T20:05:49Z)
• Learning Unseen Modality Interaction [54.23533023883659]
  マルチモーダル学習は、すべてのモダリティの組み合わせが訓練中に利用でき、クロスモーダル対応を学ぶことを前提としている。 我々は、目に見えないモダリティ相互作用の問題を提起し、第1の解を導入する。 異なるモジュラリティの多次元的特徴を、豊富な情報を保存した共通空間に投影するモジュールを利用する。
  論文  参考訳（メタデータ） (2023-06-22T10:53:10Z)
• Identifiability Results for Multimodal Contrastive Learning [72.15237484019174]
  本研究では,以前研究したマルチビュー設定よりも,より一般的な設定で共有要因を復元可能であることを示す。 本研究は,マルチモーダル表現学習の理論的基盤を提供し,マルチモーダルコントラスト学習を実践的に効果的に設定する方法を説明する。
  論文  参考訳（メタデータ） (2023-03-16T09:14:26Z)
• Multimodal foundation models are better simulators of the human brain [65.10501322822881]
  1500万の画像テキストペアを事前訓練した,新たに設計されたマルチモーダル基礎モデルを提案する。 視覚的エンコーダも言語的エンコーダもマルチモーダルで訓練され,脳に近いことが判明した。
  論文  参考訳（メタデータ） (2022-08-17T12:36:26Z)
• What Makes Multimodal Learning Better than Single (Provably) [28.793128982222438]
  複数のモダリティを持つ学習は、モダリティのサブセットを使用することで、より少ない人口リスクを達成できることを示す。 これは、実際のマルチモーダル応用で観測された重要な定性的現象を捉えた最初の理論的治療である。
  論文  参考訳（メタデータ） (2021-06-08T17:20:02Z)
• What is Multimodality? [13.922507071009958]
  本稿では,機械学習時代には不適当であることを示すマルチモダリティの古き良き定義について述べる。 マルチモーダル機械学習の文脈における(多重)モダリティの新しいタスク相対的定義を提案する。
  論文  参考訳（メタデータ） (2021-03-10T19:14:07Z)
• Provably Efficient Exploration for Reinforcement Learning Using Unsupervised Learning [96.78504087416654]
  強化学習(RL)問題における効率的な探索に教師なし学習を用い,本パラダイムが有効であるかどうかを考察する。 本稿では,教師なし学習アルゴリズムと非線形表RLアルゴリズムという,2つのコンポーネント上に構築された汎用的なアルゴリズムフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-03-15T19:23:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。