論文の概要: Big Cooperative Learning

• arxiv url: http://arxiv.org/abs/2407.21319v1
• Date: Wed, 31 Jul 2024 03:59:14 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-01 18:51:29.053846
• Title: Big Cooperative Learning
• Title（参考訳）: 大規模協調学習
• Authors: Yulai Cong,
• Abstract要約: 基礎モデルのトレーニングは,大きな協調学習の一形態として解釈できることを示す。 本稿では,多目的データサンプリング機能を備えた新しい逆学習基盤モデルであるBigLearn-GANを提案する。
• 参考スコア（独自算出の注目度）: 7.958840888809145
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cooperation plays a pivotal role in the evolution of human intelligence; moreover, it also underlies the recent revolutionary advancement of artificial intelligence (AI) that is driven by foundation models. Specifically, we reveal that the training of foundation models can be interpreted as a form of big cooperative learning (\textit{abbr.} big learning), where massive learning individuals/tasks \emph{cooperate} to approach the unique essence of data from diverse perspectives of data prediction, leveraging a universal model. The presented big learning therefore unifies most training objectives of foundation models within a consistent framework, where their underlying assumptions are exposed simultaneously. We design tailored simulations to demonstrate the principle of big learning, based on which we provide learning-perspective justifications for the successes of foundation models, with interesting side-products. Furthermore, we reveal that big learning is a new dimension for upgrading conventional machine learning paradigms, valuable for endowing reinvigorations to associated applications; as an illustrative example, we propose the BigLearn-GAN, which is a novel adversarially-trained foundation model with versatile data sampling capabilities. Code is available at \texttt{https://github.com/YulaiCong/BigCooperativeLearning}.
• Abstract（参考訳）: 協力は、人間の知能の進化において重要な役割を担い、また、基礎モデルによって駆動される最近の人工知能(AI)の革命的な進歩にも根ざしている。 具体的には,基礎モデルのトレーニングを,大きな協調学習(\textit{abbr>)の一形態として解釈できることを明らかにする。 大規模学習の個人/タスク \emph{cooperate} が、データ予測のさまざまな視点からデータの本質にアプローチし、普遍的なモデルを活用する。 提示されたビッグデータは、基礎となる前提が同時に公開されている一貫したフレームワーク内で、基礎モデルのトレーニング目標の大部分を統一する。 我々は,基礎モデルの成功に対する学習のパースペクティブな正当化を,興味深い副産物で提供する,大規模学習の原理を実証するために,最適化されたシミュレーションを設計する。 さらに、ビッグデータは従来の機械学習パラダイムを改良するための新しい次元であり、関連するアプリケーションに再活性化を与えるのに有用なものであることを明らかにし、実例として、多目的データサンプリング機能を備えた新しい逆学習基盤モデルであるBigLearn-GANを提案する。 コードは \texttt{https://github.com/YulaiCong/BigCooperativeLearning} で公開されている。

関連論文リスト

• Relational Learning in Pre-Trained Models: A Theory from Hypergraph Recovery Perspective [60.64922606733441]
  我々は,関係学習をハイパーグラフリカバリとして形式化する数学的モデルを導入し,基礎モデル(FM)の事前学習について検討する。 我々のフレームワークでは、世界はハイパーグラフとして表現され、データはハイパーエッジからランダムなサンプルとして抽象化される。我々は、このハイパーグラフを復元するための事前学習モデル(PTM)の有効性を理論的に検証し、ミニマックスに近い最適スタイルでデータ効率を解析する。
  論文  参考訳（メタデータ） (2024-06-17T06:20:39Z)
• Heterogeneous Contrastive Learning for Foundation Models and Beyond [73.74745053250619]
  ビッグデータと人工知能の時代において、新しいパラダイムは、大規模な異種データをモデル化するために、対照的な自己教師付き学習を活用することである。 本調査は基礎モデルの異種コントラスト学習の現況を批判的に評価する。
  論文  参考訳（メタデータ） (2024-03-30T02:55:49Z)
• Learning Interpretable Concepts: Unifying Causal Representation Learning and Foundation Models [51.43538150982291]
  人間の解釈可能な概念をデータから学習する方法を研究する。 両分野からアイデアをまとめ、多様なデータから概念を確実に回収できることを示す。
  論文  参考訳（メタデータ） (2024-02-14T15:23:59Z)
• Big Learning [15.733273085085763]
  ビッグデータは、大規模な完全/不完全トレーニングデータに固有の情報を活用する。 ビッグデータは、すべてのジョイント/コンディショナル/マージナルデータ機能を1つのユニバーサルモデルで提供することができる。 提案した大規模学習の有効性を検証するために,多種多様な実験を行った。
  論文  参考訳（メタデータ） (2022-07-08T13:35:21Z)
• WenLan 2.0: Make AI Imagine via a Multimodal Foundation Model [74.4875156387271]
  我々は,膨大なマルチモーダル(視覚的・テキスト的)データを事前学習した新しい基礎モデルを開発する。 そこで本研究では,様々な下流タスクにおいて,最先端の成果が得られることを示す。
  論文  参考訳（メタデータ） (2021-10-27T12:25:21Z)
• Model-Based Deep Learning [155.063817656602]
  信号処理、通信、制御は伝統的に古典的な統計モデリング技術に依存している。 ディープニューラルネットワーク(DNN)は、データから操作を学ぶ汎用アーキテクチャを使用し、優れたパフォーマンスを示す。 私たちは、原理数学モデルとデータ駆動システムを組み合わせて両方のアプローチの利点を享受するハイブリッド技術に興味があります。
  論文  参考訳（メタデータ） (2020-12-15T16:29:49Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。