論文の概要: Big Learning: A Universal Machine Learning Paradigm?
- arxiv url: http://arxiv.org/abs/2207.03899v1
- Date: Fri, 8 Jul 2022 13:35:21 GMT
- ステータス: 処理完了
- システム内更新日: 2022-07-11 13:34:11.264988
- Title: Big Learning: A Universal Machine Learning Paradigm?
- Title（参考訳）: ビッグデータ: 普遍的な機械学習パラダイム?
- Authors: Yulai Cong, Miaoyun Zhao
- Abstract要約: ビッグデータは、大規模な完全/不完全データに固有の利用可能な情報を活用する。
私たちのビッグデータは、フレキシブルな設計と基礎モデルの改善のための高レベルのガイダンスを提供します。
ビッグデータは従来の機械学習パラダイムを統一する。
- 参考スコア（独自算出の注目度）: 15.733273085085763
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent breakthroughs based on big/foundation models reveal a vague avenue for
artificial intelligence, that is, bid data, big/foundation models, big
learning, $\cdots$. Following that avenue, here we elaborate on the newly
introduced big learning. Specifically, big learning comprehensively exploits
the available information inherent in large-scale complete/incomplete data, by
simultaneously learning to model many-to-all joint/conditional/marginal data
distributions (thus named big learning) with one universal foundation model. We
reveal that big learning is what existing foundation models are implicitly
doing; accordingly, our big learning provides high-level guidance for flexible
design and improvements of foundation models, accelerating the true
self-learning on the Internet. Besides, big learning ($i$) is equipped with
marvelous flexibility for both training data and training-task customization;
($ii$) potentially delivers all joint/conditional/marginal data capabilities
after training; ($iii$) significantly reduces the training-test gap with
improved model generalization; and ($iv$) unifies conventional machine learning
paradigms e.g. supervised learning, unsupervised learning, generative learning,
etc. and enables their flexible cooperation, manifesting a universal learning
paradigm.
- Abstract（参考訳）: 最近のビッグデータ/境界モデルに基づくブレークスルーは、人工知能、すなわち入札データ、ビッグデータモデル、ビッグデータ、そして$\cdots$に対する曖昧な道のりを明らかにしている。
その道をたどって、ここで新しく導入されたbig learningについて詳しく説明する。
具体的には,大規模完全/不完全データに固有の情報を総合的に活用し,複数対一のジョイント/コンディショナル/マージナルデータ分散(いわゆるビッグデータ)を1つの普遍的基盤モデルでモデル化する。
私たちのビッグデータは、フレキシブルな設計と基礎モデルの改善のための高レベルのガイダンスを提供し、インターネット上の真の自己学習を加速します。
Besides, big learning ($i$) is equipped with marvelous flexibility for both training data and training-task customization; ($ii$) potentially delivers all joint/conditional/marginal data capabilities after training; ($iii$) significantly reduces the training-test gap with improved model generalization; and ($iv$) unifies conventional machine learning paradigms e.g. supervised learning, unsupervised learning, generative learning, etc. and enables their flexible cooperation, manifesting a universal learning paradigm.
関連論文リスト
- $\textbf{Only-IF}$:Revealing the Decisive Effect of Instruction Diversity on Generalization [1.6958018695660049]
トレーニングデータがセマンティックドメインで十分に分散されている場合、textbfonlyが$であることを示す。
例えば$textit$textbfspecialist$$と$textit$textbf generalist$$$モデルの微調整などです。
論文 参考訳（メタデータ） (2024-10-07T03:15:11Z) - Big Cooperative Learning [7.958840888809145]
基礎モデルのトレーニングは,大きな協調学習の一形態として解釈できることを示す。
本稿では,多目的データサンプリング機能を備えた新しい逆学習基盤モデルであるBigLearn-GANを提案する。
論文 参考訳（メタデータ） (2024-07-31T03:59:14Z) - Bad Students Make Great Teachers: Active Learning Accelerates Large-Scale Visual Understanding [9.112203072394648]
パワーロースケーリングは、均一サンプリングによる大規模トレーニングが違法に遅いことを示している。
アクティブな学習手法は、最も関係のある事例に基づいて学習を優先順位付けすることで、データの効率を向上させることを目的としている。
論文 参考訳（メタデータ） (2023-12-08T19:26:13Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳（メタデータ） (2023-10-26T17:59:46Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳（メタデータ） (2022-10-11T10:20:31Z) - X-Learner: Learning Cross Sources and Tasks for Universal Visual
Representation [71.51719469058666]
本稿では,X-Learnerという表現学習フレームワークを提案する。
X-Learnerは、様々なソースによって管理される複数の視覚タスクの普遍的な特徴を学習する。
X-Learnerは、追加のアノテーションやモダリティ、計算コストを使わずに、様々なタスクで強力なパフォーマンスを達成する。
論文 参考訳（メタデータ） (2022-03-16T17:23:26Z) - Understanding the World Through Action [91.3755431537592]
ラベルのないデータを利用するための汎用的で原則的で強力なフレームワークは、強化学習から導き出すことができると私は主張する。
このような手順が、下流の潜在的なタスクとどのように密接に一致しているかについて論じます。
論文 参考訳（メタデータ） (2021-10-24T22:33:52Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z) - Relating by Contrasting: A Data-efficient Framework for Multimodal
Generative Models [86.9292779620645]
生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。
提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
論文 参考訳（メタデータ） (2020-07-02T15:08:11Z) - Learning from Imperfect Annotations [15.306536555936692]
現在、多くの機械学習システムは、大量の人間の注釈付きデータに基づいて訓練されている。
モデルトレーニングとアグリゲーションステップをマージすることを可能にする新しいエンドツーエンドフレームワークを提案する。
アノテーションを集約する現在の最先端アプローチに比べて、精度が最大25%向上していることを示す。
論文 参考訳（メタデータ） (2020-04-07T15:21:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。