論文の概要: Big Learning

• arxiv url: http://arxiv.org/abs/2207.03899v4
• Date: Sun, 21 May 2023 04:05:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-24 06:06:15.142415
• Title: Big Learning
• Title（参考訳）: ビッグラーニング
• Authors: Yulai Cong, Miaoyun Zhao
• Abstract要約: ビッグデータは、大規模な完全/不完全トレーニングデータに固有の情報を活用する。 ビッグデータは、すべてのジョイント/コンディショナル/マージナルデータ機能を1つのユニバーサルモデルで提供することができる。 提案した大規模学習の有効性を検証するために,多種多様な実験を行った。
• 参考スコア（独自算出の注目度）: 15.733273085085763
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advances in big/foundation models reveal a promising path for deep learning, where the roadmap steadily moves from big data to big models to (the newly-introduced) big learning. Specifically, the big learning exhaustively exploits the information inherent in its large-scale complete/incomplete training data, by simultaneously modeling many/all joint/conditional/marginal data distributions across potentially diverse domains, with one universal foundation model. We reveal that big learning ($i$) underlies most existing foundation models, ($ii$) is equipped with extraordinary flexibilities for complete/incomplete training data and trustworthy data tasks, ($iii$) is capable of delivering all joint/conditional/marginal data capabilities with one universal model, and ($iv$) unifies conventional machine learning paradigms and enables their flexible cooperations, manifested as a universal learning paradigm. Diverse experiments are carried out to validate the effectiveness of the presented big learning.
• Abstract（参考訳）: 近年のビッグデータ/境界モデルの進歩は、ロードマップがビッグデータから(新たに導入された)ビッグデータへと着実に移行する、ディープラーニングへの有望な道のりを明らかにしている。 特に、ビッグデータは、その大規模完全/不完全なトレーニングデータに固有の情報を徹底的に活用し、単一の普遍的な基礎モデルを用いて、潜在的に多様なドメインにまたがる複数の/すべてのジョイント/コンディショナル/マージデータ分布をモデリングする。 ビッグデータ(i$)は既存の基盤モデルの大部分を基盤としており(ii$)、完全/不完全なトレーニングデータと信頼できるデータタスクのための異常な柔軟性を備えており(iii$)、1つのユニバーサルモデルですべてのジョイント/条件/マージナルデータ機能を提供する能力を持ち、(iv$)従来の機械学習パラダイムを統一し、彼らの柔軟な協力を可能にする。 提案した大規模学習の有効性を検証するために,様々な実験を行った。

関連論文リスト

• $\textbf{Only-IF}$:Revealing the Decisive Effect of Instruction Diversity on Generalization [1.6958018695660049]
  トレーニングデータがセマンティックドメインで十分に分散されている場合、textbfonlyが$であることを示す。 例えば$textit$textbfspecialist$$と$textit$textbf generalist$$$モデルの微調整などです。
  論文  参考訳（メタデータ） (2024-10-07T03:15:11Z)
• Big Cooperative Learning [7.958840888809145]
  基礎モデルのトレーニングは,大きな協調学習の一形態として解釈できることを示す。 本稿では,多目的データサンプリング機能を備えた新しい逆学習基盤モデルであるBigLearn-GANを提案する。
  論文  参考訳（メタデータ） (2024-07-31T03:59:14Z)
• Bad Students Make Great Teachers: Active Learning Accelerates Large-Scale Visual Understanding [9.112203072394648]
  パワーロースケーリングは、均一サンプリングによる大規模トレーニングが違法に遅いことを示している。 アクティブな学習手法は、最も関係のある事例に基づいて学習を優先順位付けすることで、データの効率を向上させることを目的としている。
  論文  参考訳（メタデータ） (2023-12-08T19:26:13Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• X-Learner: Learning Cross Sources and Tasks for Universal Visual Representation [71.51719469058666]
  本稿では,X-Learnerという表現学習フレームワークを提案する。 X-Learnerは、様々なソースによって管理される複数の視覚タスクの普遍的な特徴を学習する。 X-Learnerは、追加のアノテーションやモダリティ、計算コストを使わずに、様々なタスクで強力なパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-03-16T17:23:26Z)
• Understanding the World Through Action [91.3755431537592]
  ラベルのないデータを利用するための汎用的で原則的で強力なフレームワークは、強化学習から導き出すことができると私は主張する。 このような手順が、下流の潜在的なタスクとどのように密接に一致しているかについて論じます。
  論文  参考訳（メタデータ） (2021-10-24T22:33:52Z)
• Relation-Guided Representation Learning [53.60351496449232]
  本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。 私たちのフレームワークは、サンプル間の関係をよく保存します。 サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
  論文  参考訳（メタデータ） (2020-07-11T10:57:45Z)
• Relating by Contrasting: A Data-efficient Framework for Multimodal Generative Models [86.9292779620645]
  生成モデル学習のための対照的なフレームワークを開発し、モダリティ間の共通性だけでなく、「関連」と「関連しない」マルチモーダルデータの区別によってモデルを訓練することができる。 提案手法では, 生成モデルを用いて, 関係のないサンプルから関連サンプルを正確に識別し, ラベルのない多モードデータの利用が可能となる。
  論文  参考訳（メタデータ） (2020-07-02T15:08:11Z)
• Learning from Imperfect Annotations [15.306536555936692]
  現在、多くの機械学習システムは、大量の人間の注釈付きデータに基づいて訓練されている。 モデルトレーニングとアグリゲーションステップをマージすることを可能にする新しいエンドツーエンドフレームワークを提案する。 アノテーションを集約する現在の最先端アプローチに比べて、精度が最大25%向上していることを示す。
  論文  参考訳（メタデータ） (2020-04-07T15:21:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。