論文の概要: Learnware: Small Models Do Big

• arxiv url: http://arxiv.org/abs/2210.03647v3
• Date: Mon, 30 Oct 2023 14:20:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-02 04:30:38.411657
• Title: Learnware: Small Models Do Big
• Title（参考訳）: ラーニングウェア:小さなモデルは大きい
• Authors: Zhi-Hua Zhou, Zhi-Hao Tan
• Abstract要約: 自然言語処理やコンピュータビジョンの応用で目覚ましい成果を上げてきた、一般的なビッグモデルパラダイムは、これらの問題にまだ対応していないが、炭素排出量の深刻な源となっている。 この記事では、マシンラーニングモデルをスクラッチから構築する必要がないようにするための学習ソフトウェアパラダイムの概要を紹介します。
• 参考スコア（独自算出の注目度）: 69.88234743773113
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: There are complaints about current machine learning techniques such as the requirement of a huge amount of training data and proficient training skills, the difficulty of continual learning, the risk of catastrophic forgetting, the leaking of data privacy/proprietary, etc. Most research efforts have been focusing on one of those concerned issues separately, paying less attention to the fact that most issues are entangled in practice. The prevailing big model paradigm, which has achieved impressive results in natural language processing and computer vision applications, has not yet addressed those issues, whereas becoming a serious source of carbon emissions. This article offers an overview of the learnware paradigm, which attempts to enable users not need to build machine learning models from scratch, with the hope of reusing small models to do things even beyond their original purposes, where the key ingredient is the specification which enables a trained model to be adequately identified to reuse according to the requirement of future users who know nothing about the model in advance.
• Abstract（参考訳）: 現在の機械学習技術には、大量のトレーニングデータと熟練したトレーニングスキルの必要性、継続的な学習の難しさ、壊滅的な忘れのリスク、データのプライバシ/プライバシの漏洩など、不満がある。 ほとんどの研究は、関連する問題の1つに別々に焦点を合わせており、ほとんどの問題が実際に絡まっているという事実に注意を払っていない。 自然言語処理やコンピュータビジョンの応用で目覚ましい成果を上げてきた、一般的なビッグモデルパラダイムは、これらの問題にまだ対応していないが、炭素排出量の深刻な源となっている。 本稿では,機械学習モデルをスクラッチから構築する必要がないことをユーザが実現しようとする学習ウェアのパラダイムの概要を紹介する。このパラダイムは,従来の目的を超えて,小さなモデルを再利用して物事を行おうとする試みであり,トレーニングされたモデルを適切に識別し,モデルについて事前に何も知らない将来のユーザの要求に応じて再利用できるようにするための重要な要素である。

関連論文リスト

• Provable unlearning in topic modeling and downstream tasks [36.571324268874264]
  アンラーニングの保証は、しばしば教師付き学習設定に限られる。 我々は、事前学習と微調整のパラダイムにおいて、初となるアンラーニングの理論的保証を提供する。 我々は、特定のタスクに微調整されたモデルから事前学習データを容易に解放できることを示し、ベースモデルを変更することなく、このデータを解放できることを示した。
  論文  参考訳（メタデータ） (2024-11-19T16:04:31Z)
• RESTOR: Knowledge Recovery through Machine Unlearning [71.75834077528305]
  Webスケールコーパスでトレーニングされた大規模な言語モデルは、望ましくないデータポイントを記憶することができる。 訓練されたモデルからこれらのデータポイントを「消去」することを目的とした、多くの機械学習手法が提案されている。 以下に示す次元に基づいて,機械学習のためのRESTORフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-31T20:54:35Z)
• Learning-based Models for Vulnerability Detection: An Extensive Study [3.1317409221921144]
  我々は、最先端の学習ベースアプローチの2つのタイプを広範かつ包括的に調査する。 本稿では,シーケンスベースモデルの優先度と,グラフベースモデルの限定能力について実験的に検証する。
  論文  参考訳（メタデータ） (2024-08-14T13:01:30Z)
• Beimingwu: A Learnware Dock System [42.54363998206648]
  本稿では,Beimingwuについて述べる。Beimingwuはオープンソースのラーニングウェアドックシステムであり,将来のラーニングウェアパラダイムの研究に基盤的支援を提供する。 このシステムは、統合アーキテクチャとエンジン設計のおかげで、新しいユーザータスクのためのモデル開発を大幅に効率化する。 特に、生データのセキュリティを損なうことなく、限られたデータと機械学習に関する最小限の専門知識を持つユーザでも、これは可能だ。
  論文  参考訳（メタデータ） (2024-01-24T09:27:51Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• Synthetic Model Combination: An Instance-wise Approach to Unsupervised Ensemble Learning [92.89846887298852]
  ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。 専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
  論文  参考訳（メタデータ） (2022-10-11T10:20:31Z)
• A Survey of Machine Unlearning [56.017968863854186]
  最近の規制では、要求に応じて、ユーザに関する個人情報をコンピュータシステムから削除する必要がある。 MLモデルは古いデータをよく記憶します。 機械学習に関する最近の研究は、この問題を完全に解決することはできなかった。
  論文  参考訳（メタデータ） (2022-09-06T08:51:53Z)
• Knowledge Augmented Machine Learning with Applications in Autonomous Driving: A Survey [37.84106999449108]
  この研究は、データ駆動モデルと既存の知識を組み合わせた既存の技術と手法の概要を提供する。 同定されたアプローチは、知識の統合、抽出、整合性に応じて構成される。 特に、自律運転分野における提案手法の適用について述べる。
  論文  参考訳（メタデータ） (2022-05-10T07:25:32Z)
• Machine Unlearning of Features and Labels [72.81914952849334]
  機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。 提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
  論文  参考訳（メタデータ） (2021-08-26T04:42:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。