論文の概要: Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning

• arxiv url: http://arxiv.org/abs/2202.10629v4
• Date: Tue, 5 Dec 2023 21:01:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-07 19:45:57.676837
• Title: Model Reprogramming: Resource-Efficient Cross-Domain Machine Learning
• Title（参考訳）: モデル再プログラミング:資源効率の良いクロスドメイン機械学習
• Authors: Pin-Yu Chen
• Abstract要約: 視覚、言語、音声などのデータに富む領域では、ディープラーニングが高性能なタスク固有モデルを提供するのが一般的である。 リソース制限されたドメインでのディープラーニングは、(i)限られたデータ、(ii)制約付きモデル開発コスト、(iii)効果的な微調整のための適切な事前学習モデルの欠如など、多くの課題に直面している。 モデル再プログラミングは、ソースドメインから十分に訓練されたモデルを再利用して、モデル微調整なしでターゲットドメインのタスクを解くことで、リソース効率のよいクロスドメイン機械学習を可能にする。
• 参考スコア（独自算出の注目度）: 65.268245109828
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In data-rich domains such as vision, language, and speech, deep learning prevails to deliver high-performance task-specific models and can even learn general task-agnostic representations for efficient finetuning to downstream tasks. However, deep learning in resource-limited domains still faces multiple challenges including (i) limited data, (ii) constrained model development cost, and (iii) lack of adequate pre-trained models for effective finetuning. This paper provides an overview of model reprogramming to bridge this gap. Model reprogramming enables resource-efficient cross-domain machine learning by repurposing and reusing a well-developed pre-trained model from a source domain to solve tasks in a target domain without model finetuning, where the source and target domains can be vastly different. In many applications, model reprogramming outperforms transfer learning and training from scratch. This paper elucidates the methodology of model reprogramming, summarizes existing use cases, provides a theoretical explanation of the success of model reprogramming, and concludes with a discussion on open-ended research questions and opportunities. A list of model reprogramming studies is actively maintained and updated at https://github.com/IBM/model-reprogramming.
• Abstract（参考訳）: 視覚、言語、音声などのデータ豊富な領域では、ディープラーニングは高性能なタスク固有モデルを提供することが一般的であり、下流タスクへの効率的な微調整のための一般的なタスク非依存表現も学べる。 しかし、リソース制限領域でのディープラーニングは、まだ多くの課題に直面している。 (i)限られたデータ (ii)制約付きモデル開発費、及び (iii)効果的な微調整のための適切な事前学習モデルがないこと。 本稿では,このギャップを埋めるためのモデル再プログラミングの概要を紹介する。 モデル再プログラミングは、リソース効率の高いクロスドメイン機械学習を可能にし、ソースドメインから十分に開発された事前学習されたモデルを再利用し、ターゲットドメインのタスクをモデル微調整なしで解決する。 多くのアプリケーションでは、モデル再プログラミングは、スクラッチから学習とトレーニングを転送する。 本稿では、モデル再プログラミングの方法論を解明し、既存のユースケースを要約し、モデル再プログラミングの成功に関する理論的説明を提供し、オープンな研究課題と機会に関する議論で結論付ける。 モデル再プログラミング研究の一覧はhttps://github.com/IBM/モデル再プログラミングで活発に維持および更新されている。

関連論文リスト

• RedTest: Towards Measuring Redundancy in Deep Neural Networks Effectively [10.812755570974929]
  深層学習モデル構造における冗長度を測定するために,モデル構造冗長スコア(MSRS)を用いる。 MSRSは、多くの最先端モデルにおける冗長性の問題を明らかにし、評価するのに効果的である。 最適なモデル構造を探索するための新しい冗長性認識アルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-11-15T14:36:07Z)
• On the Utility of Domain Modeling Assistance with Large Language Models [2.874893537471256]
  本稿では,大規模言語モデル(LLM)とドメインモデリング支援のための数発のプロンプト学習を利用した新しいアプローチの有用性を評価する。 このアプローチの目的は、不足するドメイン固有のデータセット上で、AIベースの補完モデルの広範なトレーニングの必要性を克服することである。
  論文  参考訳（メタデータ） (2024-10-16T13:55:34Z)
• A Framework for Monitoring and Retraining Language Models in Real-World Applications [3.566775910781198]
  多くの現実世界のアプリケーションでは、継続的モデル監視とモデル再トレーニングが必要になります。 データやコンセプトドリフトなどの再トレーニングにはさまざまな理由があり、適切なメトリックによって監視されるモデルのパフォーマンスに反映される可能性がある。 マルチラベル分類モデルを用いて, モデル性能や資源利用などの重要な要因に対する各種リトレーニング決定点の影響について検討する。
  論文  参考訳（メタデータ） (2023-11-16T14:32:18Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• Towards Efficient Task-Driven Model Reprogramming with Foundation Models [52.411508216448716]
  ビジョンファウンデーションモデルは、非常に大きなモデルキャパシティと幅広いトレーニングデータから恩恵を受け、印象的なパワーを示す。 しかし、実際には、下流のシナリオは限られた計算資源や効率上の考慮のため、小さなモデルしかサポートできない。 これは、ファンデーションモデルの現実的な応用に重要な課題をもたらします。
  論文  参考訳（メタデータ） (2023-04-05T07:28:33Z)
• Generalization Properties of Retrieval-based Models [50.35325326050263]
  検索ベースの機械学習手法は、幅広い問題で成功をおさめた。 これらのモデルの約束を示す文献が増えているにもかかわらず、そのようなモデルの理論的基盤はいまだに解明されていない。 本稿では,その一般化能力を特徴付けるために,検索ベースモデルの形式的処理を行う。
  論文  参考訳（メタデータ） (2022-10-06T00:33:01Z)
• DST: Dynamic Substitute Training for Data-free Black-box Attack [79.61601742693713]
  そこで本研究では,対象モデルからより高速に学習するための代用モデルの促進を目的とした,新しい動的代用トレーニング攻撃手法を提案する。 タスク駆動型グラフに基づく構造情報学習の制約を導入し、生成したトレーニングデータの質を向上させる。
  論文  参考訳（メタデータ） (2022-04-03T02:29:11Z)
• Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
  学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。 本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。 提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
  論文  参考訳（メタデータ） (2020-07-14T16:42:59Z)
• CALM: Continuous Adaptive Learning for Language Modeling [18.72860206714457]
  自然言語処理コミュニティでは,大規模言語表現モデルのトレーニングが標準となっている。 これらの事前学習モデルが破滅的忘れという形で性能劣化を示すことを示す。 言語モデリングのための継続的適応学習CALM:複数のドメインにまたがる知識を保持するモデルをレンダリングする手法を提案する。
  論文  参考訳（メタデータ） (2020-04-08T03:51:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。