論文の概要: SMS: An Efficient Source Model Selection Framework for Model Reuse

• arxiv url: http://arxiv.org/abs/2110.06532v1
• Date: Wed, 13 Oct 2021 06:55:44 GMT
• ステータス: 処理完了
• システム内更新日: 2021-10-14 15:39:41.834020
• Title: SMS: An Efficient Source Model Selection Framework for Model Reuse
• Title（参考訳）: SMS: モデル再利用のための効率的なソースモデル選択フレームワーク
• Authors: Minjun Zhao, Lu Chen, Keyu Yang, Yuntao Du, Yunjun Gao
• Abstract要約: トランスファーラーニングは、ソースタスクからターゲットタスクに知識を移すことで、新しいモデルをゼロからトレーニングすることを避ける。 我々は,効率的な,効率的な,柔軟なソースモデル選択フレームワークであるSMSを提案する。 I-SMSは、SMSの選択性能を維持しながら、選択時間を著しく短縮することができる。
• 参考スコア（独自算出の注目度）: 16.12315293036597
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the explosive increase of big data, training a Machine Learning (ML) model becomes a computation-intensive workload, which would take days or even weeks. Thus, model reuse has received attention in the ML community, where it is called transfer learning. Transfer learning avoids training a new model from scratch by transferring knowledge from a source task to a target task. Existing transfer learning methods mostly focus on how to improve the performance of the target task through a specific source model, but assume that the source model is given. As many source models are available, it is difficult for data scientists to select the best source model for the target task manually. Hence, how to efficiently select a suitable source model for model reuse is still an unsolved problem. In this paper, we propose SMS, an effective, efficient and flexible source model selection framework. SMS is effective even when source and target datasets have significantly different data labels, is flexible to support source models with any type of structure, and is efficient to avoid any training process. For each source model, SMS first vectorizes the samples in the target dataset into soft labels by directly applying this model to the target dataset, then uses Gaussian distributions to fit the clusters of soft labels, and finally measures its distinguishing ability using Gaussian mixture-based metric. Moreover, we present an improved SMS (I-SMS), which decreases the output number of source model. I-SMS can significantly reduce the selection time while retaining the selection performance of SMS. Extensive experiments on a range of practical model reuse workloads demonstrate the effectiveness and efficiency of SMS.
• Abstract（参考訳）: ビッグデータの爆発的な増加に伴い、機械学習(ML)モデルのトレーニングは計算集約的なワークロードとなり、数日や数週間を要することになる。 このように、モデル再利用は、伝達学習と呼ばれるMLコミュニティで注目を集めている。 転送学習は、ソースタスクからターゲットタスクに知識を移すことで、新しいモデルをゼロからトレーニングすることを避ける。 既存の転送学習方法は、主に特定のソースモデルを通してターゲットタスクのパフォーマンスを改善する方法に焦点を当てているが、ソースモデルが与えられると仮定する。 多くのソースモデルが利用可能であるため、データサイエンティストがターゲットタスクの最適なソースモデルを手動で選択することは困難である。 したがって、モデル再利用に適したソースモデルを効率的に選択する方法はまだ未解決の問題である。 本稿では、効率的で効率的で柔軟なソースモデル選択フレームワークであるsmsを提案する。 smsは、ソースとターゲットのデータセットが著しく異なるデータラベルを持っていたとしても有効であり、いかなる種類の構造でもソースモデルをサポートするのに柔軟であり、トレーニングプロセスを避けるのに効率的である。 各ソースモデルに対して、smsはまず、対象データセットのサンプルを対象データセットに直接適用することでソフトラベルにベクトル化し、その後、ソフトラベルのクラスタに適合するためにガウス分布を使用し、最終的にガウス混合ベースのメトリクスを使用して識別能力を測定する。 さらに,sms(i-sms)を改良し,ソースモデルの出力数を削減した。 i-smsはsmsの選択性能を維持しつつ、選択時間を大幅に削減することができる。 実用的モデル再利用ワークロードの広範囲な実験により、smsの有効性と効率が証明された。

関連論文リスト

• Evaluating Sample Utility for Data Selection by Mimicking Model Weights [12.056542160711718]
  ファンデーションモデルは、しばしばノイズ、バイアス、無関係な情報を含む大規模なWebcrawledデータセットに基づいてトレーニングされている。 我々は,新しいデータ品質指標であるMimic Scoreを用いて,効率的なモデルベースアプローチを提案する。 学習のためのサンプルを優先し,効率的なフィルタを作成し,データ選択を自動化するフレームワークであるGrad-Mimicを開発した。
  論文  参考訳（メタデータ） (2025-01-12T04:28:14Z)
• Exploring Query Efficient Data Generation towards Data-free Model Stealing in Hard Label Setting [38.755154033324374]
  データフリーモデルは、ターゲットモデルの構造、パラメータ、トレーニングデータにアクセスすることなく、ターゲットモデルの機能を代替モデルに複製する。 本稿では Query Efficient Data Generation (textbfQEDG) と呼ばれる新しいデータフリーモデルステーリング手法を提案する。 対象モデルの決定境界に密接に一様に整合する十分なサンプルの生成を保証するために、2つの異なる損失関数を導入する。
  論文  参考訳（メタデータ） (2024-12-18T03:03:15Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• Evaluating Representations with Readout Model Switching [19.907607374144167]
  本稿では,最小記述長(MDL)の原理を用いて評価指標を考案する。 我々は、読み出しモデルのためのハイブリッド離散および連続値モデル空間を設計し、それらの予測を組み合わせるために切替戦略を用いる。 提案手法はオンライン手法で効率的に計算でき,様々なアーキテクチャの事前学習された視覚エンコーダに対する結果を示す。
  論文  参考訳（メタデータ） (2023-02-19T14:08:01Z)
• Multidimensional Item Response Theory in the Style of Collaborative Filtering [0.8057006406834467]
  本稿では,多次元項目応答理論(MIRT)に対する機械学習手法を提案する。 協調フィルタリングに触発されて、多くのMIRTモデルを含むモデルの一般的なクラスを定義します。 本稿では, 個人モデルとクロスバリデーションを推定し, 最適動作モデルを選択するために, ペナル化結合最大度(JML)の使用について論じる。
  論文  参考訳（メタデータ） (2023-01-03T00:56:27Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Distilling Interpretable Models into Human-Readable Code [71.11328360614479]
  人間可読性は機械学習モデル解釈可能性にとって重要で望ましい標準である。 従来の方法を用いて解釈可能なモデルを訓練し,それを簡潔で可読なコードに抽出する。 本稿では,幅広いユースケースで効率的に,確実に高品質な結果を生成する分別線形曲線フィッティングアルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2021-01-21T01:46:36Z)
• Model-based Policy Optimization with Unsupervised Model Adaptation [37.09948645461043]
  本研究では,不正確なモデル推定による実データとシミュレーションデータのギャップを埋めて,より良いポリシ最適化を実現する方法について検討する。 本稿では,教師なしモデル適応を導入したモデルベース強化学習フレームワークAMPOを提案する。 提案手法は,一連の連続制御ベンチマークタスクにおけるサンプル効率の観点から,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2020-10-19T14:19:42Z)
• Goal-directed Generation of Discrete Structures with Conditional Generative Models [85.51463588099556]
  本稿では,強化学習目標を直接最適化し,期待される報酬を最大化するための新しいアプローチを提案する。 提案手法は、ユーザ定義プロパティを持つ分子の生成と、所定の目標値を評価する短いピソン表現の同定という2つのタスクで検証する。
  論文  参考訳（メタデータ） (2020-10-05T20:03:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。