論文の概要: RESQUE: Quantifying Estimator to Task and Distribution Shift for Sustainable Model Reusability

• arxiv url: http://arxiv.org/abs/2412.15511v1
• Date: Fri, 20 Dec 2024 02:55:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 16:24:39.378612
• Title: RESQUE: Quantifying Estimator to Task and Distribution Shift for Sustainable Model Reusability
• Title（参考訳）: RESQUE:持続可能なモデル再利用のためのタスクと分散シフトに対する推定器の定量化
• Authors: Vishwesh Sangarya, Jung-Eun Kim,
• Abstract要約: 本稿では,モデルの再学習コストを推定する予測量化器であるRepresentation Shift QUantification Estimator (RESQUE)を提案する。 RESQUEはモデルの再トレーニングに必要なリソースの見積のために、単一の簡潔なインデックスを提供する。 その結果, RESQUEはエポックス, 勾配ノルム, パラメータ等級の変化, エネルギー, 炭素排出量の指標として有効であることが確認された。
• 参考スコア（独自算出の注目度）: 3.301728339780329
• License:
• Abstract: As a strategy for sustainability of deep learning, reusing an existing model by retraining it rather than training a new model from scratch is critical. In this paper, we propose REpresentation Shift QUantifying Estimator (RESQUE), a predictive quantifier to estimate the retraining cost of a model to distributional shifts or change of tasks. It provides a single concise index for an estimate of resources required for retraining the model. Through extensive experiments, we show that RESQUE has a strong correlation with various retraining measures. Our results validate that RESQUE is an effective indicator in terms of epochs, gradient norms, changes of parameter magnitude, energy, and carbon emissions. These measures align well with RESQUE for new tasks, multiple noise types, and varying noise intensities. As a result, RESQUE enables users to make informed decisions for retraining to different tasks/distribution shifts and determine the most cost-effective and sustainable option, allowing for the reuse of a model with a much smaller footprint in the environment. The code for this work is available here: https://github.com/JEKimLab/AAAI2025RESQUE
• Abstract（参考訳）: ディープラーニングの持続可能性のための戦略として、新しいモデルをゼロからトレーニングするのではなく、既存のモデルをトレーニングすることで再利用することが重要である。 本稿では,モデルの再学習コストを分散シフトやタスクの変化に推定する予測量化器であるRepresentation Shift QUantification Estimator (RESQUE)を提案する。 モデルの再トレーニングに必要なリソースの見積のために、単一の簡潔なインデックスを提供する。 広範囲にわたる実験により,RESQUEは様々なリトレーニング対策と強い相関関係があることが判明した。 その結果, RESQUEはエポックス, 勾配ノルム, パラメータ等級の変化, エネルギー, 炭素排出量の指標として有効であることが確認された。 これらの測定は、新しいタスク、複数のノイズタイプ、様々なノイズ強度に対するRESQUEとよく一致している。 その結果、RESQUEでは、異なるタスク/配信シフトに再トレーニングするための情報的な決定をユーザが行え、最もコスト効率が高く持続可能な選択肢を決定できるようになり、環境のフットプリントがはるかに小さいモデルの再利用が可能になる。 https://github.com/JEKimLab/AAAI2025RESQUE

関連論文リスト

• Quantile Regression for Distributional Reward Models in RLHF [1.8130068086063336]
  我々は,1つのスカラー値の代わりに報酬よりも分布を学習する,報酬モデリングの新しいアプローチであるQuantile Reward Models(QRMs)を紹介する。 提案手法は量子レグレッションを用いて、選好よりも完全な、潜在的に多モード分布を推定し、より強力でニュアンスな選好表現を提供する。 実験の結果,QRMはRewardBench上での従来の点推定モデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-09-16T10:54:04Z)
• Revisiting SMoE Language Models by Evaluating Inefficiencies with Task Specific Expert Pruning [78.72226641279863]
  SMOE(Sparse Mixture of Expert)モデルは、言語モデリングにおける高密度モデルに代わるスケーラブルな代替品として登場した。 本研究は,SMoEアーキテクチャの設計に関する意思決定を行うために,タスク固有のモデルプルーニングについて検討する。 適応型タスク対応プルーニング手法 UNCURL を導入し,MoE 層当たりの専門家数をオフラインで学習する手法を提案する。
  論文  参考訳（メタデータ） (2024-09-02T22:35:03Z)
• Estimating Environmental Cost Throughout Model's Adaptive Life Cycle [2.93774265594295]
  PreIndexは、データの分散シフトに伴うモデル再トレーニングに関連する環境および計算資源を推定する予測指標である。 これは、現在のデータ分布から新しいデータ分布への再トレーニングにおいて、二酸化炭素排出量やエネルギー使用量などの環境コストを見積もることができる。
  論文  参考訳（メタデータ） (2024-07-23T03:58:06Z)
• Diversified Batch Selection for Training Acceleration [68.67164304377732]
  オンラインバッチ選択として知られる一般的な研究ラインでは、トレーニングプロセス中の情報サブセットの選択について検討している。 バニラ参照モデルフリーメソッドは、独立してデータをサンプリング的にスコア付けし、選択する。 DivBS(Diversified Batch Selection)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T12:12:20Z)
• Aggregate Representation Measure for Predictive Model Reusability [2.93774265594295]
  分散シフトにおけるトレーニングモデルの再学習コストを推定する予測量化器を提案する。 ARM(Aggregated Representation Measure)は、古いデータから新しいデータへのモデル表現の変化を定量化する手法である。
  論文  参考訳（メタデータ） (2024-05-15T14:14:34Z)
• Rethinking Classifier Re-Training in Long-Tailed Recognition: A Simple Logits Retargeting Approach [102.0769560460338]
  我々は,クラスごとのサンプル数に関する事前知識を必要とせず,シンプルなロジットアプローチ(LORT)を開発した。 提案手法は,CIFAR100-LT, ImageNet-LT, iNaturalist 2018など,様々な不均衡データセットの最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-03-01T03:27:08Z)
• A Framework for Monitoring and Retraining Language Models in Real-World Applications [3.566775910781198]
  多くの現実世界のアプリケーションでは、継続的モデル監視とモデル再トレーニングが必要になります。 データやコンセプトドリフトなどの再トレーニングにはさまざまな理由があり、適切なメトリックによって監視されるモデルのパフォーマンスに反映される可能性がある。 マルチラベル分類モデルを用いて, モデル性能や資源利用などの重要な要因に対する各種リトレーニング決定点の影響について検討する。
  論文  参考訳（メタデータ） (2023-11-16T14:32:18Z)
• Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
  政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。 モデルに基づくベイズ強化学習の観点から問題を考察する。 本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
  論文  参考訳（メタデータ） (2023-08-12T14:59:19Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• An Efficient Method of Training Small Models for Regression Problems with Knowledge Distillation [1.433758865948252]
  回帰問題に対する知識蒸留の新しい定式化を提案する。 まず,教師モデル予測を用いて,教師モデルを用いた学習サンプルの退学率を下げる新たな損失関数,教師の退学率の減少を提案する。 マルチタスクネットワークを考えることで、学生モデルの特徴抽出の訓練がより効果的になる。
  論文  参考訳（メタデータ） (2020-02-28T08:46:12Z)
• Parameter-Efficient Transfer from Sequential Behaviors for User Modeling and Recommendation [111.44445634272235]
  本稿では,PeterRecと呼ばれるパラメータ効率のよい移動学習アーキテクチャを提案する。 PeterRecは、トレーニング済みのパラメータを、一連の再学習ニューラルネットワークを注入することで、微調整中に修正されないようにする。 我々は5つの下流タスクにおいて学習したユーザ表現の有効性を示すために、広範囲な実験的アブレーションを行う。
  論文  参考訳（メタデータ） (2020-01-13T14:09:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。