Fugu-MT 論文翻訳(概要): Aggregate Representation Measure for Predictive Model Reusability

論文の概要: Aggregate Representation Measure for Predictive Model Reusability

arxiv url: http://arxiv.org/abs/2405.09600v1
Date: Wed, 15 May 2024 14:14:34 GMT
ステータス: 処理完了
システム内更新日: 2024-05-17 16:09:33.689305
Title: Aggregate Representation Measure for Predictive Model Reusability
Title（参考訳）: 予測モデル再利用性のための集約表現尺度
Authors: Vishwesh Sangarya, Richard Bradford, Jung-Eun Kim,
Abstract要約: 分散シフトにおけるトレーニングモデルの再学習コストを推定する予測量化器を提案する。 ARM(Aggregated Representation Measure)は、古いデータから新しいデータへのモデル表現の変化を定量化する手法である。
参考スコア（独自算出の注目度）: 2.93774265594295
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: In this paper, we propose a predictive quantifier to estimate the retraining cost of a trained model in distribution shifts. The proposed Aggregated Representation Measure (ARM) quantifies the change in the model's representation from the old to new data distribution. It provides, before actually retraining the model, a single concise index of resources - epochs, energy, and carbon emissions - required for the retraining. This enables reuse of a model with a much lower cost than training a new model from scratch. The experimental results indicate that ARM reasonably predicts retraining costs for varying noise intensities and enables comparisons among multiple model architectures to determine the most cost-effective and sustainable option.
Abstract（参考訳）: 本稿では,分散シフトにおけるトレーニングモデルの再学習コストを推定する予測量化器を提案する。 ARM(Aggregated Representation Measure)は、古いデータから新しいデータへのモデル表現の変化を定量化する手法である。これは、実際にモデルをトレーニングする前に、再トレーニングに必要なリソース(エポック、エネルギー、炭素排出量)の単一の簡潔なインデックスを提供する。これにより、新しいモデルをスクラッチからトレーニングするよりもはるかに低コストでモデルの再利用が可能になる。実験結果から、ARMは様々なノイズ強度に対する再学習コストを合理的に予測し、複数のモデルアーキテクチャの比較により、最もコスト効率が高く持続可能な選択肢を決定できることが示唆された。

関連論文リスト

Quantile Regression for Distributional Reward Models in RLHF [1.8130068086063336]
我々は,1つのスカラー値の代わりに報酬よりも分布を学習する,報酬モデリングの新しいアプローチであるQuantile Reward Models(QRMs)を紹介する。提案手法は量子レグレッションを用いて、選好よりも完全な、潜在的に多モード分布を推定し、より強力でニュアンスな選好表現を提供する。実験の結果,QRMはRewardBench上での従来の点推定モデルよりも優れていた。
論文参考訳（メタデータ） (2024-09-16T10:54:04Z)
Semi-Supervised Reward Modeling via Iterative Self-Training [52.48668920483908]
本稿では,未ラベルデータを用いたRMトレーニングを強化する手法であるSemi-Supervised Reward Modeling (SSRM)を提案する。 SSRMは、追加のラベリングコストを発生させることなく、報酬モデルを大幅に改善することを示した。全体として、SSRMは、人間が注釈付けした大量のデータへの依存を大幅に減らし、効果的な報酬モデルのトレーニングに要する全体的なコストと時間を削減する。
論文参考訳（メタデータ） (2024-09-10T22:57:58Z)
RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
論文参考訳（メタデータ） (2024-03-20T17:49:54Z)
How to Estimate Model Transferability of Pre-Trained Speech Models? [84.11085139766108]
事前学習音声モデルの伝達可能性推定のためのスコアベースアセスメントフレームワークベイズ確率推定と最適輸送という2つの表現理論を利用して、PSM候補のランクスコアを生成する。本フレームワークは,候補モデルやレイヤを実際に微調整することなく,転送可能性スコアを効率的に計算する。
論文参考訳（メタデータ） (2023-06-01T04:52:26Z)
Maintaining Stability and Plasticity for Predictive Churn Reduction [8.971668467496055]
我々は,累積モデル組合せ (AMC) という解を提案する。 AMCは一般的な手法であり、モデルやデータ特性に応じてそれぞれ独自の利点を持ついくつかの事例を提案する。
論文参考訳（メタデータ） (2023-05-06T20:56:20Z)
Measuring and Reducing Model Update Regression in Structured Prediction for NLP [31.86240946966003]
後方互換性は、新しいモデルが前者によって正しく処理されたケースに回帰しないことを要求する。本研究は、構造化予測タスクにおける更新回帰をモデル化する。本稿では,構造化出力の特性を考慮し,単純かつ効果的なバックワード・コングルエント・リグレード(BCR)を提案する。
論文参考訳（メタデータ） (2022-02-07T07:04:54Z)
Model retraining and information sharing in a supply chain with long-term fluctuating demands [0.0]
本研究では,サプライチェーンにおけるモデル更新の効果を最小限の設定を用いて検討した。我々は,サプライチェーンの各パーティが独自の予測モデルを持っている場合,非コーディネートモデルの再トレーニングがブルウィップ効果を引き起こすことを示した。また, 関係者間で予測モデルを共有することで, ブルウィップ効果が著しく低下することが示唆された。
論文参考訳（メタデータ） (2021-09-04T04:16:04Z)
Model-Augmented Q-learning [112.86795579978802]
モデルベースRLの構成要素を付加したMFRLフレームワークを提案する。具体的には、$Q$-valuesだけでなく、共有ネットワークにおける遷移と報酬の両方を見積もる。提案手法は,MQL (Model-augmented $Q$-learning) とよばれる提案手法により,真に報いられた学習によって得られる解と同一のポリシ不変解が得られることを示す。
論文参考訳（メタデータ） (2021-02-07T17:56:50Z)
Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
論文参考訳（メタデータ） (2020-10-27T17:54:12Z)
Improving the Reconstruction of Disentangled Representation Learners via Multi-Stage Modeling [54.94763543386523]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。本稿では,不整合因子をペナルティに基づく不整合表現学習法を用いて学習する,新しい多段階モデリング手法を提案する。次に、低品質な再構成を、欠落した関連潜伏変数をモデル化するために訓練された別の深層生成モデルで改善する。
論文参考訳（メタデータ） (2020-10-25T18:51:15Z)
Model Repair: Robust Recovery of Over-Parameterized Statistical Models [24.319310729283636]
そこでは,データから推定された統計モデルを破損させた統計モデルを復元することが目的である。モデルを教師付き学習環境に適合させるために使用する応答値ではなく,設計のみを用いてモデルを再ペアリングする手法を提案する。
論文参考訳（メタデータ） (2020-05-20T08:41:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。