Fugu-MT 論文翻訳(概要): Training Green AI Models Using Elite Samples

論文の概要: Training Green AI Models Using Elite Samples

arxiv url: http://arxiv.org/abs/2402.12010v1
Date: Mon, 19 Feb 2024 10:03:46 GMT
ステータス: 処理完了
システム内更新日: 2024-02-20 17:18:04.644682
Title: Training Green AI Models Using Elite Samples
Title（参考訳）: エリートサンプルを用いたグリーンAIモデルのトレーニング
Authors: Mohammed Alswaitti, Roberto Verdecchia, Gr\'egoire Danoy, Pascal Bouvry and Johnatan Pecero
Abstract要約: 本稿では,データセットとモデルペアに適したエリートトレーニングサンプルの同定を目的とした,進化型サンプリングフレームワークを提案する。 10%のエリートトレーニングサンプルを考慮すると、モデルの性能は50%向上し、一般的なトレーニングプラクティスと比較して98%の省エネを達成できる。
参考スコア（独自算出の注目度）: 6.23976893002457
License: http://creativecommons.org/licenses/by-sa/4.0/
Abstract: The substantial increase in AI model training has considerable environmental implications, mandating more energy-efficient and sustainable AI practices. On the one hand, data-centric approaches show great potential towards training energy-efficient AI models. On the other hand, instance selection methods demonstrate the capability of training AI models with minimised training sets and negligible performance degradation. Despite the growing interest in both topics, the impact of data-centric training set selection on energy efficiency remains to date unexplored. This paper presents an evolutionary-based sampling framework aimed at (i) identifying elite training samples tailored for datasets and model pairs, (ii) comparing model performance and energy efficiency gains against typical model training practice, and (iii) investigating the feasibility of this framework for fostering sustainable model training practices. To evaluate the proposed framework, we conducted an empirical experiment including 8 commonly used AI classification models and 25 publicly available datasets. The results showcase that by considering 10% elite training samples, the models' performance can show a 50% improvement and remarkable energy savings of 98% compared to the common training practice.
Abstract（参考訳）: AIモデルトレーニングの大幅な増加は、よりエネルギー効率が高く持続可能なAIプラクティスを強制する、環境にかなりの影響を及ぼす。一方、データ中心のアプローチは、エネルギー効率のよいAIモデルをトレーニングする大きな可能性を示している。一方、インスタンス選択手法は、最小限のトレーニングセットと無視可能な性能劣化でAIモデルを訓練する能力を示す。どちらのトピックにも関心が高まっているが、データ中心のトレーニングセットの選択がエネルギー効率に与える影響は未定である。本稿では進化型サンプリングフレームワークを提案する。一データセット及びモデルペアに適したエリートトレーニングサンプルを識別すること。 (ii)典型的な模型訓練実践に対する模型性能とエネルギー効率の向上の比較 (iii)持続可能なモデル訓練の実践を育むための枠組みの実現可能性を検討する。提案フレームワークを評価するために,8つの一般的なai分類モデルと25の公開データセットを含む実証実験を行った。その結果、10%のエリートトレーニングサンプルを考慮すると、モデルの性能は50%向上し、一般的なトレーニング実践と比較して98%の省エネ効果が得られた。

関連論文リスト

On conditional diffusion models for PDE simulations [53.01911265639582]
スパース観測の予測と同化のためのスコアベース拡散モデルについて検討した。本稿では,予測性能を大幅に向上させる自動回帰サンプリング手法を提案する。また,条件付きスコアベースモデルに対する新たなトレーニング戦略を提案する。
論文参考訳（メタデータ） (2024-10-21T18:31:04Z)
Self-Taught Evaluators [77.92610887220594]
本稿では,人工的なトレーニングデータのみを用いて,人間のアノテーションを使わずに即興で証明することを目的としたアプローチを提案する。我々の自己学習評価器は、RewardBench上で75.4から88.3までの強いLDMを改善することができる。
論文参考訳（メタデータ） (2024-08-05T17:57:02Z)
Evaluating the Energy Efficiency of Few-Shot Learning for Object Detection in Industrial Settings [6.611985866622974]
本稿では、下流タスクに標準オブジェクト検出モデルを適用するための微調整手法を提案する。開発モデルにおけるエネルギー需要のケーススタディと評価について述べる。最後に、このトレードオフを、カスタマイズされた効率係数測定によって定量化する新しい方法を紹介する。
論文参考訳（メタデータ） (2024-03-11T11:41:30Z)
GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning [0.0]
GISTEmbedは、ガイドモデルによる対照的なトレーニングにおいて、バッチ内のネガティブな選択を強化する新しい戦略である。 MTEB(Massive Text Embedding Benchmark)に対してベンチマークされたGISTEmbedは、さまざまなモデルサイズで一貫したパフォーマンス改善を示している。
論文参考訳（メタデータ） (2024-02-26T18:55:15Z)
Secrets of RLHF in Large Language Models Part II: Reward Modeling [134.97964938009588]
本稿では,データセットにおける不正確で曖昧な嗜好の影響を軽減するために,一連の新しい手法を紹介する。また、選択された応答と拒否された応答を区別する報酬モデルの有用性を高めるために、対照的な学習を導入する。
論文参考訳（メタデータ） (2024-01-11T17:56:59Z)
Downstream Task-Oriented Generative Model Selections on Synthetic Data Training for Fraud Detection Models [9.754400681589845]
本稿では,学習不正検出モデルにおける下流タスク指向生成モデル選択問題にアプローチする。本研究は,ニューラルネットワーク(NN)とベイジアンネットワーク(BN)をベースとした生成モデルの両方が,ゆるやかなモデル解釈可能性制約下での合成トレーニングタスクの完了に適しているが,BNベースの生成モデルは,厳密なモデル解釈可能性制約下での合成トレーニング不正検出モデルにおいて,NNベースより優れていることを裏付けるものである。
論文参考訳（メタデータ） (2024-01-01T23:33:56Z)
On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
混合データセットに対する生成モデルの訓練が与える影響について検討する。まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
論文参考訳（メタデータ） (2023-09-30T16:41:04Z)
Training Data Attribution for Diffusion Models [1.1733780065300188]
そこで本研究では,アンサンブルを用いて学習データが拡散モデルの出力にどのように影響するかを明らかにする新しい手法を提案する。我々のアプローチでは、エンコードされたアンサンブル内の個々のモデルは、影響のあるトレーニング例の識別を可能にするために、訓練データ全体の分割を慎重に設計した上で訓練される。得られたモデルアンサンブルは、トレーニングデータの影響の効率的なアブレーションを可能にし、トレーニングデータがモデル出力に与える影響を評価する。
論文参考訳（メタデータ） (2023-06-03T18:36:12Z)
One-stop Training of Multiple Capacity Models [74.87789190840527]
本稿では,高容量・低容量モデルとの共同学習のためのワンストップトレーニングフレームワークを提案する。複数のキャパシティモデルをスクラッチから個別に訓練する知識蒸留とは異なり、我々の手法は異なるキャパシティモデルからの監督を同時に統合する。
論文参考訳（メタデータ） (2023-05-23T13:44:09Z)
RAFT: Reward rAnked FineTuning for Generative Foundation Model Alignment [32.752633250862694]
生成基礎モデルは、広範囲の教師なしのトレーニングデータから生じる暗黙のバイアスに影響を受けやすい。我々は、生成モデルを効果的に整合させるために設計された新しいフレームワーク、Reward rAnked FineTuningを紹介する。
論文参考訳（メタデータ） (2023-04-13T18:22:40Z)
Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文参考訳（メタデータ） (2020-12-08T18:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。