論文の概要: General Information Metrics for Improving AI Model Training Efficiency

• arxiv url: http://arxiv.org/abs/2501.02004v1
• Date: Thu, 02 Jan 2025 01:28:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:08:05.918221
• Title: General Information Metrics for Improving AI Model Training Efficiency
• Title（参考訳）: AIモデルのトレーニング効率向上のための一般的な情報メトリクス
• Authors: Jianfeng Xu, Congcong Liu, Xiaoying Tan, Xiaojie Zhu, Anpeng Wu, Huan Wan, Weijun Kong, Chun Li, Hu Xu, Kun Kuang, Fei Wu,
• Abstract要約: 本稿では,AIモデルのトレーニングデータの増大に対処する汎用情報量評価(GIME)手法を提案する。 司法AIプログラムにGIMEを適用することで、合計モデルのトレーニング費用が39.56%削減された。
• 参考スコア（独自算出の注目度）: 31.3761211645164
• License:
• Abstract: To address the growing size of AI model training data and the lack of a universal data selection methodology-factors that significantly drive up training costs -- this paper presents the General Information Metrics Evaluation (GIME) method. GIME leverages general information metrics from Objective Information Theory (OIT), including volume, delay, scope, granularity, variety, duration, sampling rate, aggregation, coverage, distortion, and mismatch to optimize dataset selection for training purposes. Comprehensive experiments conducted across diverse domains, such as CTR Prediction, Civil Case Prediction, and Weather Forecasting, demonstrate that GIME effectively preserves model performance while substantially reducing both training time and costs. Additionally, applying GIME within the Judicial AI Program led to a remarkable 39.56% reduction in total model training expenses, underscoring its potential to support efficient and sustainable AI development.
• Abstract（参考訳）: 本稿では,AIモデルのトレーニングデータの規模拡大と,トレーニングコストを大幅に向上させる普遍的なデータ選択方法論要素の欠如に対処するため,一般情報メトリクス評価(GIME)手法を提案する。 GIMEは、ボリューム、遅延、スコープ、粒度、バラエティ、サンプリング率、アグリゲーション、カバレッジ、歪み、ミスマッチなど、OIT(Objective Information Theory)の一般的な情報メトリクスを活用して、トレーニング目的のためにデータセットの選択を最適化する。 CTR予測、シビルケース予測、気象予報など様々な分野にわたる総合的な実験により、GIMEはモデル性能を効果的に維持し、トレーニング時間とコストを大幅に削減することを示した。 さらに、司法AIプログラムにGIMEを適用することで、モデルトレーニングコストの39.56%が大幅に削減され、効率的で持続可能なAI開発をサポートする可能性を強調した。

関連論文リスト

• Beyond Efficiency: Molecular Data Pruning for Enhanced Generalization [30.738229850748137]
  MolPegは、一般化を強化するための分子データプルーニングフレームワークである。 これは、事前訓練されたモデルでデータプルーニングを適用する、ソースフリーなデータプルーニングシナリオに焦点を当てている。 4つのダウンストリームタスクで既存のDPメソッドを一貫して上回ります。
  論文  参考訳（メタデータ） (2024-09-02T09:06:04Z)
• Perception Without Vision for Trajectory Prediction: Ego Vehicle Dynamics as Scene Representation for Efficient Active Learning in Autonomous Driving [0.0]
  本研究では,アクティブラーニングフレームワークにおける軌道状態とサンプリング戦略のクラスタリング手法を提案する。 トラジェクティブ・ステートインフォームド・アクティブ・ラーニングを統合することで、より効率的で堅牢な自動運転システムが実現可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-15T02:54:11Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• GISTEmbed: Guided In-sample Selection of Training Negatives for Text Embedding Fine-tuning [0.0]
  GISTEmbedは、ガイドモデルによる対照的なトレーニングにおいて、バッチ内のネガティブな選択を強化する新しい戦略である。 MTEB(Massive Text Embedding Benchmark)に対してベンチマークされたGISTEmbedは、さまざまなモデルサイズで一貫したパフォーマンス改善を示している。
  論文  参考訳（メタデータ） (2024-02-26T18:55:15Z)
• Machine unlearning through fine-grained model parameters perturbation [26.653596302257057]
  そこで本研究では,不エクササイズマシンの非学習戦略であるTop-KパラメータとRandom-kパラメータの微粒化を提案する。 また,機械学習の有効性を評価する上での課題にも取り組む。
  論文  参考訳（メタデータ） (2024-01-09T07:14:45Z)
• Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
  得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。 我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
  論文  参考訳（メタデータ） (2023-11-16T10:42:58Z)
• Filling the Missing: Exploring Generative AI for Enhanced Federated Learning over Heterogeneous Mobile Edge Devices [72.61177465035031]
  ローカルデータのFIMI(FIlling the MIssing)部分を活用することにより,これらの課題に対処する,AIを活用した創発的なフェデレーション学習を提案する。 実験の結果,FIMIはデバイス側エネルギーの最大50%を節約し,目標とするグローバルテスト精度を達成できることがわかった。
  論文  参考訳（メタデータ） (2023-10-21T12:07:04Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• INGENIOUS: Using Informative Data Subsets for Efficient Pre-Training of Language Models [40.54353850357839]
  トレーニングコーパスの高度に代表的なサブセットを選択するために、サブモジュラー最適化を利用する方法を示す。 その結果,完全学習モデルの性能の最大$sim99%が得られた。
  論文  参考訳（メタデータ） (2023-05-11T09:24:41Z)
• On Efficient Training of Large-Scale Deep Learning Models: A Literature Review [90.87691246153612]
  ディープラーニングの分野は特にコンピュータビジョン(CV)、自然言語処理(NLP)、音声などにおいて大きな進歩を遂げている。 大量のデータに基づいてトレーニングされた大規模なモデルを使用することは、実用的なアプリケーションにとって大きな可能性を秘めている。 計算能力の需要が増大する中で、ディープラーニングモデルの訓練の加速技術に関する包括的な要約が期待されている。
  論文  参考訳（メタデータ） (2023-04-07T11:13:23Z)
• An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation [91.62129090006745]
  本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。 我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2022-05-25T13:04:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。