論文の概要: An Evaluation of Memory Optimization Methods for Training Neural
Networks
- arxiv url: http://arxiv.org/abs/2303.14633v2
- Date: Mon, 5 Jun 2023 03:31:01 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-07 02:19:08.876397
- Title: An Evaluation of Memory Optimization Methods for Training Neural
Networks
- Title(参考訳): ニューラルネットワーク学習のためのメモリ最適化手法の評価
- Authors: Xiaoxuan Liu, Siddharth Jha, Alvin Cheung
- Abstract要約: メモリ最適化手法(MOM)の開発は,大規模モデルのトレーニングにおいて発生するメモリボトルネックに対処するためのソリューションとして登場した。
各種MOMの実用的価値を検討するため,システムの観点から既存の文献を徹底的に分析した。
分析の結果,MOMの有効性を効果的に評価するための標準化された指標が欠如していることが示唆された。
- 参考スコア(独自算出の注目度): 12.534553433992606
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As models continue to grow in size, the development of memory optimization
methods (MOMs) has emerged as a solution to address the memory bottleneck
encountered when training large models. To comprehensively examine the
practical value of various MOMs, we have conducted a thorough analysis of
existing literature from a systems perspective. Our analysis has revealed a
notable challenge within the research community: the absence of standardized
metrics for effectively evaluating the efficacy of MOMs. The scarcity of
informative evaluation metrics hinders the ability of researchers and
practitioners to compare and benchmark different approaches reliably.
Consequently, drawing definitive conclusions and making informed decisions
regarding the selection and application of MOMs becomes a challenging endeavor.
To address the challenge, this paper summarizes the scenarios in which MOMs
prove advantageous for model training. We propose the use of distinct
evaluation metrics under different scenarios. By employing these metrics, we
evaluate the prevailing MOMs and find that their benefits are not universal. We
present insights derived from experiments and discuss the circumstances in
which they can be advantageous.
- Abstract(参考訳): モデルのサイズが拡大するにつれて、大規模なモデルをトレーニングする際に発生するメモリボトルネックを解決するソリューションとして、メモリ最適化手法(MOM)の開発が出現している。
各種MOMの実用的価値を総合的に検討するため,システムの観点から既存の文献を徹底的に分析した。
研究コミュニティでは,母親の有効性を効果的に評価するための標準指標が存在しないという,注目すべき課題が明らかにされている。
情報的な評価指標の不足は、研究者や実践者が異なるアプローチを比較してベンチマークする能力を妨げる。
その結果、決定的な結論を導き、母親の選択と応用に関するインフォームドな意思決定を行うことが困難な課題となる。
本論文は,MOMがモデルトレーニングに有利であることを示すシナリオを要約する。
異なるシナリオ下での異なる評価指標の使用を提案する。
これらの指標を用いることで、一般的なMOMを評価し、それらの利点が普遍的でないことを発見する。
実験から得られた知見を提示し,その有利な状況について議論する。
関連論文リスト
- Evaluating tree-based imputation methods as an alternative to MICE PMM
for drawing inference in empirical studies [0.5892638927736115]
欠落したデータを扱うことは、しばしば計算手順で対処される統計解析において重要な問題である。
予測平均マッチング(PMM)を用いた連鎖方程式による多重計算の一般的な方法は、社会科学文献において標準とされている。
特に、木に基づく計算手法は、非常に競争力のあるアプローチとして現れてきた。
論文 参考訳(メタデータ) (2024-01-17T21:28:00Z) - MR-GSM8K: A Meta-Reasoning Revolution in Large Language Model Evaluation [65.07691494584843]
本稿では,メタ推論への取り組みに挑戦する,大規模言語モデルのための新しい評価パラダイムを提案する。
このアプローチは、エージェントの認知能力を評価するために伝統的に用いられてきた既存の数学問題解決ベンチマークにおける重大な欠点に対処する。
論文 参考訳(メタデータ) (2023-12-28T15:49:43Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - Don't Make Your LLM an Evaluation Benchmark Cheater [142.24553056600627]
大規模言語モデル(LLM)は人工知能のフロンティアを大幅に進歩させ、モデルキャパシティを著しく向上させた。
モデル性能を評価するために, LLMの能力レベルを測定するための評価ベンチマークを構築するのが典型的な方法である。
評価ベンチマークを用いて不適切なリスクと影響について検討し,評価結果を誤って解釈する。
論文 参考訳(メタデータ) (2023-11-03T14:59:54Z) - Better Understanding Differences in Attribution Methods via Systematic
Evaluations [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
これらの評価手法を用いて、広範囲のモデルにおいて広く用いられている属性手法の長所と短所について検討する。
論文 参考訳(メタデータ) (2023-03-21T14:24:58Z) - In Search of Insights, Not Magic Bullets: Towards Demystification of the
Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。
選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
論文 参考訳(メタデータ) (2023-02-06T16:55:37Z) - Efficient Real-world Testing of Causal Decision Making via Bayesian
Experimental Design for Contextual Optimisation [12.37745209793872]
文脈的意思決定の評価と改善のためのデータ収集のためのモデルに依存しないフレームワークを提案する。
過去の治療課題の後悔をデータ効率で評価するために,本手法を用いた。
論文 参考訳(メタデータ) (2022-07-12T01:20:11Z) - Towards Better Understanding Attribution Methods [77.1487219861185]
モデル決定に最も影響を及ぼす画像領域を特定するために、ポストホック属性法が提案されている。
本稿では,これらの手法の忠実度をより確実に評価するための3つの新しい評価手法を提案する。
また,いくつかの属性法の性能を著しく向上する処理後平滑化ステップを提案する。
論文 参考訳(メタデータ) (2022-05-20T20:50:17Z) - Evaluation Gaps in Machine Learning Practice [13.963766987258161]
実際に、機械学習モデルの評価は、しばしば、非文脈化された予測行動の狭い範囲に焦点を当てる。
評価対象の理想化された幅と実際の評価対象の狭い焦点との間の評価ギャップについて検討した。
これらの特性を研究することで、規範的な影響を持つコミットメントの範囲について、機械学習分野の暗黙の仮定を実証する。
論文 参考訳(メタデータ) (2022-05-11T04:00:44Z) - MM-KTD: Multiple Model Kalman Temporal Differences for Reinforcement
Learning [36.14516028564416]
本稿では、最適制御ポリシーを学習するための革新的マルチモデルカルマン時間差分(MM-KTD)フレームワークを提案する。
システムのサンプリング効率を高めるために,能動的学習法を提案する。
実験の結果, MM-KTDフレームワークは最先端のフレームワークに比べて優れていた。
論文 参考訳(メタデータ) (2020-05-30T06:39:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。