論文の概要: Unifying Data, Memory, and Compute Efficiency in LLM training: A Survey

• arxiv url: http://arxiv.org/abs/2606.10706v1
• Date: Tue, 09 Jun 2026 11:09:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.46085
• Title: Unifying Data, Memory, and Compute Efficiency in LLM training: A Survey
• Title（参考訳）: LLMトレーニングにおけるデータ、メモリ、計算効率の統一:調査
• Authors: Vanessa Schmidt, Huy Hoang Nguyen, Cédric Jung, Shirin Salehi, Anke Schmeink,
• Abstract要約: この調査は制約中心の視点を採用し、データ効率(トレーニング方法)、メモリ効率(トレーニングの適合方法)、予算意識(FLOPの使用場所)の3つのボトルネックに関する最近の進捗を整理する。 我々は、優れたデータの異なる概念が異なる体制で支配されているという新たな証拠を強調し、最適なサブセットは普遍的ではなく、タスク目標とリソース予算に依存していることを示唆している。 我々は、最適化、データ選択、復号化が有限なFLOP予算を明示的に考慮しなければならない計算統治プロセスとしてのトレーニングと推論の枠組みを定めている。
• 参考スコア（独自算出の注目度）: 14.047214709513135
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Resource constraints increasingly determine what can be trained, fine-tuned, and deployed in large language models (LLMs), yet efficiency is often studied through isolated techniques rather than as an interacting system of limits. This survey adopts a constraint-centric perspective and organizes recent progress around three coupled bottlenecks: data efficiency (what to train on), memory efficiency (how to fit training), and compute budget awareness (when and where to spend FLOPs). On the data axis, we review selection and pruning methods that maximize learning per token, ranging from scalable proxy signals based on learning dynamics to gradient- and influence-based scoring, as well as difficulty-aware and curriculum-style strategies. We highlight emerging evidence that different notions of good data dominate in different regimes, implying that optimal subsets depend on the task objective and resource budget rather than being universal. On the systems side, we show that GPU memory, not raw compute, is often the dominant bottleneck in fine-tuning, and that effective scaling requires jointly reducing weight storage, optimizer states, and activation memory rather than optimizing any single component in isolation. Beyond memory, we frame training and inference as compute-governed processes in which optimization, data selection, and decoding must explicitly account for finite FLOP budgets. We review evidence for compute-optimal allocation and stopping rules, where computation should be halted or reallocated once marginal performance gains fall below a budget-dependent threshold. Together, these results unify compute-aware data selection, scaling laws, and adaptive inference under a common principle of resource-conditioned decision-making.
• Abstract（参考訳）: リソース制約は、トレーニング、微調整、大規模言語モデル(LLM)にデプロイ可能なものをますます決定するが、効率性は、相互作用する制限システムとしてではなく、分離された技術によって研究されることが多い。 この調査は制約中心の視点を採用し、データ効率(トレーニング方法)、メモリ効率(トレーニングの適合方法)、予算意識(FLOPの使用場所)の3つのボトルネックに関する最近の進捗を整理する。 データ軸では、学習ダイナミクスに基づくスケーラブルなプロキシ信号から、勾配および影響に基づくスコアリング、難易度認識やカリキュラムスタイルの戦略まで、トークン単位の学習を最大化する選択とプルーニング手法についてレビューする。 我々は、優れたデータの異なる概念が異なる体制で支配されているという新たな証拠を強調し、最適なサブセットは普遍的ではなく、タスク目標とリソース予算に依存していることを示唆している。 システム側では、GPUメモリは生の計算ではなく、しばしば微調整における主要なボトルネックであり、効果的なスケーリングには、単一のコンポーネントを独立して最適化するのではなく、重み付け、オプティマイザ状態、アクティベーションメモリを共同で削減する必要がある。 メモリ以外にも、最適化、データ選択、復号化が有限なFLOP予算を明示的に考慮しなければならない計算処理として、トレーニングと推論をフレーム化しています。 計算性能が予算依存のしきい値を下回ると、計算が停止または再配置されるべきである計算最適割当と停止規則の証拠をレビューする。 これらの結果は、資源条件決定の共通原理の下で、計算対応データ選択、スケーリング法則、適応推論を統一する。

関連論文リスト

• Labels or Preferences? Budget-Constrained Learning with Human Judgments over AI-Generated Outputs [17.028710603629026]
  我々は,AIにおいて,基幹ラベルとペアの選好の間で,固定されたアノテーション予算を最適に割り当てる方法について述べる。 本稿では,データ取得戦略を最適に学習する新しいロバストネス手法であるPreference-Calibrated Active Learning (PCAL)を紹介する。 この研究は、現代のAIにおける予算制約学習に対する原則的かつ統計的に効率的なアプローチを提供する。
  論文  参考訳（メタデータ） (2026-01-19T23:23:29Z)
• CurES: From Gradient Analysis to Efficient Curriculum Learning for Reasoning LLMs [53.749193998004166]
  カリキュラム学習は,大規模言語モデルの学習効率を高める上で重要な役割を担っている。 収束を加速し,計算オーバーヘッドを最小限に抑えるためにベイズ後続推定を用いた効率的な学習法であるCurESを提案する。
  論文  参考訳（メタデータ） (2025-10-01T15:41:27Z)
• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• PRISM: Self-Pruning Intrinsic Selection Method for Training-Free Multimodal Data Selection [68.8373788348678]
  ビジュアルインストラクションチューニングは、事前訓練されたマルチモーダル大言語モデルに人間の指示に従うように適応する。 PRISMは、効率的な視覚的命令選択のための最初のトレーニング不要のフレームワークである。 データ選択とモデルチューニングのエンドツーエンドの時間を従来のパイプラインの30%に短縮する。
  論文  参考訳（メタデータ） (2025-02-17T18:43:41Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• LAVA: Data Valuation without Pre-Specified Learning Algorithms [20.578106028270607]
  我々は、下流学習アルゴリズムに不利な方法でトレーニングデータを評価できる新しいフレームワークを導入する。 本研究では,訓練と検証セット間の非伝統的なクラスワイドワッサースタイン距離に基づいて,トレーニングセットに関連する検証性能のプロキシを開発する。 距離は、特定のリプシッツ条件下での任意のモデルに対する検証性能の上限を特徴付けることを示す。
  論文  参考訳（メタデータ） (2023-04-28T19:05:16Z)
• Cost-Effective Federated Learning in Mobile Edge Networks [37.16466118235272]
  フェデレートラーニング(FL)は、多くのモバイルデバイスが生データを共有せずに協調的にモデルを学習できる分散ラーニングパラダイムである。 本研究は,モバイルエッジネットワークにおける適応FLの設計手法を解析し,本質的な制御変数を最適に選択し,総コストを最小化する。 我々は,収束関連未知パラメータを学習するために,低コストなサンプリングベースアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-09-12T03:02:24Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。