論文の概要: Stochastic Pruning of the DPO Computation Graph: 1.4x Faster Training and Lower Peak Memory

• arxiv url: http://arxiv.org/abs/2610.29538v1
• Date: Wed, 21 Oct 2026 10:25:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.313763
• Title: Stochastic Pruning of the DPO Computation Graph: 1.4x Faster Training and Lower Peak Memory
• Title（参考訳）: DPO計算グラフの確率的プルーニング: 1.4倍高速トレーニングと低ピークメモリ
• Abstract要約: 直接選好最適化は、出力スコア、シーケンス実行、バックプロパゲーションのトレーニングコストを発生させる。 本稿では,DPOグラフの計算処理のための統一的なフレームワークを提案する。 位置とシーケンスのプルーニングはピークメモリの削減を主目的としており、ほとんどの出力は完全な応答監視を維持できる実装に起因している。
• 参考スコア（独自算出の注目度）: 11.248183145614815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Direct preference optimization (DPO) incurs training costs in output scoring, sequence execution, and backpropagation, so reducing supervision alone does not necessarily save computation. We introduce a unified framework for stochastic pruning of the DPO computation graph that independently samples response positions for scoring, response prefixes for execution, and preference branches for backpropagation. By making these selections before the corresponding operations, the framework omits computation at each stage of a training step. Our analysis characterizes the objective changes induced by position and sequence pruning and uses inverse-probability weighting to obtain a conditionally unbiased single-branch gradient estimator for the sampled objective. Controlled measurements show that position and sequence pruning primarily reduce peak memory, with most output-memory savings attributable to an implementation that retains full response supervision. Branch pruning yields a $1.426\times$ step-time speedup over a concatenated DPO baseline and reduces training time by about 30\% relative to stock DPO across two model families, with slightly lower mean accuracy and benchmark-dependent changes in open-ended scores. These findings relate the resource benefits of stochastic graph pruning to the computation omitted and the resulting changes in the training objective.
• Abstract（参考訳）: 直接選好最適化(DPO)は、出力スコア、シーケンス実行、バックプロパゲーションのトレーニングコストを発生させるので、監督の軽減だけでは計算を省くとは限らない。 DPO計算グラフの確率的プルーニングのための統一的なフレームワークを導入し、スコア付けのための応答位置、実行のための応答プレフィックス、バックプロパゲーションのための優先順位分岐を独立にサンプリングする。 これらの選択を対応する操作の前に行うことで、フレームワークはトレーニングステップの各段階での計算を省略する。 本分析では, 位置およびシーケンスプルーニングによって誘導される目的変化を特徴付けるとともに, 逆確率重み付けを用いて, サンプル対象に対する条件付き非バイアス単一ブランチ勾配推定器を得る。 制御された測定により、位置とシーケンスプルーニングは主にピークメモリを減少させ、ほとんどの出力メモリの節約は、完全な応答監視を維持する実装に起因することが示されている。 ブランチプルーニングは、連結DPOベースライン上でのステップタイム・スピードアップを1426ドルとし、2つのモデルファミリにおけるストックDPOと比較してトレーニング時間を約30%削減し、平均精度をわずかに低くし、オープンエンドスコアのベンチマーク依存的な変更を行う。 これらの知見は, 計算が省略された確率グラフプルーニングの資源的利点と, 学習目標の変化を関連づけるものである。

関連論文リスト

• Online Supervised Dimension Reduction with Random Features: Diagnostics and Computational Trade-offs [3.7044133020722954]
  Online Kernel Supervised principal Component Analysis (OKSPCA)は、有限乱数係数座標における中心となるクロスモーメントと、確立された目的に対するAdamスタイルの正則基底更新を組み合わせたものである。 有限乱数係数座標における中心的クロスモーメントと、確立された目的に対するAdamスタイルの正規直交基底更新を組み合わせたOKSPCAについて、これらの区別について検討する。
  論文  参考訳（メタデータ） (2026-09-17T14:19:29Z)
• Batch-wise Adaptive Pruning: Periodic Neuron Activation-Aware Weight Pruning for Language Reasoning Model [41.842373153015586]
  LRMにおけるバッチ推論のための学習不要適応型プルーニング法を提案する。 閾値に基づく選択を、集約された重要度スコアよりも周期的なトップk選択に置き換える。 バッチサイズ4の平均精度は39.7ポイント向上した。
  論文  参考訳（メタデータ） (2026-08-14T06:46:02Z)
• PS-PPO: Prefix-Sampling PPO for Critic-Free RLHF [20.068789951726078]
  ヒューマンフィードバックからの強化学習は、アクターの実践的な代替手段である。 既存の批判のないアプローチは、軌跡内の全てのトークンに対して一様に軌道レベルの学習信号を伝達する。 本稿では,RLHF に対する計算効率のよい批判的手法であるprefix-Sampling Proximal Policy Optimization (PS-PPO) を提案する。
  論文  参考訳（メタデータ） (2026-06-29T04:04:32Z)
• Selecting Samples on Graphs: A Unified Dataset Pruning Framework for Lossless Training Acceleration [71.77541419885925]
  グラフベースの統合DPフレームワークを提案する。 データセットを重み付きグラフとしてモデル化することにより、DPは最大重み付き傾き問題(MWCP)としてキャストできる。 ResNet-50でImageNet-1kの精度を犠牲にすることなく、トレーニング時間を40%以上短縮する。
  論文  参考訳（メタデータ） (2026-06-11T05:13:32Z)
• OrderDP: A Theoretically Guaranteed Lossless Dynamic Data Pruning Framework [30.771327347534996]
  OrderDPは、理論的な保証とともに、安定的で、偏りがなく、ほぼロスレスなトレーニングアクセラレーションを得ることを目的としている。 CIFAR-10, CIFAR-100, ImageNet-1K の総合ベースラインに対する OrderDP の評価を行った。
  論文  参考訳（メタデータ） (2026-06-07T11:11:51Z)
• Unbiased Dynamic Pruning for Efficient Group-Based Policy Optimization [60.87651283510059]
  Group Relative Policy Optimization (GRPO) はLLM推論を効果的にスケールするが、計算コストは禁じている。 本研究では,非バイアス勾配推定を保ちながら動的プルーニングを可能にする動的プルーニングポリシー最適化(DPPO)を提案する。 刈り込みによって引き起こされるデータの空間性を軽減するため,ウィンドウベースの欲求戦略であるDense Prompt Packingを導入する。
  論文  参考訳（メタデータ） (2026-03-04T14:48:53Z)
• Winning the Pruning Gamble: A Unified Approach to Joint Sample and Token Pruning for Efficient Supervised Fine-Tuning [71.30276778807068]
  サンプルプルーニングとトークンプルーニングを戦略的に協調する統合フレームワークを提案する。 Q-Tuningは、トレーニングデータの12.5%しか使用せず、全データSFTベースラインに対する平均38%の改善を実現している。
  論文  参考訳（メタデータ） (2025-09-28T13:27:38Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Sample-Efficient Optimisation with Probabilistic Transformer Surrogates [66.98962321504085]
  本稿では,ベイズ最適化における最先端確率変換器の適用可能性について検討する。 トレーニング手順と損失定義から生じる2つの欠点を観察し、ブラックボックス最適化のプロキシとして直接デプロイすることを妨げる。 1)非一様分散点を前処理するBO調整トレーニング,2)予測性能を向上させるために最適な定常点をフィルタする新しい近似後正則整定器トレードオフ精度と入力感度を導入する。
  論文  参考訳（メタデータ） (2022-05-27T11:13:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。