論文の概要: HiLoRe: What to Store, Compress, or Recompute for Efficient GRPO Training

• arxiv url: http://arxiv.org/abs/2609.33570v1
• Date: Sun, 27 Sep 2026 13:47:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 15:40:10.134124
• Title: HiLoRe: What to Store, Compress, or Recompute for Efficient GRPO Training
• Title（参考訳）: HiLoRe: 効率的なGRPOトレーニングのための保存、圧縮、あるいは再計算方法
• Abstract要約: HiLoReは、高精度ストレージ、低精度圧縮、決定論的再計算にグラフ対応リカバリユニットを割り当てる。 アクター更新スループットはGCで13.5%、ベースラインで7.9%に達する。
• 参考スコア（独自算出の注目度）: 16.26408932866107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Group-relative policy optimization (GRPO) makes learner-side activations a major memory-computation bottleneck: gradient checkpointing reduces activation memory through recomputation, but fixed schedules can leave roughly 18 GB unused on a 48-GB GPU despite substantial recomputation overhead. Existing activation-management methods set state fidelity from execution cost, tensor properties, or generic compression sensitivity, without explicitly incorporating GRPO's analytic update structure into state-fidelity allocation. We formalize this dependence as policy-update exposure, linking the current GRPO loss coefficients to state-level approximation sensitivity. These coefficients are available before backward without an additional backward pass. We introduce HiLoRe, which allocates graph-attributed recovery units among high-precision storage, low-precision compression, and deterministic recomputation using measured recovery utility and update-conditioned approximation risk. It combines high-precision storage and deterministic recomputation with low-precision recovery under a calibrated risk budget. Across five model-task settings with 2K responses and memory < 1.10 times GC's per-GPU actor-update peak, HiLoRe's actor-update throughput gains reach 13.5% over GC and 7.9% over the fastest evaluated baseline, with paired mean downstream-score differences below 0.6 percentage points.
• Abstract（参考訳）: 勾配チェックポイントは、再計算によってアクティベーションメモリを減少させるが、固定スケジュールは、大幅な再計算オーバーヘッドにもかかわらず、48GBのGPUで約18GBの未使用のまま残すことができる。 既存のアクティベーション管理手法は、GRPOの分析更新構造をステートフィデリティ割り当てに明示的に組み込むことなく、実行コスト、テンソル特性、あるいは一般的な圧縮感度から状態フィデリティを設定する。 我々は、この依存を政策更新露光として定式化し、現在のGRPO損失係数と状態レベルの近似感度をリンクする。 これらの係数は、追加の後方通過なしで後方に移動することができる。 本稿では,高精度ストレージ,低精度圧縮,決定論的再計算にグラフ分散回復ユニットを割り当てるHiLoReについて,評価されたリカバリユーティリティと更新条件の近似リスクを用いて紹介する。 高精度ストレージと決定論的再計算と、キャリブレーションされたリスク予算の下での低精度リカバリを組み合わせる。 2Kレスポンスとメモリ <1.10倍のGCアクター更新ピークを持つ5つのモデルタスク設定において、HiLoReのアクター更新スループットはGCで13.5%、ベースラインで7.9%に達し、平均ダウンストリームスコア差は0.6ポイント未満である。

関連論文リスト

• Continual Graph Memory for Adaptive Recommendation under Intent Drift [7.140905344515738]
  本稿では,意図的ドリフト下での適応的レコメンデーションについて検討し,各レコメンデーション結果からのフィードバックによって,ランク付けに使用される関係証拠が有用か,欠落か,誤解を招くかを明らかにする。 本稿では,適応型レコメンデーションのための連続グラフメモリフレームワークであるCGM-Recを提案する。
  論文  参考訳（メタデータ） (2026-09-04T02:32:20Z)
• One-Way Policy Optimization for Self-Evolving LLMs [63.8638342097375]
  RLVR(Reinforcement Learning with Verifiable Rewards)は,Large Language Models(LLMs)の推論能力を拡張するための,有望なパラダイムとなっている。 本稿では,最適化方向を更新等級から切り離す手法である1-Way Policy Optimization (OWPO)を提案する。 実験の結果,OWPOはDAPO,OPD,MOPDなどの強いベースラインより優れていた。
  論文  参考訳（メタデータ） (2026-05-21T08:25:27Z)
• Advantage Collapse in Group Relative Policy Optimization: Diagnosis and Mitigation [13.272542054938258]
  非効率な勾配でトレーニングバッチの割合を定量化する最初の指標であるAdvantage Collapse Rate (ACR)を導入する。 次に、仮想報酬サンプルを注入するGRPOの軽量拡張であるAdaptive Virtual Sample Policy Optimization (AVSPO)を提案する。 AVSPOはGRPOに対して58～63%の利害崩壊を減少させ、すべてのモデルスケールで4～6ポイントの一貫した精度向上をもたらす。
  論文  参考訳（メタデータ） (2026-05-20T12:57:37Z)
• Human-Inspired Memory Architecture for LLM Agents [0.9507070656654629]
  6つの認知機構からなる生体記憶アーキテクチャを提案する。 各メカニズムは、単純メモリ蓄積の特定の障害モードに対処する。 S層スケール(50セッション)では、デダップベースのコンソリデーションにより、好みのリコールが+13.3pp向上する。
  論文  参考訳（メタデータ） (2026-05-08T22:52:37Z)
• Improving Search Agent with One Line of Code [68.58667107354253]
  ツールベースのエージェント強化学習(TARL)は,検索エージェントが外部ツールと対話できるようにトレーニングするための,有望なパラダイムとして登場した。 textbfSearch textbfAgent textbfPolicy textbfOptimization (textbfSAPO)を提案する。
  論文  参考訳（メタデータ） (2026-03-10T04:07:39Z)
• MemPO: Self-Memory Policy Optimization for Long-Horizon Agents [52.00646524941419]
  既存のメソッドは通常、外部メモリモジュールを導入し、格納されたメモリから関連する情報を検索する。 本稿では,自己記憶ポリシー最適化アルゴリズム(MemPO)を提案する。 MemPOはF1の絶対スコアが25.98%、SOTAベースラインが7.1%、トークン使用率が67.58%、73.12%である。
  論文  参考訳（メタデータ） (2026-02-28T14:43:02Z)
• A Dynamic Retrieval-Augmented Generation System with Selective Memory and Remembrance [0.0]
  Emph Adaptive RAG Memory (ARM) は,静的ベクトルインデックスをEmphdynamicメモリ基板に置き換える検索拡張生成(RAG)フレームワークである。 ARMは、軽量な検索ベンチマークで最先端のパフォーマンスに近づいた。 ARMは、ジェネレータカラーブラックを再トレーニングすることなく、競合精度、自己正規化メモリ成長、解釈可能な保持ダイナミクスを出力し、生産・研究RAGシステムの品質、レイテンシ、メモリ効率のトレードオフを実践する。
  論文  参考訳（メタデータ） (2026-01-04T21:51:41Z)
• It's Not You, It's Clipping: A Soft Trust-Region via Probability Smoothing for LLM RL [1.9507810024568648]
  PPOやGRPOのような強化学習(RL)手法を用いた大規模言語モデル(LLM)の訓練は、更新の安定化に比例する。 重要度を計算する前に、従来の(行動)政策に対する現在の政策の確率を円滑にするPSPOを提案する。 GR-PSPOはクリップされたGRPOと比較して0.5Bと1.5Bの両方のパフォーマンスを大幅に改善し、GSM8Kでは20%以上向上した。
  論文  参考訳（メタデータ） (2025-09-25T15:03:18Z)
• ReCalKV: Low-Rank KV Cache Compression via Head Reordering and Offline Calibration [69.57122277845293]
  ReCalKVは,キーと値の調整を施した低ランクKVキャッシュ圧縮手法である。 キーズでは、構造的に類似した頭部をグループにクラスタリングし、より正確な低ランク近似を可能にするSimisity aware Recontext (HSR)を提案する。 本稿では,オフラインヘッドワイド値(OVC)を提案する。これはトレーニングなしでキャリブレーションデータを用いて,効率的に値予測行列を校正する。
  論文  参考訳（メタデータ） (2025-05-30T08:49:27Z)
• Lean and Mean: Decoupled Value Policy Optimization with Global Value Guidance [52.65461207786633]
  政策に基づく人間からのフィードバックからの強化学習は、大きな言語モデルと人間の嗜好の整合に不可欠である。 俳優と批評家の合同トレーニングと、事前訓練された一定の報酬モデルによる指導が必要である。 従来の報酬モデリングを事前訓練されたEmphglobal Value Model(GVM)に置き換えるリーンフレームワークである textbfDecoupled Value Policy Optimization (DVPO) を提案する。
  論文  参考訳（メタデータ） (2025-02-24T08:11:33Z)
• Quantized Neural Networks for Low-Precision Accumulation with Guaranteed Overflow Avoidance [68.8204255655161]
  本稿では,推定時のアキュムレータの精度を下げる際に,数値オーバーフローを回避する量子化学習アルゴリズムを提案する。 本手法は,浮動小数点点ベースラインに対するモデル精度を維持しつつ,アキュムレータの精度を低減できることを示す。
  論文  参考訳（メタデータ） (2023-01-31T02:46:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。