論文の概要: Reinforcement Learning for LLM Reasoning Under Memory Constraints

• arxiv url: http://arxiv.org/abs/2504.20834v1
• Date: Tue, 29 Apr 2025 14:58:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:54.95069
• Title: Reinforcement Learning for LLM Reasoning Under Memory Constraints
• Title（参考訳）: 記憶制約下におけるLLM推論のための強化学習
• Authors: Alan Lee, Harry Tong,
• Abstract要約: 本稿では,グループ相対政策最適化のメモリ効率向上版であるS-GRPOと,よりきめ細かいクレジットカード代入のためのトークンレベルのプレフィックスマッチング戦略であるT-SPMOを紹介する。 限られたリソースにもかかわらず、Qwen2-1.5Bを微調整する場合、両方の手法はLoRAトレーニングを使用してSVAMPベンチマークの精度を46%から70%以上改善した。 両タスクのモデル性能(ベースモデルと比較)は,LoRAファインチューニングによるGRPOベースラインでは改善されなかった。
• 参考スコア（独自算出の注目度）: 0.02488650627593658
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore reinforcement learning (RL) techniques to enhance reasoning within targeted problem spaces in large language models (LLMs) under memory and compute constraints. Our focus is on critic-free methods compatible with LoRA fine-tuning on a single 40GB GPU, a common limitation in academic settings. We introduce S-GRPO, a memory-efficient variant of Group Relative Policy Optimization, and T-SPMO, a token-level prefix matching strategy for fine-grained credit assignment. Despite limited resources, when used to fine-tune Qwen2-1.5B both methods significantly improve SVAMP benchmark accuracy from 46% to above 70% using LoRA training. T-SPMO also excels in multi-digit multiplication tasks, underscoring the potential of RL fine-tuning under hardware constraints. Additionally, we find that our full-token GRPO baseline under LoRA fine-tuning did not improve model performance (compared to base model) on either task, suggesting that our memory-efficient methods may act as a form of regularization that stabilizes training when only a small subset of parameters are updated.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)において,メモリおよび計算制約下での目的問題空間内での推論を強化するための強化学習(RL)手法について検討する。 私たちの焦点は、学術的な設定で共通する制限である単一の40GB GPU上でのLoRAの微調整と互換性のある、批判のないメソッドに焦点を当てています。 本稿では,グループ相対政策最適化のメモリ効率向上版であるS-GRPOと,よりきめ細かいクレジットカード代入のためのトークンレベルのプレフィックスマッチング戦略であるT-SPMOを紹介する。 限られたリソースにもかかわらず、Qwen2-1.5Bを微調整する場合、両方の手法はLoRAトレーニングを使用してSVAMPベンチマークの精度を46%から70%以上改善した。 T-SPMOはマルチ桁乗算タスクにも優れており、ハードウェア制約下でのRL微調整の可能性を示している。 さらに,LoRAファインタニングによる完全なGRPOベースラインでは,各タスクにおけるモデル性能(ベースモデルと比較)が向上せず,メモリ効率のよい手法が,パラメータの小さなサブセットだけを更新した場合のトレーニングを安定化する正規化の一形態として機能する可能性が示唆された。

関連論文リスト

• LoRA-Based Continual Learning with Constraints on Critical Parameter Changes [7.634417409656999]
  LoRAベースの連続学習は、下流の連続学習タスクで事前学習されたモデルを活用するための有望な道である。 本研究では,視力変換器(ViT)における最重要パラメータ行列の凍結について,事前タスクの学習に先立って提案する。 提案手法は,いくつかのよく知られた連続学習ベンチマークにおいて,最先端(SOTA)性能を実現することを示唆している。
  論文  参考訳（メタデータ） (2025-04-18T02:08:19Z)
• SD-LoRA: Scalable Decoupled Low-Rank Adaptation for Class Incremental Learning [73.93639228235622]
  基礎モデルによる継続的な学習は、シーケンシャルなタスクに取り組むための事前トレーニング中に得られた豊富な知識を活用するための有望なパラダイムとして現れてきた。 既存のプロンプトベースおよびローランク適応ベース(LoRAベース)メソッドでは、プロンプト/ローラプールの拡張や、以前のタスクのサンプルの保持がしばしば必要である。 クラスインクリメンタル学習のためのスケーラブルデカップリングLoRA(SD-LoRA)を提案する。
  論文  参考訳（メタデータ） (2025-01-22T20:00:41Z)
• Unlocking Tuning-Free Few-Shot Adaptability in Visual Foundation Models by Recycling Pre-Tuned LoRAs [76.40876036912537]
  大規模言語モデル(LLM)は、微調整を必要とせず、強力な少数ショット適応性を示す。 現在のVisual Foundation Models (VFM) は十分なチューニングデータを持つ明示的な微調整を必要とする。 そこで我々は, メタ学習目的の多様なLoRAからメタLoRAを蒸留するフレームワークであるLoRA Recycleを提案する。
  論文  参考訳（メタデータ） (2024-12-03T07:25:30Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning [105.11844150736536]
  低ランク適応は、大規模言語モデルのためのパラメータ効率の良い微調整法として人気がある。 トレーニング可能なパラメータ数を同じ数に保ちながら、高階更新を実現するために2乗行列を用いるMoRAと呼ばれる新しい手法を提案する。 本手法はメモリ集約型タスクではLoRAより優れ,他のタスクでは同等のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-20T15:48:32Z)
• BiLoRA: A Bi-level Optimization Framework for Overfitting-Resilient Low-Rank Adaptation of Large Pre-trained Models [34.1111413429869]
  BiLoRA はバイレベル最適化 (BLO) に基づく過度に適合する微調整手法である 自然言語理解と生成タスクをカバーする10のデータセットでテストしました。
  論文  参考訳（メタデータ） (2024-03-19T14:11:20Z)
• Chain of LoRA: Efficient Fine-tuning of Language Models via Residual Learning [31.036465632204663]
  本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。 計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
  論文  参考訳（メタデータ） (2024-01-08T14:26:49Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。