論文の概要: Memory-Efficient Policy Libraries with Low-Rank Adaptation in Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2606.25700v1
- Date: Wed, 24 Jun 2026 11:15:42 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-25 17:05:30.313981
- Title: Memory-Efficient Policy Libraries with Low-Rank Adaptation in Reinforcement Learning
- Title（参考訳）: 強化学習における低ランク適応型メモリ効率な政策ライブラリ
- Abstract要約: また,Low Rank Adaptation (LoRA) は,全層の微調整に比べて20～160倍のメモリ使用量を最小化できることを示した。
同時に,本研究の結果から,選択したタスクの完全微調整とLoRA微調整との間には,成功率に有意な差がないことが示唆された。
- 参考スコア（独自算出の注目度）: 0.42560907317448043
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When fine-tuning Large Language Models (LLMs), there has been success in minimizing both memory usage and computation with Parameter-Efficient Fine-Tuning (PEFT), like Low Rank Adaptation (LoRA). In this article, we have explored whether this approach is transferable to the world of robotics and Reinforcement Learning (RL), allowing learning with reduced memory usage and improved computational performance. Specifically, we focused on a version of multi-task robotics, where a library of specialist policies are created. In such a library memory efficiency is especially important. We used a Proximal Policy Optimization (PPO) algorithm and fine-tuned a baseline model to different tasks using LoRA. Our results demonstrate that, depending on the hyperparameters, LoRA can minimize memory usage by a factor of 20-160 compared to full fine-tuning of all layers. This implies a 90-95% storage saving when deploying a library of many (10-50) specialized policies, which can be the differentiating factor between being able to store the entire library in memory or having to use swap-memory in an applied robotics setting. At the same time, our results indicate that there is no significant difference in the success-rate between full fine-tuning and LoRA fine-tuning for the selected tasks.
- Abstract（参考訳）: LLM(Large Language Models)を微調整する場合、Low Rank Adaptation (LoRA)のようにパラメータ効率の良い細調整(PEFT)によるメモリ使用量と計算量の最小化に成功している。
本稿では,ロボット工学と強化学習(Reinforcement Learning, RL)の世界にこのアプローチが移行可能かどうかを考察し,メモリ使用量の削減と計算性能の向上を図った。
具体的には、専門的なポリシーのライブラリが作成されるマルチタスクロボティクスのバージョンに焦点を当てた。
このようなライブラリーのメモリ効率は特に重要である。
提案手法はPPOアルゴリズムを用いて,LoRAを用いて各タスクに対するベースラインモデルを微調整した。
以上の結果から,LoRAのメモリ使用率を20～160倍に抑えることができることがわかった。
これは、多くの(10-50)専門ポリシーのライブラリをデプロイする場合、90-95%のストレージ節約を意味する。
同時に,本研究の結果から,選択したタスクの完全微調整とLoRA微調整との間に成功率に有意な差がないことが示唆された。
関連論文リスト
- Memory-R2: Fair Credit Assignment for Long-Horizon Memory-Augmented LLM Agents [27.2861945963127]
メモリ拡張LDMエージェントは、有限コンテキストウィンドウを超えて拡張されるインタラクションを可能にする。
マルチセッション環境における強化学習によるエージェントの育成は困難である。
メモリ拡張LDMエージェントのトレーニングフレームワークであるMemory-R2を紹介する。
論文 参考訳（メタデータ） (2026-05-20T22:02:00Z) - MemSifter: Offloading LLM Memory Retrieval via Outcome-Driven Proxy Reasoning [78.46301394559903]
大きな言語モデル(LLM)は、長期化タスクにますます使われています。
現在の手法はコストと精度のトレードオフに直面している。
MemSifterは、メモリ検索プロセスを小さなプロキシモデルにオフロードする新しいフレームワークである。
論文 参考訳（メタデータ） (2026-03-03T02:57:38Z) - Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。
本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。
勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
論文 参考訳（メタデータ） (2026-02-18T13:41:41Z) - Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。
ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
論文 参考訳（メタデータ） (2025-09-24T10:32:50Z) - Memory-R1: Enhancing Large Language Model Agents to Manage and Utilize Memories via Reinforcement Learning [89.55738101744657]
大規模言語モデル(LLM)は、幅広いNLPタスクで印象的な機能を示しているが、基本的にはステートレスである。
本稿では,LLMに外部メモリを積極的に管理・活用する機能を備えた強化学習フレームワークであるMemory-R1を提案する。
論文 参考訳（メタデータ） (2025-08-27T12:26:55Z) - Token-Efficient RL for LLM Reasoning [0.02488650627593658]
本稿では,大規模言語モデル (LLM) において,厳密なメモリと計算限界下での推論に適した強化学習戦略を提案する。
ベースラインサブトラクションを用いた早期ポリシー勾配法に基づいて,出力トークンの小さな情報サブセット上で動作する批判のない手法を設計する。
提案手法は,SVAMPベンチマークの精度を46%から70%以上に向上し,マルチ桁乗算において高い性能を示した。
論文 参考訳（メタデータ） (2025-04-29T14:58:43Z) - R-LoRA: Randomized Multi-Head LoRA for Efficient Multi-Task Learning [12.431575579432458]
Low-Rank Adaptation (LoRA)は、低ランク行列による重み更新を近似することにより、コスト効率のよいソリューションを提供する。
マルチタスク学習におけるLoRAの能力を高めるために,マルチヘッドランダム化を取り入れたR-LoRAを提案する。
論文 参考訳（メタデータ） (2025-02-21T13:30:21Z) - Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。
また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
論文 参考訳（メタデータ） (2024-09-22T11:24:10Z) - Chain of LoRA: Efficient Fine-tuning of Language Models via Residual
Learning [31.036465632204663]
本稿では,Frank-Wolfeアルゴリズムにインスパイアされた反復最適化フレームワークであるLoRAのChainを紹介する。
計算コストやメモリコストを増大させることなく,COLA が LoRA を一貫して上回ることを示す。
論文 参考訳（メタデータ） (2024-01-08T14:26:49Z) - Full Parameter Fine-tuning for Large Language Models with Limited Resources [55.794732214059806]
大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらしたが、トレーニングには大量のGPUリソースを必要としている。
我々は,メモリ使用量を削減するために,勾配とパラメータの更新を1ステップで融合する新しい計算,LOMO(LOw-Memory Optimization)を提案する。
論文 参考訳（メタデータ） (2023-06-16T11:37:15Z) - RMM: Reinforced Memory Management for Class-Incremental Learning [102.20140790771265]
クラスインクリメンタルラーニング(CIL)は、厳格な記憶予算の下で分類器を訓練する。
既存のメソッドは静的およびアドホックな戦略を使ってメモリ割り当てを行うが、これはしばしば準最適である。
本稿では,段階的な段階と異なるオブジェクトクラスに最適化された動的メモリ管理戦略を提案する。
論文 参考訳（メタデータ） (2023-01-14T00:07:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。