論文の概要: RLHFuse: Efficient RLHF Training for Large Language Models with Inter- and Intra-Stage Fusion

• arxiv url: http://arxiv.org/abs/2409.13221v1
• Date: Wed, 25 Sep 2024 22:28:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 11:18:04.282085
• Title: RLHFuse: Efficient RLHF Training for Large Language Models with Inter- and Intra-Stage Fusion
• Title（参考訳）: RLHFuse:段階内核融合を用いた大規模言語モデルの効率的なRLHF訓練
• Authors: Yinmin Zhong, Zili Zhang, Bingyang Wu, Shengyu Liu, Yukun Chen, Changyi Wan, Hanpeng Hu, Lei Xia, Ranchen Ming, Yibo Zhu, Xin Jin,
• Abstract要約: RLHF(Reinforcement Learning from Human Feedback)は、トレーニング後の重要なテクニックである。 既存のRLHFトレーニングシステムは、各タスクを最小の実行ユニットと見なしているため、サブタスクレベルの最適化の機会を見越すことができる。 RLHFuseは、個々のタスクの合成としてRLHFワークフローの従来のビューを分解し、各タスクをよりきめ細かいサブタスクに分割する。 RLHFuseは既存の最先端システムと比較してトレーニングのスループットを最大3.7倍に向上させる。
• 参考スコア（独自算出の注目度）: 10.165579735221092
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reinforcement Learning from Human Feedback (RLHF) stands as a pivotal post-training technique to enhance the alignment between LLMs and human preference. The workflow of RLHF typically involves several models and tasks in a series of distinct stages. Existing RLHF training systems view each task as the smallest execution unit thus overlooking the opportunities for subtask-level optimizations. Due to the intrinsic nature of RLHF training, i.e., the data skewness in the generation stage, and the pipeline bubbles in the training stage, existing RLHF systems suffer from low GPU utilization in production deployments. RLHFuse breaks the traditional view of RLHF workflow as a composition of individual tasks, splitting each task into finer-grained subtasks, and performing stage fusion to improve GPU utilization. RLHFuse contains two key ideas. First, for generation and inference tasks, RLHFuse splits them into sample-level subtasks, enabling efficient inter-stage fusion to mitigate the original generation bottleneck dominated by long-tailed samples. Second, for training tasks, RLHFuse breaks them into subtasks of micro-batches. By leveraging the intuition that pipeline execution can be essentially complemented by another pipeline, RLHFuse performs intra-stage fusion to concurrently execute these subtasks in the training stage with a fused pipeline schedule, resulting in fewer pipeline bubbles. In addition, RLHFuse incorporates a series of system optimizations tailored for each stage of RLHF, making it efficient and scalable for our internal product usage. We evaluate RLHFuse on various popular LLMs and the results show that RLHFuse increases the training throughput by up to 3.7x, compared to existing state-of-the-art systems.
• Abstract（参考訳）: RLHF(Reinforcement Learning from Human Feedback)は、LLMと人間の嗜好の整合性を高めるための重要なポストトレーニング技術である。 RLHFのワークフローは通常、一連の異なる段階におけるいくつかのモデルとタスクを含む。 既存のRLHFトレーニングシステムは、各タスクを最小の実行ユニットと見なしているため、サブタスクレベルの最適化の機会を見越すことができる。 RLHFトレーニングの本質的な性質、すなわち、生成段階でのデータ歪と、トレーニング段階でのパイプラインバブルにより、既存のRLHFシステムは、プロダクションデプロイメントにおけるGPU利用の低さに悩まされる。 RLHFuseは、個々のタスクの合成としてRLHFワークフローの従来のビューを分解し、各タスクをよりきめ細かいサブタスクに分割し、GPU利用を改善するためにステージ融合を実行する。 RLHFuseには2つの重要なアイデアが含まれている。 第一に、生成および推論タスクでは、RLHFuseはそれらをサンプルレベルのサブタスクに分割し、より効率的な段階間融合により、長い尾を持つサンプルが支配する生成ボトルネックを緩和する。 第二に、トレーニングタスクのために、RLHFuseはそれらをマイクロバッチのサブタスクに分割する。 パイプライン実行を基本的に別のパイプラインで補完できるという直感を活用することで、RLHFuseは、トレーニング段階でこれらのサブタスクを同時に実行するためのステージ内融合を実行し、パイプラインスケジュールを融合させ、パイプラインバブルを少なくする。 さらにRLHFuseには,RLHFの各ステージに適した一連のシステム最適化が組み込まれています。 その結果,RLHFuseは既存の最先端システムと比較して,トレーニングのスループットを最大3.7倍に向上させることがわかった。

関連論文リスト

• StreamRL: Scalable, Heterogeneous, and Elastic RL for LLMs with Disaggregated Stream Generation [55.75008325187133]
  強化学習(RL)は,大規模言語モデル(LLM)の学習後のコアとなる。 StreamRLは、最初の原則から分離して、2種類のパフォーマンスボトルネックに対処するように設計されている。 実験により、StreamRLは既存の最先端システムと比較してスループットを最大2.66倍改善することが示された。
  論文  参考訳（メタデータ） (2025-04-22T14:19:06Z)
• Trajectory Balance with Asynchrony: Decoupling Exploration and Learning for Fast, Scalable LLM Post-Training [71.16258800411696]
  強化学習(Reinforcement Learning, RL)は、大規模言語モデル(LLM)のポストトレーニングにおいて重要な要素である。 ポストトレーニングに使われている既存のオンラインアルゴリズムは、経験的リプレイバッファの使用と本質的に相容れない。 本稿では,TBA(Trajectory Balance with Asynchrony)によるバッファの再生を効率よく行うことを提案する。
  論文  参考訳（メタデータ） (2025-03-24T17:51:39Z)
• Provably Efficient RLHF Pipeline: A Unified View from Contextual Bandits [59.30310692855397]
  本稿では,RLHFパイプラインをコンテキスト的帯域幅の観点から統一したフレームワークを提案する。 RLHFプロセスは、(ポスト-)トレーニングとデプロイメントの2つのステージに分解します。 次に,各ステージごとに新しいアルゴリズムを開発し,統計的および計算効率の両面で有意な改善を示す。
  論文  参考訳（メタデータ） (2025-02-11T02:36:01Z)
• Asynchronous RLHF: Faster and More Efficient Off-Policy RL for Language Models [11.624678008637623]
  RLHFにおける生成と学習の分離を提案する。 オンラインDPOは、政治以外のデータに対して最も堅牢である。 非同期トレーニングは、オンラインだが非政治的なRLHFという未調査の制度に依存している。
  論文  参考訳（メタデータ） (2024-10-23T19:59:50Z)
• MA-RLHF: Reinforcement Learning from Human Feedback with Macro Actions [46.608747360764035]
  人間からのフィードバックからの強化学習(RLHF)は、大規模言語モデル(LLM)と人間の嗜好の整合性を示す。 トークンのシーケンスや高レベルの言語構造を含むマクロアクションを学習プロセスに組み込んだ,シンプルで効果的なRLHFフレームワークであるMA-RLHFを提案する。 提案手法は,テキスト要約,対話生成,質問応答,プログラム合成など,様々なモデルサイズやタスクにまたがる広範な実験を通じて検証される。
  論文  参考訳（メタデータ） (2024-10-03T17:55:13Z)
• Adaptive teachers for amortized samplers [76.88721198565861]
  そこで,本研究では,初等無罪化標本作成者(学生)の指導を指導する適応的学習分布(教師)を提案する。 本研究では, この手法の有効性を, 探索課題の提示を目的とした合成環境において検証する。
  論文  参考訳（メタデータ） (2024-10-02T11:33:13Z)
• HybridFlow: A Flexible and Efficient RLHF Framework [13.80577212781375]
  人間のフィードバックからの強化学習は、Large Language Model (LLM)アライメントで広く使われている。 従来のRLはデータフローとしてモデル化することができ、各ノードはニューラルネットワーク(NN)の計算を表す。 RLHFデータフローの柔軟な表現と効率的な実行を可能にするために,シングルコントローラとマルチコントローラのパラダイムをハイブリッド方式で組み合わせたHybridFlowを提案する。
  論文  参考訳（メタデータ） (2024-09-28T06:20:03Z)
• ReaLHF: Optimized RLHF Training for Large Language Models through Parameter Reallocation [12.321332446941378]
  Reinforcement Learning from Human Feedback (RLHF)は、大規模言語モデル(LLM)アプリケーションを強化するための重要なテクニックである。 本稿では,LLMパラメータをクラスタ内で動的に再分割するパラメータReaLlocationを提案する。 本稿では、RLHFトレーニングのための効率的な実行計画を自動的に発見・実行できる先駆的なシステムであるReaLHFを紹介する。
  論文  参考訳（メタデータ） (2024-06-20T08:04:07Z)
• RLHF Workflow: From Reward Modeling to Online RLHF [79.83927049253924]
  本稿では,RLHF(Online Iterative Reinforcement Learning from Human Feedback)のワークフローについて報告する。 RLHFは、最近の大規模言語モデル(LLM)文学において、オフライン言語よりもはるかに優れていると広く報告されている。 教師付き微調整(SFT)と反復RLHFは,完全なオープンソースデータセットを用いて最先端の性能を得ることができることを示す。
  論文  参考訳（メタデータ） (2024-05-13T15:50:39Z)
• PYRA: Parallel Yielding Re-Activation for Training-Inference Efficient Task Adaptation [61.57833648734164]
  本稿では, PYRA(Parallel Yielding Re-Activation)法を提案する。 PYRAは低圧縮率と高圧縮率の両方で競合する全ての手法より優れている。
  論文  参考訳（メタデータ） (2024-03-14T09:06:49Z)
• Proxy-RLHF: Decoupling Generation and Alignment in Large Language Model with Proxy [47.327200425168314]
  Reinforcement Learning from Human Feedback (RLHF) は、Large Language Models (LLM) が人間の価値と一致することを確実にするための一般的なアプローチである。 本稿では,LLMの生成とアライメントを分離するProxy-RLHFを紹介する。 本手法は他の手法のトレーニングパラメータの1%に匹敵するアライメントのレベルを達成する。
  論文  参考訳（メタデータ） (2024-03-07T07:31:00Z)
• ESRL: Efficient Sampling-based Reinforcement Learning for Sequence Generation [43.506732624371786]
  本稿では,RLを用いたトレーニングシーケンス生成モデルにおいて,サンプリング効率を向上させるための2段階サンプリング手法と動的サンプリング手法を提案する。 実験結果から,ESRLと呼ばれる効率的なサンプリングベースRLは,トレーニング効率とメモリ消費の両方の観点から,すべてのベースラインを上回り得ることが示された。
  論文  参考訳（メタデータ） (2023-08-04T09:35:45Z)
• Hypernetworks in Meta-Reinforcement Learning [47.25270748922176]
  マルチタスク強化学習(RL)とメタRLは、関連するタスクの分布を一般化することにより、サンプル効率を向上させることを目的としている。 最先端の手法はしばしば、各タスクを個別に学習する退化したソリューションよりも優れている。 Hypernetworksは、退化ソリューションの別々のポリシーを複製し、メタRLに適用できるので、将来性のある道です。
  論文  参考訳（メタデータ） (2022-10-20T15:34:52Z)
• DL-DRL: A double-level deep reinforcement learning approach for large-scale task scheduling of multi-UAV [65.07776277630228]
  分割・征服フレームワーク(DCF)に基づく二重レベル深層強化学習(DL-DRL)手法を提案する。 特に,上層部DRLモデルにおけるエンコーダ・デコーダ構成ポリシネットワークを設計し,タスクを異なるUAVに割り当てる。 また、低レベルDRLモデルにおける別の注意に基づくポリシーネットワークを利用して、各UAVの経路を構築し、実行されたタスク数を最大化する。
  論文  参考訳（メタデータ） (2022-08-04T04:35:53Z)
• Pretraining & Reinforcement Learning: Sharpening the Axe Before Cutting the Tree [2.0142516017086165]
  プレトレーニングは、パフォーマンスを高め、トレーニング時間を短縮するためのディープラーニングの一般的なテクニックである。 大規模かつ公開可能なデータセットとケースバイケース生成データセットを用いて,RLタスクの事前学習の有効性を評価した。 その結果、関連するデータセットのトレーニング中に学んだフィルタが事前トレーニングを非効率にするのに対して、分散データセットのトレーニング中に学んだフィルタは、RLトレーニング時間を確実に短縮し、80k RLトレーニングステップ後のパフォーマンスを改善することが示唆された。
  論文  参考訳（メタデータ） (2021-10-06T04:25:14Z)
• Decoupling Representation Learning from Reinforcement Learning [89.82834016009461]
  Augmented Temporal Contrast (ATC) と呼ばれる教師なし学習タスクを導入する。 ATCは畳み込みエンコーダを訓練し、短い時間差で分離された観測ペアを関連付ける。 オンラインRL実験では,ATCマッチを用いたエンコーダのトレーニングや,エンド・ツー・エンドのRLよりも優れていた。
  論文  参考訳（メタデータ） (2020-09-14T19:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。