論文の概要: rl-triton: High-Performance Triton GPU Kernels for Reinforcement Learning Credit Assignment

• arxiv url: http://arxiv.org/abs/2608.17641v2
• Date: Wed, 19 Aug 2026 11:29:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 13:35:39.294886
• Title: rl-triton: High-Performance Triton GPU Kernels for Reinforcement Learning Credit Assignment
• Title（参考訳）: rl-triton: 強化学習クレジットアサインメントのための高性能トリトンGPUカーネル
• Abstract要約: 本稿では,高性能GPUカーネルのオープンソースライブラリであるrl-tritonについて紹介する。 コアコントリビューションは7つの異なる推定アルゴリズムをリキャストする統合連想スキャンフレームワークである。 ベンチマークでは、並列シミュレーション方式のベクトル化されたトーチコンパイルベースライン上で1.6-5.70$times$フルコールのスピードアップが示されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present rl-triton, an open-source library of high-performance GPU kernels for reinforcement learning credit assignment, implemented in Triton. The core contribution is a unified associative scan framework that recasts seven distinct RL estimation algorithms - Generalized Advantage Estimation (GAE), V-Trace, Retrace($λ$), TD($λ$) returns, discounted returns, eligibility traces, and episodic prefix sums - as instances of a single first-order linear recurrence solved in $O(\log T)$ parallel steps. All algorithms share the same associative scan operator, with algorithm-specific fused Triton kernels constructing their recurrence coefficients on-chip. We verify the associative operator algebraically and define the treatment of terminated and truncated episodes explicitly. Benchmarks show a 1.6-5.70$\times$ full-call speedup over a vectorized torch-compile baseline in the massively parallel simulation regime (thousands of environments, short rollouts). The reported range covers all seven algorithms on both GPUs, both with and without per-step truncation handling. For most algorithms, speedups increase at longer sequence lengths, as the baseline requires more scan stages as $\log T$ grows, each adding an intermediate HBM round-trip. The library is available at https://github.com/simonsays1980/rl-triton.
• Abstract（参考訳）: 本稿では、Tritonで実装された強化学習クレジット代入のための高性能GPUカーネルのオープンソースライブラリであるrl-tritonについて述べる。 一般的なアドバンテージ推定(GAE)、V-Trace、Retrace($λ$)、TD($λ$)戻り値、割引されたリターン、可視性トレース、エピソードプレフィックスの和を、$O(\log T)$パラレルステップで解決された1次線形反復のインスタンスとして再キャストする。 全てのアルゴリズムは同じ連想スキャン演算子を共有し、アルゴリズム固有の融合されたトリトンカーネルは、その繰り返し係数をチップ上で構成する。 連想演算子を代数的に検証し,終了エピソードと停止エピソードの処理を明示的に定義する。 ベンチマークでは、大規模並列シミュレーションシステム(環境数、短いロールアウト数)におけるベクトル化されたトーチコンパイルベースラインに対する1.6-5.70$\times$フルコールのスピードアップが示されている。 報告された範囲は、ステップ単位のトランケーションハンドリングの両方で、両方のGPU上の7つのアルゴリズムすべてをカバーする。 ほとんどのアルゴリズムでは、$\log T$が成長するにつれて、ベースラインがより多くのスキャンステージを必要とするため、スピードアップは長いシーケンス長で増加し、それぞれが中間HBMラウンドトリップを追加する。 このライブラリはhttps://github.com/simonsays1980/rl-tritonで入手できる。

関連論文リスト

• Xe-Forge: Multi-Stage LLM-Powered Kernel Optimization for Intel GPU [38.81440160993858]
  ディープラーニングアルゴリズムを新しいハードウェアアクセラレータに移植するには、開発者はコードベースのすべてのTritonカーネルに同じ低レベル最適化を適用する必要がある。 我々は、このプロセスをIntel GPU向けに自動化するマルチステージLCM駆動パイプラインであるXe-Forgeを紹介する。 キュレートされた知識ベースは、LLMトレーニングデータにはないIntel GPU制約を符号化し、モデルをアーキテクチャ上有効なバウンダリ内に保持する。
  論文  参考訳（メタデータ） (2026-04-16T20:21:01Z)
• PolyKAN: Efficient Fused GPU Operators for Polynomial Kolmogorov-Arnold Network Variants [10.239332579225522]
  Kolmogorov-Arnold Networks (KAN) はマルチレイヤ・パーセプトロンよりも高い表現能力と高い解釈性を約束している。 我々は,kanとその変種の最初のオープンソース実装であるPolyKANというGPUアクセラレーション演算子ライブラリを提案する。
  論文  参考訳（メタデータ） (2025-11-18T19:05:16Z)
• Accelerated Evolving Set Processes for Local PageRank Computation [75.54334100808022]
  この研究は、パーソナライズされたPageRank計算を高速化するために、ネストした進化したセットプロセスに基づく新しいフレームワークを提案する。 このような局所化手法の時間複雑性は、PPRベクトルの$epsilon$-approximationを得るために$mintildemathcalO(R2/epsilon2), tildemathcalO(m)$によって上界となることを示す。
  論文  参考訳（メタデータ） (2025-10-09T09:47:40Z)
• Near-Optimal Online Learning for Multi-Agent Submodular Coordination: Tight Approximation and Communication Efficiency [52.60557300927007]
  離散部分モジュラー問題を連続的に最適化するために,$textbfMA-OSMA$アルゴリズムを提案する。 また、一様分布を混合することによりKLの発散を効果的に活用する、プロジェクションフリーな$textbfMA-OSEA$アルゴリズムも導入する。 我々のアルゴリズムは最先端OSGアルゴリズムによって提供される$(frac11+c)$-approximationを大幅に改善する。
  論文  参考訳（メタデータ） (2025-02-07T15:57:56Z)
• A User's Guide to $\texttt{KSig}$: GPU-Accelerated Computation of the Signature Kernel [12.111848705677138]
  シグネチャカーネルは、シーケンシャルおよびテンポラルデータのための正定カーネルである。 この章では、署名カーネルを演算するためのGPUアクセラレーションアルゴリズムを実装した、$textttKSig$、$textttScikit-Learn$互換Pythonパッケージについて短い紹介を行う。
  論文  参考訳（メタデータ） (2025-01-13T09:11:13Z)
• Low Depth Phase Oracle Using a Parallel Piecewise Circuit [3.629687485125086]
  位相 $exp(i,f(x))$ を計算基底状態 $left| x right>$ に適用する重要なタスクについて検討する。 また、ターゲット qubit を$f(x)$ に依存する角度で回転させる密接な関連するタスクについても検討する。 実行速度を優先する戦略は,$O(logn+logS)$と$n$ qubitsのレジスタと$S$セクションの断片的な近似に対して,回路深さを$O(logn+logS)$に抑えることができる。
  論文  参考訳（メタデータ） (2024-09-06T19:57:13Z)
• TCNCA: Temporal Convolution Network with Chunked Attention for Scalable Sequence Processing [52.64837396100988]
  MEGAは最近のトランスフォーマーベースのアーキテクチャで、線形リカレント演算子を使用し、並列計算はFFTに基づいて、$O(LlogL)$で、$L$はシーケンス長である。 線形再帰を特別な時間的畳み込みネットワークに置き換えることで、より浅いネットワークでより大きい受容場を許容し、計算複雑性を$O(L)$に減らし、それらのアプローチを構築する。 我々は,EnWik8言語モデリングにおけるTCNCA,LRA(Long-range-arena)シーケンス分類,および合成推論ベンチマーク連想リコールの評価を行った。
  論文  参考訳（メタデータ） (2023-12-09T16:12:25Z)
• Efficiently Learning One-Hidden-Layer ReLU Networks via Schur Polynomials [50.90125395570797]
  正方形損失に関して、標準的なガウス分布の下での$k$ReLU活性化の線形結合をPAC学習する問題をmathbbRd$で検討する。 本研究の主な成果は,この学習課題に対して,サンプルおよび計算複雑性が$(dk/epsilon)O(k)$で,epsilon>0$が目標精度である。
  論文  参考訳（メタデータ） (2023-07-24T14:37:22Z)
• ReSQueing Parallel and Private Stochastic Convex Optimization [59.53297063174519]
  本稿では,BFG凸最適化(SCO: Reweighted Query (ReSQue) 推定ツールを提案する。 我々はSCOの並列およびプライベート設定における最先端の複雑さを実現するアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-01-01T18:51:29Z)
• VersaGNN: a Versatile accelerator for Graph neural networks [81.1667080640009]
  我々は,超効率的なサイストリックアレイベースの多用途ハードウェアアクセラレータである textitVersaGNN を提案する。 textitVersaGNNは平均3712$times$ speedup with 1301.25$times$ energy reduction on CPU、35.4$times$ speedup with 17.66$times$ energy reduction on GPUを達成している。
  論文  参考訳（メタデータ） (2021-05-04T04:10:48Z)
• Asynchronous Advantage Actor Critic: Non-asymptotic Analysis and Linear Speedup [56.27526702716774]
  本稿では、A3CアルゴリズムをTD(0)で修正し、A3C-TD(0)と呼ばれ、証明可能な収束を保証する。 i.i.d. サンプリング a3c-td(0) は、作業者あたり $mathcalo(epsilon-2.5/n)$ のサンプル複雑性を取得して $epsilon$ 精度を達成する。 2 に対して $mathcalO(epsilon-2.5/N)$ の最もよく知られたサンプル複雑性との比較
  論文  参考訳（メタデータ） (2020-12-31T09:07:09Z)
• Streaming Coresets for Symmetric Tensor Factorization [9.181791777532608]
  ストリーミング環境でテンソルを効率的に分解する方法を示す。 本稿では,オンラインフィルタリングとカーネル化という2つの新しいアルゴリズム手法を紹介する。 単一トピックモデリング学習におけるアルゴリズムの適用例を示す。
  論文  参考訳（メタデータ） (2020-06-01T19:55:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。