論文の概要: Hybrid-Adaptive Thread Tuning to Mitigate Simulation Execution Bottlenecks in High-Performance Reinforcement Learning Inference

• arxiv url: http://arxiv.org/abs/2608.06025v1
• Date: Thu, 06 Aug 2026 13:31:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-07 15:25:20.925798
• Title: Hybrid-Adaptive Thread Tuning to Mitigate Simulation Execution Bottlenecks in High-Performance Reinforcement Learning Inference
• Title（参考訳）: ハイブリット適応スレッドチューニングによる高速強化学習推論におけるシミュレーション実行ボットネックの緩和
• Abstract要約: AutoThreadは、強化学習推論におけるシミュレーションボトルネックを軽減するためのハイブリッド適応スレッドチューニング手法である。 物理インフォームド・ニューラル演算子(PINO)をスレッド数予測器として使用し、有限ソースM/M/1キューモデルを組み込んで予測を制約し誘導する。 実験の結果、AutoThreadは静的戦略よりも平均速度を18.4%向上し、それぞれXGBoostとReinforcerの1.7倍と1.8倍のスループットを実現し、最先端の手法と比較して実行時間を最大83.8%削減した。
• 参考スコア（独自算出の注目度）: 2.5912575477043065
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: In simulation-in-the-loop decision-making systems, reinforcement learning (RL) inference is often constrained by simulator-side execution overhead, where workloads are highly dynamic and sensitive to runtime thread configurations. Existing multithreaded strategies struggle to match thread resources before or during execution, causing resource contention, scheduling overhead, and reduced throughput. Through empirical analysis, we identify the ratio of task execution time to scheduling time as the key factor determining the optimal thread count. Building on this insight, we propose AutoThread, a hybrid adaptive thread-tuning method for mitigating simulation bottlenecks in RL inference. AutoThread employs a Physics-Informed Neural Operator (PINO) as a thread-count predictor and incorporates a finite-source M/M/1 queueing model to constrain and guide prediction, enabling fast and accurate estimation under dynamic workloads. It further performs load-aware online fine-tuning to compensate for prediction errors and refine resource allocation. Experiments show that AutoThread improves average speedup by 18.4\% over static strategies, achieves average throughput of 1.7x and 1.8x that of XGBoost and Reinforcer, respectively, and reduces execution time by up to 83.8\% compared with state-of-the-art methods. Our code and dataset are publicly available at https://github.com/suchenjm/AutoThread.
• Abstract（参考訳）: シミュレーション・イン・ザ・ループ決定システムでは、強化学習(RL)推論はシミュレータサイドの実行オーバーヘッドによって制約されることが多い。 既存のマルチスレッド戦略は、実行前または実行中にスレッドリソースにマッチし、リソース競合、スケジュールオーバーヘッド、スループットの低下を引き起こす。 経験的分析により、最適なスレッド数を決定するキーファクタとして、タスク実行時間とスケジューリング時間との比率を同定する。 この知見に基づいて、RL推論におけるシミュレーションボトルネックを軽減するためのハイブリッド適応スレッドチューニング手法であるAutoThreadを提案する。 AutoThreadは、スレッド数予測器として物理インフォームドニューラルネットワーク(PINO)を採用し、有限ソースM/M/1キューモデルを組み込んで予測を制約し、ガイドし、動的ワークロード下での高速かつ正確な推定を可能にする。 さらに、予測エラーを補償し、リソース割り当てを洗練するために、ロードアウェアのオンライン微調整を実行する。 実験の結果、AutoThreadは静的戦略よりも平均速度を18.4\%向上し、それぞれXGBoostとReinforcerの1.7xと1.8xの平均スループットを実現し、最先端の手法と比較して実行時間を最大83.8\%削減した。 私たちのコードとデータセットはhttps://github.com/suchenjm/AutoThreadで公開されています。

関連論文リスト

• SmoothRL: Online Reinforcement Learning During Asynchronous Execution [12.24698147742807]
  物理的な世界でロボットポリシーをデプロイするには、信頼性とスムーズなリアルタイム実行という、2つの基本的なデシダータを満たす必要がある。 SmoothRLは、非同期推論ループ内で事前訓練されたポリシーを微調整するオンライン強化学習フレームワークである。 我々は,SmoothRLを実世界のロボットタスクに対して高い精度で評価し,非同期実行を必要とする高ダイナミックなタスクについて検討した。
  論文  参考訳（メタデータ） (2026-08-30T12:56:09Z)
• DiscreteRTC: Discrete Diffusion Policies are Natural Asynchronous Executors [57.944744187489185]
  外部修正をネイティブなアンマスクに置き換えるDiscreteRTCを提案する。 DiscreteRTCは、非同期のインペインティングのために0行のコードを実装するのが簡単で、スクラッチから生成したアクションに比べてわずか0.7倍の計算速度で推論が高速で、フローベースのRTCに比べて実世界の動的ピックタスクの成功率が50%向上した。
  論文  参考訳（メタデータ） (2026-04-27T23:04:03Z)
• Para-B&B: Load-Balanced Deterministic Parallelization of Solving MIP [50.917107318582715]
  MIP(Mixed-integer Programming)は、連続型と整数型の両方の決定変数を組み込むことで線形プログラミングを拡張する。 本稿では,高性能MIPソルバであるHiGHSに対して,決定論的並列分岐結合の完全なオープンソース実装を初めて提案する。 本手法では,ワーカスレッド間で完全なソルバ状態を複製することにより,厳密な決定性を保証する新しいデータ並列アーキテクチャを提案する。
  論文  参考訳（メタデータ） (2026-02-10T14:17:53Z)
• ThreadWeaver: Adaptive Threading for Efficient Parallel Reasoning in Language Models [99.6720868215076]
  適応並列推論のためのフレームワークThreadWeaverを紹介します。 ThreadWeaverは、同等サイズの一般的なシーケンシャル推論モデルと同等の精度を達成する。 ThreadWeaverはトークンのレイテンシの平均速度を最大1.53倍にします。
  論文  参考訳（メタデータ） (2025-11-24T18:55:59Z)
• ATTS: Asynchronous Test-Time Scaling via Conformal Prediction [112.54016379556073]
  大規模な言語モデル(LLM)は、テスト時のスケーリングの恩恵を受けるが、しばしば高い推論遅延によって妨げられる。 統計的に保証された適応スケーリングフレームワークであるATTS(Asynchronous Test-Time Scaling)を紹介する。 ATTSは、テストタイムのスケーリングにおいて最大56.7倍のスピードアップと4.14倍のスループット向上を実現している。
  論文  参考訳（メタデータ） (2025-09-18T16:55:09Z)
• Towards a Proactive Autoscaling Framework for Data Stream Processing at the Edge using GRU and Transfer Learning [0.0]
  実世界のDSPデータセットと合成DSPデータセットを用いて,GRUニューラルネットワークが上流の負荷を予測する方法を示す。 転送学習フレームワークは、予測モデルをオンラインストリーム処理システムに統合する。 負荷予測のための軽量GRUモデルは、実世界のデータセット上で最大1.3%のSMAPE値を記録した。
  論文  参考訳（メタデータ） (2025-07-19T12:47:50Z)
• Pangu Embedded: An Efficient Dual-system LLM Reasoner with Metacognition [95.54406667705999]
  Pangu Embeddedは、Ascend Neural Processing Units (NPU) 上で開発された効率的なLarge Language Model (LLM) 推論器である。 既存の推論最適化 LLM でよく見られる計算コストと推論遅延の問題に対処する。 単一の統一モデルアーキテクチャ内で、迅速な応答と最先端の推論品質を提供する。
  論文  参考訳（メタデータ） (2025-05-28T14:03:02Z)
• The Streaming Batch Model for Efficient and Fault-Tolerant Heterogeneous Execution [28.768566833298365]
  異種バッチ推論パイプラインのスループットを2.5～12$times$で向上するストリーミングバッチシステムであるRay Dataを紹介します。 Ray Dataは、シングルノードMLデータローダと比較して、安定拡散のようなマルチモーダルモデルのトレーニングスループットを31%改善する。
  論文  参考訳（メタデータ） (2025-01-16T19:54:01Z)
• Accelerating Feedforward Computation via Parallel Nonlinear Equation Solving [106.63673243937492]
  ニューラルネットワークの評価や自己回帰モデルからのサンプリングなどのフィードフォワード計算は、機械学習においてユビキタスである。 本稿では,非線形方程式の解法としてフィードフォワード計算の課題を定式化し,ジャコビ・ガウス・シーデル固定点法とハイブリッド法を用いて解を求める。 提案手法は, 並列化可能な繰り返し回数の削減(あるいは等値化)により, 元のフィードフォワード計算と全く同じ値が与えられることを保証し, 十分な並列化計算能力を付与する。
  論文  参考訳（メタデータ） (2020-02-10T10:11:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。