論文の概要: Trident: Unifying Guarded Dispatch and Host Execution for PyTorch Triton Workloads

• arxiv url: http://arxiv.org/abs/2609.37241v1
• Date: Tue, 29 Sep 2026 10:57:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.431627
• Title: Trident: Unifying Guarded Dispatch and Host Execution for PyTorch Triton Workloads
• Title（参考訳）: Trident: PyTorch Tritonワークロードのガード付きディスパッチとホスト実行の統合
• Abstract要約: Tridentはコンパイラバックエンドで、特殊化キャッシュヒットパスからこの繰り返し発生するオーバーヘッドを取り除く。 LLMの2つの評価式によると、Tridentは、熱心な実行よりもモデルレベルのエンドツーエンドのレイテンシが1.47倍、 torch.compileよりも1.68倍に向上している。
• 参考スコア（独自算出の注目度）: 7.4991289059092
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: User-written Triton kernels enable high-performance GPU computation within PyTorch, but their end-to-end latency can remain dominated by host-side orchestration, especially when device execution is short. Although torch.compile can generate native host wrappers for captured graphs, each invocation still passes through runtime-managed specialization lookup, guard evaluation, and preparation before reaching the wrapper. We present Trident, a compiler backend that removes this recurring overhead from the specialization cache-hit path. Trident introduces the Specialization Cache Module (SCM), which compiles guarded specialization selection, argument and execution-environment preparation, and host execution for multiple specializations into a single executable module. An invocation enters the SCM once, remains in compiled code when a specialization matches, and returns to Python only when a new specialization must be compiled. Built on Torch-MLIR, Trident lowers guards and host-side orchestration to native code while retaining calls to optimized runtime implementations of supported ATen operators. Our evalu- ation on two LLMs shows that Trident achieves up to a 1.47x speedup in model-level end-to-end latency over eager execution and up to 1.68x over torch.compile.
• Abstract（参考訳）: ユーザ記述のTritonカーネルは、PyTorch内で高速なGPU計算を可能にするが、そのエンドツーエンドのレイテンシは、特にデバイス実行が短い場合、ホスト側のオーケストレーションによって支配される。 torch.compileは、キャプチャされたグラフ用のネイティブホストラッパーを生成することができるが、各呼び出しは、実行時管理された特殊化ルックアップ、ガード評価、ラッパーに到達する前の準備を通過している。 コンパイラバックエンドであるTridentは、この繰り返し発生するオーバーヘッドを特殊化キャッシュヒットパスから取り除きます。 Tridentは、ガード付き特殊化選択、引数と実行環境の準備、複数の特殊化のためのホスト実行を単一の実行モジュールにコンパイルする、特殊化キャッシュモジュール(SCM)を導入した。 呼び出しは一度SCMに入り、特殊化が一致した時にコンパイルされたコードに残り、新しい特殊化をコンパイルしなければならない場合にのみPythonに返される。 Torch-MLIR上に構築されたTridentは、サポート対象のATenオペレータのランタイム実装へのコールを維持しながら、ガードとホスト側のオーケストレーションをネイティブコードに低める。 2つのLCMにおける評価式から、Tridentは、熱心な実行よりもモデルレベルのエンドツーエンドのレイテンシが最大1.47倍、 torch.compileより最大1.68倍速くなることを示す。

関連論文リスト

• Speculative Macro Commit for Faster Tool-Using Agents [18.574702996656935]
  2層エージェントシステムの実行機構である textbfSpeculative Macro Commit (SMC) を導入する。 SMCは、トレーニングトレースから繰り返し発生するマルチアクションスケルトンをマイニングし、マクロライブラリーに保存する。 AppWorldでは,SAベースラインを7.7%,シーケンシャル実行を44.9%削減する。
  論文  参考訳（メタデータ） (2026-09-03T00:31:43Z)
• AgentCompile: An LLM-Guided Compiler for Direct CUDA Inference [58.285369364699]
  本稿では,LDM出力をアドバイザリ検索メタデータとしてのみ使用するLDM誘導型推論コンパイラであるAgentCompileを提案する。 コンパイラ由来の領域要約と境界付き候補空間が与えられた後、LLMはセマンティックラベル、候補優先順位、パラメータヒント、リスクアノテーションを提案する。 AgentCompileは、グラフテンプレートを通じて候補を実体化し、インターフェースとハードウェアの制約をチェックし、試験的に候補を検証する。 エンドツーエンドの自動回帰生成では、AgentCompileはQwen3-1.7B上のPyTorch上で平均5.66x、4.05x、4.26xのスピードアップを行う。
  論文  参考訳（メタデータ） (2026-06-04T03:49:56Z)
• Kerncap: Automated Kernel Extraction and Isolation for AMD GPUs [0.0]
  反復GPUカーネルチューニングは、カーネルをホストするアプリケーションのスケールによってボトルネックとなる。 我々は、HIPとTritonの両方のHSAランタイムでディスパッチをインターセプトする自動カーネル抽出ツールであるKerncapを紹介する。
  論文  参考訳（メタデータ） (2026-05-04T22:53:50Z)
• SpecEyes: Accelerating Agentic Multimodal LLMs via Speculative Perception and Planning [104.01865949020304]
  エージェント・マルチモーダル・大規模言語モデル(MLLM)は,反復的な視覚的ツールの実行によって顕著な推論能力を達成する。 しかし、カスケード認識、推論、ツール呼び出しループは、重要なシーケンシャルなオーバーヘッドをもたらす。 このオーバーヘッドはエージェントディープと呼ばれ、禁止されたレイテンシを発生させ、システムレベルのスループットを著しく制限します。 本稿では,エージェントレベルの投機的アクセラレーションフレームワークであるSpecEyesを提案する。
  論文  参考訳（メタデータ） (2026-03-24T17:45:47Z)
• TaxBreak: Unmasking the Hidden Costs of LLM Inference Through Overhead Decomposition [0.0]
  この作業では、ホスト可視のオーケストレーションオーバーヘッドを分解するトレース駆動の方法論であるTaxBreakを紹介している。 NVIDIA H100およびH200システム上でTaxBreakを検証し、提案したホストデバイスバランス指標(HDBI)を導出する。 我々は,MoEモデルが高密度モデルよりも出力トークン当たり8～11倍のカーネルをディスパッチし,ホストバウンドワークロードでは,シングルスレッド性能が1次パラメータであることを示す。
  論文  参考訳（メタデータ） (2026-03-12T21:30:07Z)
• BackdoorAgent: A Unified Framework for Backdoor Attacks on LLM-based Agents [58.83028403414688]
  大規模言語モデル(LLM)エージェントは、計画、メモリ、ツールの使用を組み合わせた多段階ワークフローを通じてタスクを実行する。 エージェントワークフローの特定のステージに注入されたバックドアトリガーは、複数の中間状態を通して持続し、下流出力に悪影響を及ぼす可能性がある。 LLMエージェントにおけるバックドア脅威を統一したエージェント中心のビューを提供するモジュールおよびステージアウェアフレームワークである textbfBackdoorAgent を提案する。
  論文  参考訳（メタデータ） (2026-01-08T03:49:39Z)
• An LLM Compiler for Parallel Function Calling [68.04566807806071]
  我々は,複数の関数呼び出しを効率的にオーケストレーションするために並列に関数を実行するLLMCompilerを紹介する。 ReActと比較して、一貫したレイテンシの高速化が3.7倍、コストの削減が6.7倍、精度が9%向上している。
  論文  参考訳（メタデータ） (2023-12-07T18:32:04Z)
• Enabling Fast Differentially Private SGD via Just-in-Time Compilation and Vectorization [8.404254529115835]
  差分プライベート機械学習における共通の問題点は、差分プライベートグラディエントDescent(DPSGD)の実行時に発生する重要なランタイムオーバーヘッドである。 我々は、強力な言語プリミティブを利用することで、これらのオーバーヘッドを劇的に削減できることを示した。
  論文  参考訳（メタデータ） (2020-10-18T18:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。