論文の概要: TCL: Enabling Fast and Efficient Cross-Hardware Tensor Program Optimization via Continual Learning

• arxiv url: http://arxiv.org/abs/2604.12891v1
• Date: Tue, 14 Apr 2026 15:40:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.540517
• Title: TCL: Enabling Fast and Efficient Cross-Hardware Tensor Program Optimization via Continual Learning
• Title（参考訳）: TCL:連続学習による高速かつ効率的なクロスハードウェアテンソルプログラム最適化の実現
• Authors: Chaoyao Shen, Linfeng Jiang, Yixian Shen, Tao Xu, Guoqing Li, Anuj Pathania, Andy D. Pimentel, Meng Zhang,
• Abstract要約: 多様なハードウェアプラットフォームにまたがる高速テンソルプログラム最適化のための,効率的かつ転送可能なコンパイラフレームワークであるTCLを紹介する。 特にTCLは,(1)表現性,多様性,不確実性を両立させ,テンソルプログラムの10%しか選択しないデータ効率の高いアクティブ学習戦略であるRDUサンプリング,(2)パラメータ化と軽量シーケンスモデリングによる予測精度と計算コストのトレードオフを良好に達成しつつ,長距離スケジュール依存性を効率的に把握する新しいMambaベースのコストモデル,(3)複数のハードウェアプラットフォーム間で知識を効果的かつ漸進的に伝達する継続的知識蒸留フレームワークである。
• 参考スコア（独自算出の注目度）: 10.289167724605205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning (DL) compilers rely on cost models and auto-tuning to optimize tensor programs for target hardware. However, existing approaches depend on large offline datasets, incurring high collection costs and offering suboptimal transferability across platforms. In this paper, we introduce TCL, a novel efficient and transferable compiler framework for fast tensor program optimization across diverse hardware platforms to address these challenges. Specifically, TCL is built on three core enablers: (1) the RDU Sampler, a data-efficient active learning strategy that selects only 10% of tensor programs by jointly optimizing Representativeness, Diversity, and Uncertainty, substantially reducing data collection costs while maintaining near-original model accuracy; (2) a new Mamba-based cost model that efficiently captures long-range schedule dependencies while achieving a favorable trade-off between prediction accuracy and computational cost through reduced parameterization and lightweight sequence modeling; and (3) a continuous knowledge distillation framework that effectively and progressively transfers knowledge across multiple hardware platforms while avoiding the parameter explosion and data dependency issues typically caused by traditional multi-task learning. Extensive experiments validate the effectiveness of each individual enabler and the holistic TCL framework. When optimizing a range of mainstream DL models on both CPU and GPU platforms, TCL achieves, on average, 16.8x and 12.48x faster tuning time, and 1.20x and 1.13x lower inference latency, respectively, compared to Tenset-MLP.
• Abstract（参考訳）: ディープラーニング(DL)コンパイラは、ターゲットハードウェアのためのテンソルプログラムを最適化するために、コストモデルと自動チューニングに依存する。 しかし、既存のアプローチは大規模なオフラインデータセットに依存し、高いコレクションコストを発生させ、プラットフォーム間でのサブ最適転送機能を提供する。 本稿では,これらの課題に対処するため,様々なハードウェアプラットフォームにまたがる高速テンソルプログラム最適化のための,効率的かつ転送可能なコンパイラフレームワークTCLを紹介する。 特にTCLは,(1)代表性,多様性,不確実性を両立させ,テンソルプログラムの10%しか選択しないデータ効率の高いアクティブ学習戦略であるRDUサンプリング,(2)パラメータ化と軽量シーケンスモデリングによる予測精度と計算コストのトレードオフを良好に達成しつつ,従来型のマルチタスク学習によって引き起こされるパラメータ爆発やデータ依存の問題を回避することによる,複数のハードウェアプラットフォーム間での知識を効果的かつ漸進的に伝達する継続的知識蒸留フレームワークである。 広範囲な実験により、個々のイネーブラーと総合的なTCLフレームワークの有効性が検証された。 主要なDLモデルをCPUとGPUプラットフォームの両方で最適化する場合、TCLは平均16.8倍と12.48倍のチューニング時間、そしてTenset-MLPと比較して1.20倍と1.13倍の推論レイテンシを実現している。

関連論文リスト

• Breaking the Limits of Open-Weight CLIP: An Optimization Framework for Self-supervised Fine-tuning of CLIP [60.025820738301434]
  TuneCLIPはCLIPモデルの自己教師型微調整フレームワークである。 モデルアーキテクチャとスケールをまたいだパフォーマンスを継続的に改善します。 SigLIP (ViT-B/16) のような主要なオープンウェイトモデルが増加し、ImageNetと関連するアウト・オブ・ディストリビューション・ベンチマークで最大で2.5%向上した。
  論文  参考訳（メタデータ） (2026-01-14T20:38:36Z)
• AmorLIP: Efficient Language-Image Pretraining via Amortization [52.533088120633785]
  Contrastive Language-Image Pretraining (CLIP) は、様々な下流のテキストイメージタスクにまたがる強力なゼロショット性能を示している。 軽量ニューラルネットワークによるコントラスト学習に関わる高価な計算を記憶する,効率的なCLIP事前学習フレームワークであるAmorLIPを提案する。
  論文  参考訳（メタデータ） (2025-05-25T05:30:37Z)
• PRISM: Self-Pruning Intrinsic Selection Method for Training-Free Multimodal Data Selection [68.8373788348678]
  ビジュアルインストラクションチューニングは、事前訓練されたマルチモーダル大言語モデルに人間の指示に従うように適応する。 PRISMは、効率的な視覚的命令選択のための最初のトレーニング不要のフレームワークである。 データ選択とモデルチューニングのエンドツーエンドの時間を従来のパイプラインの30%に短縮する。
  論文  参考訳（メタデータ） (2025-02-17T18:43:41Z)
• FastCLIP: A Suite of Optimization Techniques to Accelerate CLIP Training with Limited Resources [45.40926501138365]
  我々は、高度な合成最適化技術に基づいて構築された一般的なCLIPトレーニングフレームワークであるFastCLIPを紹介する。 我々のフレームワークは、通信オーバーヘッドを低減するための効率的な勾配低減戦略を備えている。 我々は、FastCLIPと最先端のトレーニングベースラインのパフォーマンスを、異なる計算スケールでベンチマークする。
  論文  参考訳（メタデータ） (2024-07-01T16:37:18Z)
• Pruner: A Draft-then-Verify Exploration Mechanism to Accelerate Tensor Program Tuning [11.139231636612479]
  プログラムチューニングを高速化するために,Pruner と MoA-Pruner を提案する。 Prunerはスケジュール探索を高速化する"Draft-then-Verify"探索メカニズムである。 MoA-Prunerは、クロスプラットフォームのオンライン無意識に対処するためのMomentumオンライン適応戦略を導入した。
  論文  参考訳（メタデータ） (2024-02-04T06:11:12Z)
• Efficient Adversarial Contrastive Learning via Robustness-Aware Coreset Selection [59.77647907277523]
  敵対的コントラスト学習(ACL)は、高価なデータアノテーションを必要としないが、敵対的攻撃に耐える堅牢な表現を出力する。 ACLは、すべてのトレーニングデータの逆の変種を生成するのに、膨大な実行時間が必要です。 本稿では,ACLの高速化を目的としたロバストネス対応コアセット選択(RCS)手法を提案する。
  論文  参考訳（メタデータ） (2023-02-08T03:20:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。