論文の概要: TCL: Enabling Fast and Efficient Cross-Hardware Tensor Program Optimization via Continual Learning

• arxiv url: http://arxiv.org/abs/2604.12891v1
• Date: Tue, 14 Apr 2026 15:40:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-15 19:11:32.540517
• Title: TCL: Enabling Fast and Efficient Cross-Hardware Tensor Program Optimization via Continual Learning
• Title（参考訳）: TCL:連続学習による高速かつ効率的なクロスハードウェアテンソルプログラム最適化の実現
• Abstract要約: 多様なハードウェアプラットフォームにまたがる高速テンソルプログラム最適化のための,効率的かつ転送可能なコンパイラフレームワークであるTCLを紹介する。 特にTCLは,(1)表現性,多様性,不確実性を両立させ,テンソルプログラムの10%しか選択しないデータ効率の高いアクティブ学習戦略であるRDUサンプリング,(2)パラメータ化と軽量シーケンスモデリングによる予測精度と計算コストのトレードオフを良好に達成しつつ,長距離スケジュール依存性を効率的に把握する新しいMambaベースのコストモデル,(3)複数のハードウェアプラットフォーム間で知識を効果的かつ漸進的に伝達する継続的知識蒸留フレームワークである。
• 参考スコア（独自算出の注目度）: 10.289167724605205
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep learning (DL) compilers rely on cost models and auto-tuning to optimize tensor programs for target hardware. However, existing approaches depend on large offline datasets, incurring high collection costs and offering suboptimal transferability across platforms. In this paper, we introduce TCL, a novel efficient and transferable compiler framework for fast tensor program optimization across diverse hardware platforms to address these challenges. Specifically, TCL is built on three core enablers: (1) the RDU Sampler, a data-efficient active learning strategy that selects only 10% of tensor programs by jointly optimizing Representativeness, Diversity, and Uncertainty, substantially reducing data collection costs while maintaining near-original model accuracy; (2) a new Mamba-based cost model that efficiently captures long-range schedule dependencies while achieving a favorable trade-off between prediction accuracy and computational cost through reduced parameterization and lightweight sequence modeling; and (3) a continuous knowledge distillation framework that effectively and progressively transfers knowledge across multiple hardware platforms while avoiding the parameter explosion and data dependency issues typically caused by traditional multi-task learning. Extensive experiments validate the effectiveness of each individual enabler and the holistic TCL framework. When optimizing a range of mainstream DL models on both CPU and GPU platforms, TCL achieves, on average, 16.8x and 12.48x faster tuning time, and 1.20x and 1.13x lower inference latency, respectively, compared to Tenset-MLP.
• Abstract（参考訳）: ディープラーニング(DL)コンパイラは、ターゲットハードウェアのためのテンソルプログラムを最適化するために、コストモデルと自動チューニングに依存する。 しかし、既存のアプローチは大規模なオフラインデータセットに依存し、高いコレクションコストを発生させ、プラットフォーム間でのサブ最適転送機能を提供する。 本稿では,これらの課題に対処するため,様々なハードウェアプラットフォームにまたがる高速テンソルプログラム最適化のための,効率的かつ転送可能なコンパイラフレームワークTCLを紹介する。 特にTCLは,(1)代表性,多様性,不確実性を両立させ,テンソルプログラムの10%しか選択しないデータ効率の高いアクティブ学習戦略であるRDUサンプリング,(2)パラメータ化と軽量シーケンスモデリングによる予測精度と計算コストのトレードオフを良好に達成しつつ,従来型のマルチタスク学習によって引き起こされるパラメータ爆発やデータ依存の問題を回避することによる,複数のハードウェアプラットフォーム間での知識を効果的かつ漸進的に伝達する継続的知識蒸留フレームワークである。 広範囲な実験により、個々のイネーブラーと総合的なTCLフレームワークの有効性が検証された。 主要なDLモデルをCPUとGPUプラットフォームの両方で最適化する場合、TCLは平均16.8倍と12.48倍のチューニング時間、そしてTenset-MLPと比較して1.20倍と1.13倍の推論レイテンシを実現している。

関連論文リスト

• Breaking the Limits of Open-Weight CLIP: An Optimization Framework for Self-supervised Fine-tuning of CLIP [60.025820738301434]
  TuneCLIPはCLIPモデルの自己教師型微調整フレームワークである。 モデルアーキテクチャとスケールをまたいだパフォーマンスを継続的に改善します。 SigLIP (ViT-B/16) のような主要なオープンウェイトモデルが増加し、ImageNetと関連するアウト・オブ・ディストリビューション・ベンチマークで最大で2.5%向上した。
  論文  参考訳（メタデータ） (2026-01-14T20:38:36Z)
• PT$^2$-LLM: Post-Training Ternarization for Large Language Models [52.4629647715623]
  大きな言語モデル(LLM)は、様々なタスクにまたがる印象的な機能を示しているが、その大きなメモリと計算能力は、デプロイメントを妨げている。 PT$2$-LLMを提案する。 その中核は2段精製パイプラインを備えた非対称3次量子化器である。
  論文  参考訳（メタデータ） (2025-09-27T03:01:48Z)
• AmorLIP: Efficient Language-Image Pretraining via Amortization [52.533088120633785]
  Contrastive Language-Image Pretraining (CLIP) は、様々な下流のテキストイメージタスクにまたがる強力なゼロショット性能を示している。 軽量ニューラルネットワークによるコントラスト学習に関わる高価な計算を記憶する,効率的なCLIP事前学習フレームワークであるAmorLIPを提案する。
  論文  参考訳（メタデータ） (2025-05-25T05:30:37Z)
• PRISM: Self-Pruning Intrinsic Selection Method for Training-Free Multimodal Data Selection [68.8373788348678]
  ビジュアルインストラクションチューニングは、事前訓練されたマルチモーダル大言語モデルに人間の指示に従うように適応する。 PRISMは、効率的な視覚的命令選択のための最初のトレーニング不要のフレームワークである。 データ選択とモデルチューニングのエンドツーエンドの時間を従来のパイプラインの30%に短縮する。
  論文  参考訳（メタデータ） (2025-02-17T18:43:41Z)
• Efficient Arbitrary Precision Acceleration for Large Language Models on GPU Tensor Cores [3.6385567224218556]
  大規模言語モデル(LLM)は広く応用されているが、効率的な推論では課題に直面している。 本稿では、並列計算を容易にし、対称量子化をサポートする新しいバイポーラ-INTデータフォーマットを提案する。 ビットレベルで分解・復元する任意の精度行列乗算方式を実装し,フレキシブルな精度を実現する。
  論文  参考訳（メタデータ） (2024-09-26T14:17:58Z)
• FastCLIP: A Suite of Optimization Techniques to Accelerate CLIP Training with Limited Resources [45.40926501138365]
  我々は、高度な合成最適化技術に基づいて構築された一般的なCLIPトレーニングフレームワークであるFastCLIPを紹介する。 我々のフレームワークは、通信オーバーヘッドを低減するための効率的な勾配低減戦略を備えている。 我々は、FastCLIPと最先端のトレーニングベースラインのパフォーマンスを、異なる計算スケールでベンチマークする。
  論文  参考訳（メタデータ） (2024-07-01T16:37:18Z)
• ALPS: Improved Optimization for Highly Sparse One-Shot Pruning for Large Language Models [26.150559375072476]
  ALPSは,演算子分割法と事前条件付き勾配共役型後処理法を用いて,プルーニング問題に対処する最適化ベースのフレームワークである。 提案手法はベクトル化とGPU並列性を有効利用しながら収束を加速し理論的に保証する新しい手法を取り入れている。 OPT-30Bモデルでは70%の間隔で、ALPSはWikiTextデータセットにおけるテストの難易度を13%削減し、既存の手法と比較してゼロショットベンチマークのパフォーマンスを19%改善した。
  論文  参考訳（メタデータ） (2024-06-12T02:57:41Z)
• Pruner: A Draft-then-Verify Exploration Mechanism to Accelerate Tensor Program Tuning [11.139231636612479]
  プログラムチューニングを高速化するために,Pruner と MoA-Pruner を提案する。 Prunerはスケジュール探索を高速化する"Draft-then-Verify"探索メカニズムである。 MoA-Prunerは、クロスプラットフォームのオンライン無意識に対処するためのMomentumオンライン適応戦略を導入した。
  論文  参考訳（メタデータ） (2024-02-04T06:11:12Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Efficient Adversarial Contrastive Learning via Robustness-Aware Coreset Selection [59.77647907277523]
  敵対的コントラスト学習(ACL)は、高価なデータアノテーションを必要としないが、敵対的攻撃に耐える堅牢な表現を出力する。 ACLは、すべてのトレーニングデータの逆の変種を生成するのに、膨大な実行時間が必要です。 本稿では,ACLの高速化を目的としたロバストネス対応コアセット選択(RCS)手法を提案する。
  論文  参考訳（メタデータ） (2023-02-08T03:20:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。