論文の概要: IIET: Efficient Numerical Transformer via Implicit Iterative Euler Method

• arxiv url: http://arxiv.org/abs/2509.22463v1
• Date: Fri, 26 Sep 2025 15:14:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-29 20:57:54.537954
• Title: IIET: Efficient Numerical Transformer via Implicit Iterative Euler Method
• Title（参考訳）: IIET: 命令反復オイラー法による効率的な数値変圧器
• Authors: Xinyu Liu, Bei Li, Jiahao Liu, Junhao Ruan, Kechen Jiao, Hongyin Tang, Jingang Wang, Xiao Tong, Jingbo Zhu,
• Abstract要約: 高次数値計算法は、NLPやCVのようなタスクにおけるトランスフォーマーの性能を向上させるが、計算オーバーヘッドの増加による性能-効率トレードオフを導入する。 そこで本研究では,PCformerを例に,従来の蒸留技術はこれらのモデルの性能に悪影響を及ぼす可能性が示唆された。 提案するtextbfIterative textbfImplicit textbfEuler textbfTransformer textbf(IIET)。
• 参考スコア（独自算出の注目度）: 59.02943805284446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-order numerical methods enhance Transformer performance in tasks like NLP and CV, but introduce a performance-efficiency trade-off due to increased computational overhead. Our analysis reveals that conventional efficiency techniques, such as distillation, can be detrimental to the performance of these models, exemplified by PCformer. To explore more optimizable ODE-based Transformer architectures, we propose the \textbf{I}terative \textbf{I}mplicit \textbf{E}uler \textbf{T}ransformer \textbf{(IIET)}, which simplifies high-order methods using an iterative implicit Euler approach. This simplification not only leads to superior performance but also facilitates model compression compared to PCformer. To enhance inference efficiency, we introduce \textbf{I}teration \textbf{I}nfluence-\textbf{A}ware \textbf{D}istillation \textbf{(IIAD)}. Through a flexible threshold, IIAD allows users to effectively balance the performance-efficiency trade-off. On lm-evaluation-harness, IIET boosts average accuracy by 2.65\% over vanilla Transformers and 0.8\% over PCformer. Its efficient variant, E-IIET, significantly cuts inference overhead by 55\% while retaining 99.4\% of the original task accuracy. Moreover, the most efficient IIET variant achieves an average performance gain exceeding 1.6\% over vanilla Transformer with comparable speed.
• Abstract（参考訳）: 高次数値計算法は、NLPやCVのようなタスクにおけるトランスフォーマーの性能を向上させるが、計算オーバーヘッドの増加による性能-効率トレードオフを導入する。 そこで本研究では,PCformerを例に,従来の蒸留技術はこれらのモデルの性能に悪影響を及ぼす可能性が示唆された。 より最適化可能なODEベースのトランスフォーマーアーキテクチャを探索するために、反復的暗黙的オイラーアプローチを用いて高階法を単純化する、 \textbf{I}terative \textbf{I}mplicit \textbf{E}uler \textbf{T}ransformer \textbf{T}ransformer \textbf{(IIET)}を提案する。 この単純化によって性能が向上するだけでなく、PCformerに比べてモデル圧縮が容易になる。 推論効率を高めるために, \textbf{I}teration \textbf{I}nfluence-\textbf{A}ware \textbf{D}istillation \textbf{(IIAD)}を紹介する。 フレキシブルなしきい値によって、IIADはパフォーマンスと効率のトレードオフを効果的にバランスさせることができる。 lm評価ハーネスでは、IIETはバニラ変換器で平均精度を2.65 %、PCformerで0.8 %向上させる。 効率的なE-IIETは推論のオーバーヘッドを55 %削減し、元のタスク精度の99.4 %を維持した。 さらに、最も効率的なIIET変種は、同等の速度でバニラ変換器よりも1.6\%を超える平均的な性能向上を達成する。

関連論文リスト

• Neutralizing Token Aggregation via Information Augmentation for Efficient Test-Time Adaptation [59.1067331268383]
  TTA(Test-Time Adaptation)は、視覚変換器(ViT)を追加のトレーニングデータなしで分散シフトに適応するための有効なソリューションとして登場した。 推論コストを削減するために、プラグイン・アンド・プレイのトークン・アグリゲーション手法はViTに冗長なトークンをマージし、全処理されたトークンを減らす。 我々はこの問題をETTA(Efficient Test-Time Adaptation)として定式化し、推論遅延を低減しつつTTAの適応性を維持する。
  論文  参考訳（メタデータ） (2025-08-05T12:40:55Z)
• Accelerating Diffusion Transformer via Increment-Calibrated Caching with Channel-Aware Singular Value Decomposition [4.0594792247165]
  拡散変換器(DiT)モデルは画像生成において顕著な成功を収めた。 Increment-calibrated cache, a training-free method for DiT accelerate。 本手法は45%以上を除去し,0.06 FID増加のコストでISを12倍に改善する。
  論文  参考訳（メタデータ） (2025-05-09T06:56:17Z)
• Accelerating AI Performance using Anderson Extrapolation on GPUs [2.114333871769023]
  Anderson外挿を利用したAI性能向上のための新しい手法を提案する。 混合ペナルティが生じるクロスオーバー点を特定することにより、反復を収束に還元することに焦点を当てる。 高速コンピューティングの領域におけるスケーラビリティと効率性の拡張を動機とした,トレーニングと推論の両面での大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-10-25T10:45:17Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• From PEFT to DEFT: Parameter Efficient Finetuning for Reducing Activation Density in Transformers [52.199303258423306]
  本稿では,事前学習したモデルにおいて,高い活性化空間性を促進する新しい密度損失を提案する。 提案手法である textbfDEFT は,RoBERTa$_mathrmLarge$ で textbf44.94% ,Flan-T5$_mathrmXXL$ で textbf53.19% (エンコーダ密度) と textbf90.60% (デコーダ密度) で常に活性化密度を減少させることができる。
  論文  参考訳（メタデータ） (2024-02-02T21:25:46Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• Easy and Efficient Transformer : Scalable Inference Solution For large NLP mode [14.321889138798072]
  本稿では,超大規模事前学習モデル最適化手法を提案する。 推論エンジンとして Easy and Efficient Transformer (EET) が提案されている。 EETは、コンテキストの長さに応じて1.5-15倍のスピードアップを達成します。
  論文  参考訳（メタデータ） (2021-04-26T11:00:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。