論文の概要: IIET: Efficient Numerical Transformer via Implicit Iterative Euler Method

• arxiv url: http://arxiv.org/abs/2509.22463v2
• Date: Sat, 11 Oct 2025 04:25:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 15:48:09.530417
• Title: IIET: Efficient Numerical Transformer via Implicit Iterative Euler Method
• Title（参考訳）: IIET: 命令反復オイラー法による効率的な数値変圧器
• Authors: Xinyu Liu, Bei Li, Jiahao Liu, Junhao Ruan, Kechen Jiao, Hongyin Tang, Jingang Wang, Xiao Tong, Jingbo Zhu,
• Abstract要約: Iterative Implicit Euler Transformer (IIET) IIADにより、ユーザはパフォーマンス効率のトレードオフを効果的にバランスできる。 E-IIETの変種は、バニラトランスフォーマーよりも平均的なパフォーマンスが1.6%以上向上した。
• 参考スコア（独自算出の注目度）: 59.02943805284446
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-order numerical methods enhance Transformer performance in tasks like NLP and CV, but introduce a performance-efficiency trade-off due to increased computational overhead. Our analysis reveals that conventional efficiency techniques, such as distillation, can be detrimental to the performance of these models, exemplified by PCformer. To explore more optimizable ODE-based Transformer architectures, we propose the Iterative Implicit Euler Transformer (IIET), which simplifies high-order methods using an iterative implicit Euler approach. This simplification not only leads to superior performance but also facilitates model compression compared to PCformer. To enhance inference efficiency, we introduce Iteration Influence-Aware Distillation (IIAD). Through a flexible threshold, IIAD allows users to effectively balance the performance-efficiency trade-off. On lm-evaluation-harness, IIET boosts average accuracy by 2.65% over vanilla Transformers and 0.8% over PCformer. Its efficient variant, E-IIET, significantly cuts inference overhead by 55% while retaining 99.4% of the original task accuracy. Moreover, the most efficient IIET variant achieves an average performance gain exceeding 1.6% over vanilla Transformer with comparable speed.
• Abstract（参考訳）: 高次数値計算法は、NLPやCVのようなタスクにおけるトランスフォーマーの性能を向上させるが、計算オーバーヘッドの増加による性能-効率トレードオフを導入する。 そこで本研究では,PCformerを例に,従来の蒸留技術はこれらのモデルの性能に悪影響を及ぼす可能性が示唆された。 より最適化可能なODEベースのトランスフォーマーアーキテクチャを探るため,イテレーティブ・インプリシット・オイラー・トランスフォーマー (IIET) を提案する。 この単純化によって性能が向上するだけでなく、PCformerに比べてモデル圧縮が容易になる。 推論効率を向上させるため,Iteration Influence-Aware Distillation (IIAD)を導入する。 フレキシブルなしきい値によって、IIADはパフォーマンスと効率のトレードオフを効果的にバランスさせることができる。 lm評価ハーネスでは、IIETはバニラ変換器よりも平均精度を2.65%、PCformerより0.8%向上させる。 効率的なE-IIETは推論のオーバーヘッドを55%削減し、元のタスク精度の99.4%を維持した。 さらに、最も効率的なIIET変種は、同等の速度でバニラトランスフォーマーよりも平均性能が1.6%以上向上する。

関連論文リスト

• ADEPT: Adaptive Dynamic Early-Exit Process for Transformers [12.23755727319088]
  早期の出口戦略は、推論を早期に停止することで計算要求を減らすのに有効であることが証明されている。 ADEPTは、この問題を克服し、プリフィルとジェネレーションの両方の段階で動的早期終了を可能にするために設計された新しいアプローチである。 ADEPTは、言語生成タスクの最大25%の効率向上を実現し、下流分類タスクの4倍の高速化を実現し、最大45%の性能向上を実現している。
  論文  参考訳（メタデータ） (2026-01-07T08:34:41Z)
• Neutralizing Token Aggregation via Information Augmentation for Efficient Test-Time Adaptation [59.1067331268383]
  TTA(Test-Time Adaptation)は、視覚変換器(ViT)を追加のトレーニングデータなしで分散シフトに適応するための有効なソリューションとして登場した。 推論コストを削減するために、プラグイン・アンド・プレイのトークン・アグリゲーション手法はViTに冗長なトークンをマージし、全処理されたトークンを減らす。 我々はこの問題をETTA(Efficient Test-Time Adaptation)として定式化し、推論遅延を低減しつつTTAの適応性を維持する。
  論文  参考訳（メタデータ） (2025-08-05T12:40:55Z)
• Accelerating Diffusion Transformer via Increment-Calibrated Caching with Channel-Aware Singular Value Decomposition [4.0594792247165]
  拡散変換器(DiT)モデルは画像生成において顕著な成功を収めた。 Increment-calibrated cache, a training-free method for DiT accelerate。 本手法は45%以上を除去し,0.06 FID増加のコストでISを12倍に改善する。
  論文  参考訳（メタデータ） (2025-05-09T06:56:17Z)
• A Simple and Effective Reinforcement Learning Method for Text-to-Image Diffusion Fine-tuning [61.403275660120606]
  強化学習(Reinforcement Learning, RL)に基づく微調整は, 拡散モデルとブラックボックスの目的を整合させる強力なアプローチとして登場した。 拡散微調整のための新しいRLであるLOOP(Left-one-out PPO)を提案する。 以上の結果から, LOOPは様々なブラックボックス対象の拡散モデルを効果的に改善し, 計算効率と性能のバランスを良くすることを示す。
  論文  参考訳（メタデータ） (2025-03-02T13:43:53Z)
• Transformers with Joint Tokens and Local-Global Attention for Efficient Human Pose Estimation [34.99437411281915]
  本稿では,精度,効率,ロバストな2次元ポーズ推定のための2つのViTモデルを提案する。 6つのベンチマーク実験により,提案手法が最先端手法を著しく上回ることを示した。
  論文  参考訳（メタデータ） (2025-02-28T22:34:22Z)
• Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
  本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。 WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
  論文  参考訳（メタデータ） (2024-10-28T04:47:39Z)
• Accelerating AI Performance using Anderson Extrapolation on GPUs [2.114333871769023]
  Anderson外挿を利用したAI性能向上のための新しい手法を提案する。 混合ペナルティが生じるクロスオーバー点を特定することにより、反復を収束に還元することに焦点を当てる。 高速コンピューティングの領域におけるスケーラビリティと効率性の拡張を動機とした,トレーニングと推論の両面での大幅な改善を示す。
  論文  参考訳（メタデータ） (2024-10-25T10:45:17Z)
• LATTE: Low-Precision Approximate Attention with Head-wise Trainable Threshold for Efficient Transformer [0.0]
  我々は,高効率変圧器(LATTE)のための頭部訓練用閾値を用いた高精度近似注意法を提案する。 LATTEは、MHA(Multi-Head Attention)の計算量を削減するために、低精度ドット積を持つ頭部しきい値に基づくフィルタを用いる。 実験の結果, LATTE は NLP と CV の両方のタスクにスムーズに適応でき, 計算コストを大幅に削減できることがわかった。
  論文  参考訳（メタデータ） (2024-04-11T07:23:19Z)
• Dynamic Tuning Towards Parameter and Inference Efficiency for ViT Adaptation [67.13876021157887]
  動的チューニング(DyT)は、ViT適応のためのパラメータと推論効率を改善するための新しいアプローチである。 DyTは既存のPEFT法に比べて性能が優れており、VTAB-1KベンチマークではFLOPの71%しか呼び出されていない。
  論文  参考訳（メタデータ） (2024-03-18T14:05:52Z)
• From PEFT to DEFT: Parameter Efficient Finetuning for Reducing Activation Density in Transformers [52.199303258423306]
  本稿では,事前学習したモデルにおいて,高い活性化空間性を促進する新しい密度損失を提案する。 提案手法である textbfDEFT は,RoBERTa$_mathrmLarge$ で textbf44.94% ,Flan-T5$_mathrmXXL$ で textbf53.19% (エンコーダ密度) と textbf90.60% (デコーダ密度) で常に活性化密度を減少させることができる。
  論文  参考訳（メタデータ） (2024-02-02T21:25:46Z)
• HEAT: Hardware-Efficient Automatic Tensor Decomposition for Transformer Compression [69.36555801766762]
  本稿では,分解可能な指数空間を効率的に探索できるハードウェア対応テンソル分解フレームワークHEATを提案する。 ハードウェア対応のBERT変異体は, エネルギー遅延を5.7倍に低減し, 精度が1.1%以下であることを示す。
  論文  参考訳（メタデータ） (2022-11-30T05:31:45Z)
• An Algorithm-Hardware Co-Optimized Framework for Accelerating N:M Sparse Transformers [11.811907838840712]
  一般のN:M空間パターンを利用して, フレキシブルかつ効率的にトランスフォーマーを高速化するアルゴリズム・ハードウェア協調最適化フレームワークを提案する。 我々は、N:Mスパーストランスをデプロイする際の大幅な高速化を実現するために、フレキシブルで効率的なハードウェアアーキテクチャ、すなわちSTAを提案する。 実験の結果, 他の方法と比較して, IDPを用いて生成したN:Mスパース変圧器は, トレーニング効率の高い精度で平均6.7%向上することがわかった。
  論文  参考訳（メタデータ） (2022-08-12T04:51:49Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Easy and Efficient Transformer : Scalable Inference Solution For large NLP mode [14.321889138798072]
  本稿では,超大規模事前学習モデル最適化手法を提案する。 推論エンジンとして Easy and Efficient Transformer (EET) が提案されている。 EETは、コンテキストの長さに応じて1.5-15倍のスピードアップを達成します。
  論文  参考訳（メタデータ） (2021-04-26T11:00:56Z)
• ADAHESSIAN: An Adaptive Second Order Optimizer for Machine Learning [91.13797346047984]
  本稿では,2次最適化アルゴリズムであるADAHESSIANを紹介する。 ADAHESSIANは、他の適応最適化手法と比較して、新しい最先端の成果を大きなマージンで達成することを示す。
  論文  参考訳（メタデータ） (2020-06-01T05:00:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。