論文の概要: Building an Efficiency Pipeline: Commutativity and Cumulativeness of
Efficiency Operators for Transformers
- arxiv url: http://arxiv.org/abs/2208.00483v1
- Date: Sun, 31 Jul 2022 18:01:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 12:59:48.461532
- Title: Building an Efficiency Pipeline: Commutativity and Cumulativeness of
Efficiency Operators for Transformers
- Title（参考訳）: 効率パイプラインの構築:変圧器用効率演算子の通勤性と累積性
- Authors: Ji Xin, Raphael Tang, Zhiying Jiang, Yaoliang Yu, Jimmy Lin
- Abstract要約: モデルに適用した演算子として効率性を考える。
本稿では,このアイデアの妥当性と,効率作用素の可換性と累積性について検討する。
- 参考スコア（独自算出の注目度）: 68.55472265775514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There exists a wide variety of efficiency methods for natural language
processing (NLP) tasks, such as pruning, distillation, dynamic inference,
quantization, etc. We can consider an efficiency method as an operator applied
on a model. Naturally, we may construct a pipeline of multiple efficiency
methods, i.e., to apply multiple operators on the model sequentially. In this
paper, we study the plausibility of this idea, and more importantly, the
commutativity and cumulativeness of efficiency operators. We make two
interesting observations: (1) Efficiency operators are commutative -- the order
of efficiency methods within the pipeline has little impact on the final
results; (2) Efficiency operators are also cumulative -- the final results of
combining several efficiency methods can be estimated by combining the results
of individual methods. These observations deepen our understanding of
efficiency operators and provide useful guidelines for their real-world
applications.
- Abstract（参考訳）: 自然言語処理(NLP)タスクには、プルーニング、蒸留、動的推論、量子化など、さまざまな効率性がある。
効率をモデルに適用した演算子として考えることができる。
当然、モデルに複数の演算子を順次適用するために、複数の効率メソッドのパイプラインを構築することができる。
本稿では,この概念の可算性,さらに,効率作用素の可換性と累積性について検討する。
1)効率演算子は可換である -- パイプライン内の効率メソッドの順序は最終結果にほとんど影響を与えない; (2)効率演算子も累積的である -- いくつかの効率メソッドを組み合わせる最終的な結果は、個々の方法の結果を組み合わせることで推定できる。
これらの観察は、効率演算子の理解を深め、実世界の応用に有用なガイドラインを提供する。
関連論文リスト
- A Smooth Transition Between Induction and Deduction: Fast Abductive Learning Based on Probabilistic Symbol Perception [81.30687085692576]
確率的シンボル知覚(PSP)と呼ばれる最適化アルゴリズムを導入し,誘導と推論のスムーズな遷移を実現する。
実験は有望な結果を実証する。
論文 参考訳（メタデータ） (2025-02-18T14:59:54Z) - A Wander Through the Multimodal Landscape: Efficient Transfer Learning via Low-rank Sequence Multimodal Adapter [8.481711069173262]
本稿では,loW-rank sequence multimodal adapter (Wander)を提案する。
まず、外積を用いて異なるモダリティから情報を効果的に融合する。
効率を上げるために、CP分解を用いてテンソルをランク1成分に分解し、実質的なパラメータ還元を実現する。
Wander氏は、最先端の効率的なトランスファー学習法を一貫して上回り、様々なモダリティを持つデータセットに対して広範な実験を行った。
論文 参考訳（メタデータ） (2024-12-12T06:26:02Z) - DELIFT: Data Efficient Language model Instruction Fine Tuning [13.538140114667772]
本稿では,3段階の微調整におけるデータ選択を体系的に最適化する新しいアルゴリズムであるDELIFTを紹介する。
さまざまなタスクやモデルスケールにわたる実験により、DELIFTはパフォーマンスを損なうことなく、微調整データサイズを最大70%削減できることが示された。
論文 参考訳（メタデータ） (2024-11-07T04:38:29Z) - Faster WIND: Accelerating Iterative Best-of-$N$ Distillation for LLM Alignment [81.84950252537618]
本稿では,反復的BONDと自己プレイアライメントの統一的なゲーム理論接続を明らかにする。
WINレート支配(WIN rate Dominance, WIND)という新しいフレームワークを構築し, 正規化利率支配最適化のためのアルゴリズムを多数提案する。
論文 参考訳（メタデータ） (2024-10-28T04:47:39Z) - Evaluating Language Models for Efficient Code Generation [13.175840119811]
大規模言語モデル(LLM)を確実に評価するための微分性能評価(DPE)を導入する。
DPEは、効率を要求するプログラミングタスクに焦点を当て、パフォーマンス評価のための洞察に富んだ複合メトリクスを確立する。
概念実証として、私たちはDPEを使用して、121のコードタスクのパフォーマンスを満足させるベンチマークであるEvalPerfを作成します。
論文 参考訳（メタデータ） (2024-08-12T18:59:13Z) - ECO-TR: Efficient Correspondences Finding Via Coarse-to-Fine Refinement [80.94378602238432]
粗大な処理で対応性を見出すことにより、ECO-TR(Correspondence Efficient Transformer)と呼ばれる効率的な構造を提案する。
これを実現するために、複数の変圧器ブロックは段階的に連結され、予測された座標を徐々に洗練する。
種々のスパースタスクと密マッチングタスクの実験は、既存の最先端技術に対する効率性と有効性の両方において、我々の手法の優位性を実証している。
論文 参考訳（メタデータ） (2022-09-25T13:05:33Z) - Automated Evolutionary Approach for the Design of Composite Machine
Learning Pipelines [48.7576911714538]
提案手法は、複合機械学習パイプラインの設計を自動化することを目的としている。
パイプラインをカスタマイズ可能なグラフベースの構造で設計し、得られた結果を分析して再生する。
このアプローチのソフトウェア実装は、オープンソースフレームワークとして紹介されている。
論文 参考訳（メタデータ） (2021-06-26T23:19:06Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳（メタデータ） (2021-05-11T03:38:16Z) - Woodbury Transformations for Deep Generative Flows [17.062207075794205]
ウッドベリー行列の恒等式を用いて効率的な可逆性を実現するウッドベリー変換を導入する。
ウッドベリー変換は、(1)高次元相互作用、(2)効率的なサンプリング、(3)効率的な確率評価を可能にする。
論文 参考訳（メタデータ） (2020-02-27T16:21:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。