論文の概要: Building an Efficiency Pipeline: Commutativity and Cumulativeness of
Efficiency Operators for Transformers
- arxiv url: http://arxiv.org/abs/2208.00483v1
- Date: Sun, 31 Jul 2022 18:01:06 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-02 12:59:48.461532
- Title: Building an Efficiency Pipeline: Commutativity and Cumulativeness of
Efficiency Operators for Transformers
- Title(参考訳): 効率パイプラインの構築:変圧器用効率演算子の通勤性と累積性
- Authors: Ji Xin, Raphael Tang, Zhiying Jiang, Yaoliang Yu, Jimmy Lin
- Abstract要約: モデルに適用した演算子として効率性を考える。
本稿では,このアイデアの妥当性と,効率作用素の可換性と累積性について検討する。
- 参考スコア(独自算出の注目度): 68.55472265775514
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There exists a wide variety of efficiency methods for natural language
processing (NLP) tasks, such as pruning, distillation, dynamic inference,
quantization, etc. We can consider an efficiency method as an operator applied
on a model. Naturally, we may construct a pipeline of multiple efficiency
methods, i.e., to apply multiple operators on the model sequentially. In this
paper, we study the plausibility of this idea, and more importantly, the
commutativity and cumulativeness of efficiency operators. We make two
interesting observations: (1) Efficiency operators are commutative -- the order
of efficiency methods within the pipeline has little impact on the final
results; (2) Efficiency operators are also cumulative -- the final results of
combining several efficiency methods can be estimated by combining the results
of individual methods. These observations deepen our understanding of
efficiency operators and provide useful guidelines for their real-world
applications.
- Abstract(参考訳): 自然言語処理(NLP)タスクには、プルーニング、蒸留、動的推論、量子化など、さまざまな効率性がある。
効率をモデルに適用した演算子として考えることができる。
当然、モデルに複数の演算子を順次適用するために、複数の効率メソッドのパイプラインを構築することができる。
本稿では,この概念の可算性,さらに,効率作用素の可換性と累積性について検討する。
1)効率演算子は可換である -- パイプライン内の効率メソッドの順序は最終結果にほとんど影響を与えない; (2)効率演算子も累積的である -- いくつかの効率メソッドを組み合わせる最終的な結果は、個々の方法の結果を組み合わせることで推定できる。
これらの観察は、効率演算子の理解を深め、実世界の応用に有用なガイドラインを提供する。
関連論文リスト
- Theoretical Analysis on the Efficiency of Interleaved Comparisons [3.654658106140114]
本研究では,効率的なオンラインランキング評価手法であるインターリーブの効率に関する理論的解析を行った。
まず,従来のインターリーブ法と同様の簡単なインターリーブ法を設計することから始める。
本稿では, インターリービング法がA/Bテストよりも効率的である条件について検討し, 利用者が項目の関連性に応じてランキングを離れる場合について考察する。
論文 参考訳(メタデータ) (2023-05-31T03:04:29Z) - ECO-TR: Efficient Correspondences Finding Via Coarse-to-Fine Refinement [80.94378602238432]
粗大な処理で対応性を見出すことにより、ECO-TR(Correspondence Efficient Transformer)と呼ばれる効率的な構造を提案する。
これを実現するために、複数の変圧器ブロックは段階的に連結され、予測された座標を徐々に洗練する。
種々のスパースタスクと密マッチングタスクの実験は、既存の最先端技術に対する効率性と有効性の両方において、我々の手法の優位性を実証している。
論文 参考訳(メタデータ) (2022-09-25T13:05:33Z) - Automated Evolutionary Approach for the Design of Composite Machine
Learning Pipelines [48.7576911714538]
提案手法は、複合機械学習パイプラインの設計を自動化することを目的としている。
パイプラインをカスタマイズ可能なグラフベースの構造で設計し、得られた結果を分析して再生する。
このアプローチのソフトウェア実装は、オープンソースフレームワークとして紹介されている。
論文 参考訳(メタデータ) (2021-06-26T23:19:06Z) - Scalable Personalised Item Ranking through Parametric Density Estimation [53.44830012414444]
暗黙のフィードバックから学ぶことは、一流問題の難しい性質のために困難です。
ほとんどの従来の方法は、一級問題に対処するためにペアワイズランキングアプローチとネガティブサンプラーを使用します。
本論文では,ポイントワイズと同等の収束速度を実現する学習対ランクアプローチを提案する。
論文 参考訳(メタデータ) (2021-05-11T03:38:16Z) - Woodbury Transformations for Deep Generative Flows [17.062207075794205]
ウッドベリー行列の恒等式を用いて効率的な可逆性を実現するウッドベリー変換を導入する。
ウッドベリー変換は、(1)高次元相互作用、(2)効率的なサンプリング、(3)効率的な確率評価を可能にする。
論文 参考訳(メタデータ) (2020-02-27T16:21:43Z) - Learning with Differentiable Perturbed Optimizers [54.351317101356614]
本稿では,操作を微分可能で局所的に一定ではない操作に変換する手法を提案する。
提案手法は摂動に依拠し,既存の解法とともに容易に利用することができる。
本稿では,この枠組みが,構造化予測において発達した損失の族とどのように結びつくかを示し,学習課題におけるそれらの使用に関する理論的保証を与える。
論文 参考訳(メタデータ) (2020-02-20T11:11:32Z) - HULK: An Energy Efficiency Benchmark Platform for Responsible Natural
Language Processing [76.38975568873765]
本稿では,自然言語処理のためのマルチタスクエネルギー効率ベンチマークプラットフォームであるHULKを紹介する。
我々は、事前訓練されたモデルのエネルギー効率を時間とコストの観点から比較する。
論文 参考訳(メタデータ) (2020-02-14T01:04:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。