論文の概要: To Asymmetry and Beyond: Structured Pruning of Sequence to Sequence Models for Improved Inference Efficiency

• arxiv url: http://arxiv.org/abs/2304.02721v3
• Date: Mon, 12 Jun 2023 21:13:14 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-14 17:26:26.249349
• Title: To Asymmetry and Beyond: Structured Pruning of Sequence to Sequence Models for Improved Inference Efficiency
• Title（参考訳）: 非対称性と超越:推論効率向上のためのシーケンスモデルに対するシーケンスの構造的プルーニング
• Authors: Daniel Campos, ChengXiang Zhai
• Abstract要約: モデル精度はエンコーダサイズに結びついており、推論効率はデコーダに接続されていることを示す。 平均的な劣化と非対称性の役割の両方が、データセットのモデルサイズとバリエーションで一致していることが分かりました。
• 参考スコア（独自算出の注目度）: 37.22592489907125
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Sequence-to-sequence language models can be used to produce abstractive summaries which are coherent, relevant, and concise. Still, model sizes can make deployment in latency-sensitive or web-scale implementations difficult. This paper studies the relationship between model size, structured pruning, inference efficiency, and summarization accuracy on widely used summarization datasets. We show that model accuracy is tied to the encoder size while inference efficiency is connected to the decoder. Using asymmetric pruning can lead to nearly 3x improvement in inference latency with ~1 point loss in Rouge-2. Moreover, we find both the average degradation and the role of asymmetry to be consistent across model sizes and variations in datasets.
• Abstract（参考訳）: sequence-to-sequence言語モデルは、一貫性があり、関連性があり、簡潔な抽象的な要約を生成するのに使うことができる。 それでも、モデルサイズはレイテンシに敏感な、あるいはWebスケールの実装を難しくする可能性がある。 本稿では,広く使用されている要約データセットにおけるモデルサイズ,構造化プルーニング,推論効率,要約精度の関係について検討する。 モデル精度はエンコーダサイズに結びついており、推論効率はデコーダに接続されていることを示す。 非対称プルーニングを使用することで、ルージュ-2では1ポイントの損失で推論遅延が約3倍改善される可能性がある。 さらに、モデルのサイズやデータセットのバリエーションによって、平均劣化と非対称性の役割が一致していることが分かる。

関連論文リスト

• Revisiting Cascaded Ensembles for Efficient Inference [32.914852531806]
  機械学習推論をより効率的にするための一般的なアプローチは、サンプル固有の適応スキームを使用することである。 本研究では適応推論の簡単なスキームについて検討する。 私たちは、資源効率の良いモデルから始まり、より大きくより表現力のあるモデルへと成長する、アンサンブルのカスケード(CoE)を構築します。
  論文  参考訳（メタデータ） (2024-07-02T15:14:12Z)
• Calibrating Likelihoods towards Consistency in Summarization Models [22.023863165579602]
  このような振る舞いの主な理由は、最大極大目標で訓練された要約モデルが、文脈が与えられた有理系列に高い確率を割り当てることである。 本研究では、自然言語推論(NLI)モデルにより測定された一貫性の測定値と整合性を高めるために、モデル生成シーケンスの可能性を校正することで、この問題を解決する。
  論文  参考訳（メタデータ） (2023-10-12T23:17:56Z)
• Variable Importance Matching for Causal Inference [73.25504313552516]
  これらの目標を達成するためのModel-to-Matchと呼ばれる一般的なフレームワークについて説明する。 Model-to-Matchは、距離メートル法を構築するために変数重要度測定を使用する。 LASSO を用いて Model-to-Match フレームワークを運用する。
  論文  参考訳（メタデータ） (2023-02-23T00:43:03Z)
• Sketching as a Tool for Understanding and Accelerating Self-attention for Long Sequences [52.6022911513076]
  トランスフォーマーベースのモデルは、自己アテンションモジュールの二次空間と時間的複雑さのために、長いシーケンスを処理するのに効率的ではない。 我々はLinformerとInformerを提案し、低次元投影と行選択により2次複雑性を線形(モジュラー対数因子)に還元する。 理論的解析に基づいて,Skeinformerを提案することにより,自己注意の促進と,自己注意への行列近似の精度の向上を図ることができる。
  論文  参考訳（メタデータ） (2021-12-10T06:58:05Z)
• Recursive Contour Saliency Blending Network for Accurate Salient Object Detection [0.0]
  本研究では,有能な物体検出におけるエッジ品質向上のためのネットワークを設計した。 輪郭と塩分を交換するための輪郭・塩分混合モジュールを提案した。 我々のモデルは軽量で高速で、パラメータはわずか279万、リアルタイム推論は31FPSである。
  論文  参考訳（メタデータ） (2021-05-28T14:19:54Z)
• Stacking VAE with Graph Neural Networks for Effective and Interpretable Time Series Anomaly Detection [5.935707085640394]
  本研究では,実効かつ解釈可能な時系列異常検出のための,グラフニューラルネットワークを用いた自動エンコーダ(VAE)モデルを提案する。 我々は,提案モデルが3つの公開データセットの強いベースラインを上回っており,大幅に改善されていることを示す。
  論文  参考訳（メタデータ） (2021-05-18T09:50:00Z)
• Anomaly Detection of Time Series with Smoothness-Inducing Sequential Variational Auto-Encoder [59.69303945834122]
  Smoothness-Inducing Sequential Variational Auto-Encoder (SISVAE) モデルを提案する。 我々のモデルは、フレキシブルニューラルネットワークを用いて各タイムスタンプの平均と分散をパラメータ化する。 合成データセットと公開実世界のベンチマークの両方において,本モデルの有効性を示す。
  論文  参考訳（メタデータ） (2021-02-02T06:15:15Z)
• Slice Sampling for General Completely Random Measures [74.24975039689893]
  本稿では, 後続推定のためのマルコフ連鎖モンテカルロアルゴリズムについて, 補助スライス変数を用いてトランケーションレベルを適応的に設定する。 提案アルゴリズムの有効性は、いくつかの一般的な非パラメトリックモデルで評価される。
  論文  参考訳（メタデータ） (2020-06-24T17:53:53Z)
• Triple Wins: Boosting Accuracy, Robustness and Efficiency Together by Enabling Input-Adaptive Inference [119.19779637025444]
  深層ネットワークは、(クリーンな自然画像の場合)正確さと(敵対的な摂動画像の場合)頑健さの相違に直面することを最近提案された。 本稿では,入力適応推論に関連するマルチエグジットネットワークについて検討し,モデル精度,ロバスト性,効率の最適化において「スイートポイント」を達成する上での強い期待を示す。
  論文  参考訳（メタデータ） (2020-02-24T00:40:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。