論文の概要: Hyperdecoders: Instance-specific decoders for multi-task NLP
- arxiv url: http://arxiv.org/abs/2203.08304v1
- Date: Tue, 15 Mar 2022 22:39:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-03-17 14:57:53.005189
- Title: Hyperdecoders: Instance-specific decoders for multi-task NLP
- Title(参考訳): ハイパーデコーダ:マルチタスクnlp用のインスタンス固有デコーダ
- Authors: Hamish Ivison and Matthew E. Peters
- Abstract要約: NLPにおけるマルチタスクのための入力条件付きハイパーネットワークについて検討する。
我々は,エンコーダの出力に条件付きハイパーネットワークを用いて,デコーダのパラメータ効率適応を生成する。
- 参考スコア(独自算出の注目度): 9.244884318445413
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate input-conditioned hypernetworks for multi-tasking in NLP,
generating parameter-efficient adaptations for a decoder using a hypernetwork
conditioned on the output of an encoder. This approach produces a unique
decoder for every input instance, allowing the network a larger degree of
flexibility than prior work that specializes the decoder for each task. We
apply our method to sequence classification tasks, extractive QA, and
summarisation and find that it often outperforms fully finetuning the
underlying model and surpasses previous parameter efficient fine-tuning
methods. Gains are particularly large when evaluated out-of-domain on the MRQA
benchmark. In addition, as the pretrained model is frozen, our method
eliminates negative interference among unrelated tasks, a common failure mode
in fully fine-tuned approaches. An analysis of the embeddings produced by our
model suggests that a large benefit of our approach is allowing the encoder
more effective control over the decoder, allowing mapping from hidden
representations to a final text-based label without interference from other
tasks' output formats or labels.
- Abstract(参考訳): NLPにおけるマルチタスクのための入力条件付きハイパーネットについて検討し、エンコーダの出力に条件付きハイパーネットワークを用いてデコーダのパラメータ効率適応を生成する。
このアプローチは、各入力インスタンスに対してユニークなデコーダを生成し、各タスクのデコーダを専門とする以前の作業よりもネットワークの柔軟性を増す。
本手法はシーケンス分類タスク,抽出QA,要約に応用し,基礎となるモデルを完全に微調整し,従来のパラメータ効率のよい微調整手法を超越することが多いことを確かめる。
MRQAベンチマークで評価されたドメイン外でのゲインは特に大きい。
さらに,事前学習モデルが凍結されるにつれて,本手法は非関係なタスク間の負の干渉を排除し,完全に微調整されたアプローチでは共通の障害モードとなる。
我々のモデルが生成した埋め込みの分析は、このアプローチの大きな利点は、エンコーダがデコーダをより効果的に制御できることを示し、隠れた表現から他のタスクの出力フォーマットやラベルに干渉することなく、最終的なテキストベースのラベルへのマッピングを可能にする。
関連論文リスト
- Refine, Discriminate and Align: Stealing Encoders via Sample-Wise
Prototypes and Multi-Relational Extraction [60.0276011074825]
RDAは、事前訓練されたエンコーダを盗むために、以前の取り組みで普及した2つの主要な欠陥に対処するために設計された先駆的なアプローチである。
これは、サンプルの様々な視点に対してターゲットエンコーダの表現を統一するサンプルワイドプロトタイプによって達成される。
より強力な有効性を得るために、我々はサロゲートエンコーダを訓練し、ミスマッチした埋め込み-プロトタイプペアを識別するマルチリレーショナル抽出損失を開発する。
論文 参考訳(メタデータ) (2023-12-01T15:03:29Z) - DEED: Dynamic Early Exit on Decoder for Accelerating Encoder-Decoder
Transformer Models [22.276574156358084]
我々は,各デコーダ層が妥当な予測を生成できるように,深層監視で訓練されたマルチエキシット・エンコーダ・デコーダ・トランスフォーマモデルを構築した。
提案手法は,ベースラインに比べて精度が向上し,全体の推論遅延を30%から60%削減できることを示す。
論文 参考訳(メタデータ) (2023-11-15T01:01:02Z) - Efficient Nearest Neighbor Search for Cross-Encoder Models using Matrix
Factorization [60.91600465922932]
本稿では,クロスエンコーダのみに頼って,二重エンコーダによる検索を回避する手法を提案する。
我々のアプローチは、現在の広く使われている方法よりも優れたテスト時間リコール-vs計算コストトレードオフを提供する。
論文 参考訳(メタデータ) (2022-10-23T00:32:04Z) - String-based Molecule Generation via Multi-decoder VAE [56.465033997245776]
可変オートエンコーダ(VAE)による文字列型分子生成の問題点について検討する。
本稿では,そのタスクに対するVAEの性能を改善するための,シンプルで効果的なアイデアを提案する。
実験では,提案するVAEモデルを用いて,領域外分布からサンプルを生成する。
論文 参考訳(メタデータ) (2022-08-23T03:56:30Z) - Rate Distortion Characteristic Modeling for Neural Image Compression [59.25700168404325]
エンドツーエンドの最適化機能は、ニューラルイメージ圧縮(NIC)の優れた損失圧縮性能を提供する。
異なるモデルは、R-D空間の異なる点に到達するために訓練される必要がある。
深層ネットワークと統計モデルを用いてNICのR-D挙動を記述するために,本質的な数学的関数の定式化に努めている。
論文 参考訳(メタデータ) (2021-06-24T12:23:05Z) - Autoencoding Variational Autoencoder [56.05008520271406]
我々は,この行動が学習表現に与える影響と,自己整合性の概念を導入することでそれを修正する結果について検討する。
自己整合性アプローチで訓練されたエンコーダは、敵攻撃による入力の摂動に対して頑健な(無神経な)表現につながることを示す。
論文 参考訳(メタデータ) (2020-12-07T14:16:14Z) - End-to-End Synthetic Data Generation for Domain Adaptation of Question
Answering Systems [34.927828428293864]
本モデルでは,1つのトランスをベースとしたエンコーダデコーダネットワークをエンドツーエンドにトレーニングし,問合せと問合せの両方を生成する。
簡単に言えば、エンコーダにパスを与え、デコーダに質問と回答トークンをtokenで生成するよう依頼する。
論文 参考訳(メタデータ) (2020-10-12T21:10:18Z) - Variance Constrained Autoencoding [0.0]
エンコーダの場合、同時に分布制約を強制し、出力歪みを最小化しようとすると、生成的および再構成的品質が低下することを示す。
本稿では,分散制約のみを適用した分散制約付きオートエンコーダ(VCAE)を提案する。
実験の結果,VCAEは,MNISTとCelebAの再構成および生成品質において,ワッサースタインオートエンコーダと変分オートエンコーダを改良することがわかった。
論文 参考訳(メタデータ) (2020-05-08T00:50:50Z) - On Sparsifying Encoder Outputs in Sequence-to-Sequence Models [90.58793284654692]
我々はTransformerをテストベッドとして、エンコーダとデコーダの間にあるゲートの層を導入します。
ゲートは、パリシティ誘導L0ペナルティの期待値を用いて正規化される。
このスペーサー化が2つの機械翻訳と2つの要約タスクに与える影響について検討する。
論文 参考訳(メタデータ) (2020-04-24T16:57:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。