論文の概要: Insertion-Deletion Transformer
- arxiv url: http://arxiv.org/abs/2001.05540v1
- Date: Wed, 15 Jan 2020 20:26:48 GMT
- ステータス: 処理完了
- システム内更新日: 2023-01-11 05:29:17.500972
- Title: Insertion-Deletion Transformer
- Title(参考訳): 挿入欠失変圧器
- Authors: Laura Ruis, Mitchell Stern, Julia Proskurnia, William Chan
- Abstract要約: 本稿では,新しいトランスに基づくニューラルネットワークとシーケンス生成のためのトレーニング手法であるInsertion-Deletion Transformerを提案する。
挿入専用モデルによるBLEUスコアの大幅な向上を図り、合成翻訳作業における挿入・削除変換器の有効性を実証する。
- 参考スコア(独自算出の注目度): 17.92615675923591
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose the Insertion-Deletion Transformer, a novel transformer-based
neural architecture and training method for sequence generation. The model
consists of two phases that are executed iteratively, 1) an insertion phase and
2) a deletion phase. The insertion phase parameterizes a distribution of
insertions on the current output hypothesis, while the deletion phase
parameterizes a distribution of deletions over the current output hypothesis.
The training method is a principled and simple algorithm, where the deletion
model obtains its signal directly on-policy from the insertion model output. We
demonstrate the effectiveness of our Insertion-Deletion Transformer on
synthetic translation tasks, obtaining significant BLEU score improvement over
an insertion-only model.
- Abstract(参考訳): 本稿では,新しいトランスを用いたニューラルアーキテクチャであるInsertion-Deletion Transformerを提案する。
モデルは2つのフェーズで構成され、反復的に実行される。
1)挿入相及び挿入相
2) 削除フェーズ。
挿入フェーズは、電流出力仮説上の挿入の分布をパラメータ化し、削除フェーズは、電流出力仮説上の削除の分布をパラメータ化する。
訓練法は、挿入モデル出力からその信号を直接オンポリシーに取得する原理的かつ単純なアルゴリズムである。
合成翻訳タスクにおける挿入削除トランスの有効性を実証し,挿入のみモデルよりもブレウスコアが有意に向上した。
関連論文リスト
- PIDformer: Transformer Meets Control Theory [28.10913642120948]
我々は、そのソリューションのスムーズさを本質的に促進する自律的状態空間モデルとして自己意識を公表する。
モデルに参照点を持つPID(Proportional-Integral-Derivative)クローズドループフィードバック制御システムを導入し,ロバスト性や表現能力の向上を図る。
この制御フレームワークにより、新しい変換器のクラス、PID制御変換器(PIDformer)を導出する。
論文 参考訳(メタデータ) (2024-02-25T05:04:51Z) - Minusformer: Improving Time Series Forecasting by Progressively Learning
Residuals [15.815842882043734]
我々は,情報集約機構を付加と減算から再構築することで,バニラ変圧器を改修する。
本稿では,原モデルの各ブロックに補助出力分岐を組み込んで,最終的な予測に導くハイウェイを構築する。
提案手法は既存の最先端手法よりも優れており,各データセットの平均性能は11.9%向上した。
論文 参考訳(メタデータ) (2024-02-04T03:54:31Z) - Recurrent Transformers with Dynamic Halt [76.62673276574668]
本研究では, 変圧器の繰り返し機構を付加する2つの主要な手法の帰納バイアスについて検討する。
本稿では,これらの手法を拡張し,組み合わせるための新しい手法を提案し,検討する。
論文 参考訳(メタデータ) (2024-02-01T19:47:31Z) - Injecting a Structural Inductive Bias into a Seq2Seq Model by Simulation [82.0937205795896]
本稿では, 構造的帰納バイアスをセック2セックモデルに効率よく注入し, 合成データの構造的変換をシミュレートする方法について述べる。
実験の結果,本手法は所望の帰納バイアスを付与し,FSTのようなタスクに対してより優れた数発学習を実現することがわかった。
論文 参考訳(メタデータ) (2023-10-01T21:19:12Z) - Latent Positional Information is in the Self-Attention Variance of
Transformer Language Models Without Positional Embeddings [68.61185138897312]
凍結変圧器言語モデルでは,自己意図の分散を縮小することにより,強い位置情報を符号化する。
本研究は, 位置埋め込みを廃止する決定を正当化し, トランスフォーマー言語モデルのより効率的な事前学習を容易にすることに役立つ。
論文 参考訳(メタデータ) (2023-05-23T01:03:40Z) - Score-based Causal Representation Learning with Interventions [54.735484409244386]
本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。
目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
論文 参考訳(メタデータ) (2023-01-19T18:39:48Z) - Transformers as Algorithms: Generalization and Implicit Model Selection
in In-context Learning [23.677503557659705]
In-context Learning (ICL) は、トランスフォーマーモデルが一連の例で動作し、オンザフライで推論を行うプロンプトの一種である。
我々は,このトランスモデルを学習アルゴリズムとして扱い,推論時別のターゲットアルゴリズムを実装するためのトレーニングを通じて専門化することができる。
変換器は適応学習アルゴリズムとして機能し、異なる仮説クラス間でモデル選択を行うことができることを示す。
論文 参考訳(メタデータ) (2023-01-17T18:31:12Z) - Diffusion Glancing Transformer for Parallel Sequence to Sequence
Learning [52.72369034247396]
モーダリティ拡散プロセスと残差グランシングサンプリングを併用した拡散グランシング変換器を提案する。
DIFFGLATは、自己回帰モデルと非自己回帰モデルの両方と比較して、高速な復号速度を維持しながら、より優れた生成精度を実現する。
論文 参考訳(メタデータ) (2022-12-20T13:36:25Z) - Variational Laplace Autoencoders [53.08170674326728]
変分オートエンコーダは、遅延変数の後部を近似するために、償却推論モデルを用いる。
完全分解ガウス仮定の限定的後部表現性に対処する新しい手法を提案する。
また、深部生成モデルのトレーニングのための変分ラプラスオートエンコーダ(VLAE)という一般的なフレームワークも提示する。
論文 参考訳(メタデータ) (2022-11-30T18:59:27Z) - Towards Incremental Transformers: An Empirical Analysis of Transformer
Models for Incremental NLU [7.863638253070439]
インクリメンタル処理により、対話システムは部分的な入力に基づいて応答できる。
最近の作業では、再起動と増分によってトランスフォーマーを漸進的に適用しようと試みている。
このアプローチは計算コストが高く、長いシーケンスに対して効率よくスケールしない。
論文 参考訳(メタデータ) (2021-09-15T15:20:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。