論文の概要: Incremental Processing in the Age of Non-Incremental Encoders: An Empirical Assessment of Bidirectional Models for Incremental NLU

• arxiv url: http://arxiv.org/abs/2010.05330v1
• Date: Sun, 11 Oct 2020 19:51:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-08 13:34:11.529094
• Title: Incremental Processing in the Age of Non-Incremental Encoders: An Empirical Assessment of Bidirectional Models for Incremental NLU
• Title（参考訳）: 非インクリメンタルエンコーダ時代のインクリメンタル処理:インクリメンタルnluのための双方向モデルの実証的評価
• Authors: Brielen Madureira and David Schlangen
• Abstract要約: 双方向LSTMとTransformerは、エンコードされるシーケンスがフルである、と仮定する。 インクリメンタルなインタフェースの下でどのように振る舞うかを、部分的な出力が提供される必要があるか検討する。 その結果,非インクリメンタルな品質を維持しつつ,双方向エンコーダをインクリメンタルモードで使用することが可能になった。
• 参考スコア（独自算出の注目度）: 17.285206913252786
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While humans process language incrementally, the best language encoders currently used in NLP do not. Both bidirectional LSTMs and Transformers assume that the sequence that is to be encoded is available in full, to be processed either forwards and backwards (BiLSTMs) or as a whole (Transformers). We investigate how they behave under incremental interfaces, when partial output must be provided based on partial input seen up to a certain time step, which may happen in interactive systems. We test five models on various NLU datasets and compare their performance using three incremental evaluation metrics. The results support the possibility of using bidirectional encoders in incremental mode while retaining most of their non-incremental quality. The "omni-directional" BERT model, which achieves better non-incremental performance, is impacted more by the incremental access. This can be alleviated by adapting the training regime (truncated training), or the testing procedure, by delaying the output until some right context is available or by incorporating hypothetical right contexts generated by a language model like GPT-2.
• Abstract（参考訳）: 人間は言語を漸進的に処理するが、現在NLPで使われている最高の言語エンコーダはそうではない。 双方向LSTMとトランスフォーマーの両方は、エンコードされるシーケンスが完全に利用可能であり、フォワードとバックワード(BiLSTM)または全体(トランスフォーマー)として処理されると仮定している。 対話型システムにおいて発生しうる一定の時間ステップまでの部分入力に基づいて部分的な出力を行なわなければならない場合,インクリメンタルなインタフェース下でどのように振る舞うかを検討する。 様々なNLUデータセット上で5つのモデルをテストし、3つのインクリメンタル評価指標を用いて性能を比較した。 その結果、インクリメンタルモードにおける双方向エンコーダの使用が可能となり、その非インクリメンタル品質が維持される。 非インクリメンタルなパフォーマンスを向上する"全方向"BERTモデルは、インクリメンタルアクセスによってより影響を受けます。 トレーニングレジーム(意図的なトレーニング)やテスト手順を適用することで、正しいコンテキストが利用可能になるまでアウトプットを遅らせたり、gpt-2のような言語モデルによって生成された仮説上の右コンテキストを組み込むことで、これを軽減することができる。

関連論文リスト

• Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
  Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。 さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
  論文  参考訳（メタデータ） (2024-05-29T17:55:03Z)
• Parallel Decoding via Hidden Transfer for Lossless Large Language Model Acceleration [54.897493351694195]
  本稿では,複数連続するトークンを1つのフォワードパスで同時に復号する,新しい並列復号法,すなわちthithidden Transferを提案する。 加速度測定では,Medusa や Self-Speculative decoding など,単モデル加速技術よりも優れています。
  論文  参考訳（メタデータ） (2024-04-18T09:17:06Z)
• TAPIR: Learning Adaptive Revision for Incremental Natural Language Understanding with a Two-Pass Model [14.846377138993645]
  インクリメンタル処理のための最近のニューラルネットワークベースのアプローチは、主にRNNまたはTransformerを使用する。 より長い入力プレフィックスを繰り返し通過する再起動/インクリメンタルインターフェースは、部分的な出力を得るために使用でき、更新する機能を提供する。 本稿では、AdaPtIve Revision(TAPIR)の2パスモデルを提案し、適応的な修正ポリシーを学ぶための漸進的な監視信号を得る方法を提案する。
  論文  参考訳（メタデータ） (2023-05-18T09:58:19Z)
• Decoder Tuning: Efficient Language Understanding as Decoding [84.68266271483022]
  本稿では,タスク固有のデコーダネットワークを出力側で最適化するデコーダチューニング(DecT)を提案する。 勾配ベースの最適化により、DecTは数秒以内にトレーニングでき、サンプル毎に1つのPクエリしか必要としない。 我々は、広範囲にわたる自然言語理解実験を行い、DecTが200ドル以上のスピードアップで最先端のアルゴリズムを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-12-16T11:15:39Z)
• UnitY: Two-pass Direct Speech-to-speech Translation with Discrete Units [64.61596752343837]
  本稿では,まずテキスト表現を生成し,離散音響単位を予測する2パス直接S2STアーキテクチャであるUnitYを提案する。 第1パスデコーダのサブワード予測によりモデル性能を向上させる。 提案手法は,第2パスのスペクトルを予測しても性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-12-15T18:58:28Z)
• E2S2: Encoding-Enhanced Sequence-to-Sequence Pretraining for Language Understanding and Generation [95.49128988683191]
  シークエンス・ツー・シークエンス(seq2seq)学習は、大規模事前学習言語モデルにおいて一般的な方法である。 本稿では,エンコーディング強化のseq2seq事前学習戦略,すなわちE2S2を提案する。 E2S2は、より効率的な自己教師付き情報をエンコーダに統合することで、Seq2seqモデルを改善する。
  論文  参考訳（メタデータ） (2022-05-30T08:25:36Z)
• Latency Adjustable Transformer Encoder for Language Understanding [0.8287206589886879]
  本稿では,提案する推論遅延の高速化により,推論コストを適応的に調整する効率的なトランスフォーマーアーキテクチャを提案する。 提案手法は,重要でないシークエンス要素(ワードベクター)を検出し,Actent Context Contribution (ACC) メトリックを用いて,各エンコーダ層でそれらを除去する。 提案手法は,BERT_base と GPT-2 の推論遅延を最大4.8倍,3.72倍に改善し,0.75% の精度低下と平均パープレキシティが可能である。
  論文  参考訳（メタデータ） (2022-01-10T13:04:39Z)
• Towards More Efficient Insertion Transformer with Fractional Positional Encoding [44.45401243989363]
  自動回帰ニューラルシーケンスモデルは、テキスト生成タスクで有効であることが示されている。 左から右への復号命令は、生成が並列化されるのを防ぐ。 Insertion Transformerは、単一の生成ステップで複数のトークンを出力できる魅力的な代替手段である。
  論文  参考訳（メタデータ） (2021-12-12T18:38:27Z)
• s2s-ft: Fine-Tuning Pretrained Transformer Encoders for Sequence-to-Sequence Learning [47.30689555136054]
  条件付き生成タスクに予めトレーニングされたトランスフォーマーを採用するシーケンス・ツー・シーケンスの微調整ツールキット s2s-ft を提案する。 S2s-ftは抽象的な要約と質問生成のベンチマークで高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-26T12:45:34Z)
• Towards Incremental Transformers: An Empirical Analysis of Transformer Models for Incremental NLU [19.103130032967663]
  インクリメンタル処理により、対話システムは部分的な入力に基づいて応答できる。 最近の作業では、再起動と増分によってトランスフォーマーを漸進的に適用しようと試みている。 このアプローチは計算コストが高く、長いシーケンスに対して効率よくスケールしない。
  論文  参考訳（メタデータ） (2021-09-15T15:20:29Z)
• POINTER: Constrained Progressive Text Generation via Insertion-based Generative Pre-training [93.79766670391618]
  ハードコントラストテキスト生成のための新しい挿入ベースアプローチであるPOINTERを提案する。 提案手法は,既存のトークン間で段階的に新しいトークンを並列に挿入することによって動作する。 結果として生じる粗大な階層構造は、生成プロセスを直感的で解釈可能である。
  論文  参考訳（メタデータ） (2020-05-01T18:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。