論文の概要: TAPIR: Learning Adaptive Revision for Incremental Natural Language Understanding with a Two-Pass Model

• arxiv url: http://arxiv.org/abs/2305.10845v1
• Date: Thu, 18 May 2023 09:58:19 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-19 15:54:50.898234
• Title: TAPIR: Learning Adaptive Revision for Incremental Natural Language Understanding with a Two-Pass Model
• Title（参考訳）: TAPIR:2パスモデルによるインクリメンタル自然言語理解のための適応的修正
• Authors: Patrick Kahardipraja, Brielen Madureira, David Schlangen
• Abstract要約: インクリメンタル処理のための最近のニューラルネットワークベースのアプローチは、主にRNNまたはTransformerを使用する。 より長い入力プレフィックスを繰り返し通過する再起動/インクリメンタルインターフェースは、部分的な出力を得るために使用でき、更新する機能を提供する。 本稿では、AdaPtIve Revision(TAPIR)の2パスモデルを提案し、適応的な修正ポリシーを学ぶための漸進的な監視信号を得る方法を提案する。
• 参考スコア（独自算出の注目度）: 14.846377138993645
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language is by its very nature incremental in how it is produced and processed. This property can be exploited by NLP systems to produce fast responses, which has been shown to be beneficial for real-time interactive applications. Recent neural network-based approaches for incremental processing mainly use RNNs or Transformers. RNNs are fast but monotonic (cannot correct earlier output, which can be necessary in incremental processing). Transformers, on the other hand, consume whole sequences, and hence are by nature non-incremental. A restart-incremental interface that repeatedly passes longer input prefixes can be used to obtain partial outputs, while providing the ability to revise. However, this method becomes costly as the sentence grows longer. In this work, we propose the Two-pass model for AdaPtIve Revision (TAPIR) and introduce a method to obtain an incremental supervision signal for learning an adaptive revision policy. Experimental results on sequence labelling show that our model has better incremental performance and faster inference speed compared to restart-incremental Transformers, while showing little degradation on full sequences.
• Abstract（参考訳）: 言語は、生成や処理の仕方において、本質的にインクリメンタルです。 この特性はNLPシステムによって高速応答を生成するために利用することができ、リアルタイム対話型アプリケーションに有用であることが示されている。 インクリメンタル処理のための最近のニューラルネットワークベースのアプローチは、主にRNNまたはTransformerを使用する。 RNNは高速だが単調である(インクリメンタル処理で必要となる以前の出力は正しくない)。 一方、トランスフォーマーは全シーケンスを消費するので、本質的に非インクリメンタルである。 繰り返し入力プレフィックスを渡すリスタート・インクリメンタルインタフェースは、部分的な出力を得ると同時に、修正する機能を提供する。 しかし、この方法は文が長くなるにつれてコストがかかる。 本研究では,AdaPtIve Revision(TAPIR)の2パスモデルを提案し,適応的な修正ポリシーを学習するためのインクリメンタルな監視信号を得る方法を提案する。 シーケンシャルラベリング実験の結果,本モデルでは,本モデルの方がリスタート・インクリメンタルトランスよりもインクリメンタル性能が向上し,推算速度も速く,全シーケンスの劣化はほとんどみられなかった。

関連論文リスト

• Attention as an RNN [66.5420926480473]
  我々は,そのテキストマンディ・ツー・ワンのRNN出力を効率的に計算できる特別なリカレントニューラルネットワーク(RNN)として注目されることを示す。 本稿では,並列プレフィックススキャンアルゴリズムを用いて,注目のテキストマンディ・ツー・マニーRNN出力を効率よく計算する手法を提案する。 Aarensは、一般的な4つのシーケンシャルな問題設定に散らばる38ドルのデータセットで、Transformersに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-05-22T19:45:01Z)
• Paraformer: Fast and Accurate Parallel Transformer for Non-autoregressive End-to-End Speech Recognition [62.83832841523525]
  そこで我々はParaformerと呼ばれる高速かつ高精度な並列トランスを提案する。 出力トークンの数を正確に予測し、隠れた変数を抽出する。 10倍以上のスピードアップで、最先端のARトランスフォーマーに匹敵するパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2022-06-16T17:24:14Z)
• Temporal Latent Bottleneck: Synthesis of Fast and Slow Processing Mechanisms in Sequence Learning [85.95599675484341]
  リカレントニューラルネットワークは、時間的に圧縮された表現の学習に対して強い誘導バイアスを持つ。 変換器は時間的に圧縮された表現を学習する際の帰納的バイアスがほとんどない。
  論文  参考訳（メタデータ） (2022-05-30T00:12:33Z)
• Towards Incremental Transformers: An Empirical Analysis of Transformer Models for Incremental NLU [19.103130032967663]
  インクリメンタル処理により、対話システムは部分的な入力に基づいて応答できる。 最近の作業では、再起動と増分によってトランスフォーマーを漸進的に適用しようと試みている。 このアプローチは計算コストが高く、長いシーケンスに対して効率よくスケールしない。
  論文  参考訳（メタデータ） (2021-09-15T15:20:29Z)
• Finetuning Pretrained Transformers into RNNs [81.72974646901136]
  トランスフォーマーは自然言語生成においてリカレントニューラルネットワーク(RNN)を上回っている。 線形複雑リカレント変種は自己回帰生成に適していることが証明されている。 この研究は、事前訓練された変換器を効率の良い再帰変換器に変換することを目的としている。
  論文  参考訳（メタデータ） (2021-03-24T10:50:43Z)
• Shortformer: Better Language Modeling using Shorter Inputs [62.51758040848735]
  当初、モデルを短いサブシーケンスでトレーニングした後、長いサブシーケンスに移行する前に、どちらもトレーニング時間を短縮することを示す。 次に, 変圧器における再帰法の効率を改善する方法を示す。
  論文  参考訳（メタデータ） (2020-12-31T18:52:59Z)
• Incremental Processing in the Age of Non-Incremental Encoders: An Empirical Assessment of Bidirectional Models for Incremental NLU [19.812562421377706]
  双方向LSTMとTransformerは、エンコードされるシーケンスがフルである、と仮定する。 インクリメンタルなインタフェースの下でどのように振る舞うかを、部分的な出力が提供される必要があるか検討する。 その結果,非インクリメンタルな品質を維持しつつ,双方向エンコーダをインクリメンタルモードで使用することが可能になった。
  論文  参考訳（メタデータ） (2020-10-11T19:51:21Z)
• Funnel-Transformer: Filtering out Sequential Redundancy for Efficient Language Processing [112.2208052057002]
  本稿では,隠れ状態の列を短く圧縮するFunnel-Transformerを提案する。 Funnel-TransformerはFLOPに匹敵する数が少ないため、様々なシーケンスレベルの予測タスクにおいて標準のTransformerよりも優れている。
  論文  参考訳（メタデータ） (2020-06-05T05:16:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。