論文の概要: Jointly Optimizing State Operation Prediction and Value Generation for Dialogue State Tracking

• arxiv url: http://arxiv.org/abs/2010.14061v2
• Date: Thu, 8 Apr 2021 02:04:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 11:59:08.413218
• Title: Jointly Optimizing State Operation Prediction and Value Generation for Dialogue State Tracking
• Title（参考訳）: 対話状態追跡のための共同最適化状態演算予測と値生成
• Authors: Yan Zeng and Jian-Yun Nie
• Abstract要約: オープン語彙を用いた多ドメイン対話状態追跡(DST)の問題点について検討する。 既存のアプローチではBERTエンコーダとコピーベースのRNNデコーダを使用し、そこでエンコーダは状態操作を予測し、デコーダは新しいスロット値を生成する。 本稿では,1つのBERTがエンコーダとデコーダの両方として機能する,純粋にトランスフォーマーベースのフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 23.828348485513043
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: We investigate the problem of multi-domain Dialogue State Tracking (DST) with open vocabulary. Existing approaches exploit BERT encoder and copy-based RNN decoder, where the encoder predicts the state operation, and the decoder generates new slot values. However, in such a stacked encoder-decoder structure, the operation prediction objective only affects the BERT encoder and the value generation objective mainly affects the RNN decoder. In this paper, we propose a purely Transformer-based framework, where a single BERT works as both the encoder and the decoder. In so doing, the operation prediction objective and the value generation objective can jointly optimize this BERT for DST. At the decoding step, we re-use the hidden states of the encoder in the self-attention mechanism of the corresponding decoder layers to construct a flat encoder-decoder architecture for effective parameter updating. Experimental results show that our approach substantially outperforms the existing state-of-the-art framework, and it also achieves very competitive performance to the best ontology-based approaches.
• Abstract（参考訳）: オープン語彙を用いた多ドメイン対話状態追跡(DST)の問題について検討する。 既存のアプローチではBERTエンコーダとコピーベースのRNNデコーダを使用し、そこでエンコーダは状態操作を予測し、デコーダは新しいスロット値を生成する。 しかし、このような積み重ねエンコーダデコーダ構造では、演算予測目的がBERTエンコーダにのみ影響し、値生成目的が主にRNNデコーダに影響を及ぼす。 本稿では,1つのBERTがエンコーダとデコーダの両方として機能する,純粋にトランスフォーマーベースのフレームワークを提案する。 これにより、操作予測目標と値生成目標とを共同でDSTのためにBERTを最適化することができる。 復号工程では,デコーダ層の自己保持機構においてエンコーダの隠蔽状態を再利用し,効率的なパラメータ更新のためのフラットなエンコーダ・デコーダアーキテクチャを構築する。 実験の結果,本手法は既存の最先端フレームワークを実質的に上回っており,最高のオントロジベースのアプローチと非常に競争力の高い性能を実現していることがわかった。

関連論文リスト

• $ε$-VAE: Denoising as Visual Decoding [61.29255979767292]
  生成モデリングにおいて、トークン化は複雑なデータをコンパクトで構造化された表現に単純化し、より効率的で学習可能な空間を作り出す。 現在の視覚的トークン化手法は従来のオートエンコーダフレームワークに依存しており、エンコーダはデータを潜在表現に圧縮し、デコーダは元の入力を再構築する。 具体的には,デコーダを拡散処理に置き換え,ノイズを反復的に除去して元のイメージを復元し,エンコーダが提供する潜伏者によって誘導される。 再建(rFID)と生成品質(ジェネレーション品質)の両面からアプローチを評価する。
  論文  参考訳（メタデータ） (2024-10-05T08:27:53Z)
• Efficient Encoder-Decoder Transformer Decoding for Decomposable Tasks [53.550782959908524]
  エンコーダ・デコーダモデルのための新しい構成を導入し、構造化された出力と分解可能なタスクの効率を改善する。 提案手法は,インプットを一度エンコードして並列にデコードすることで,トレーニングと推論の効率を向上する。
  論文  参考訳（メタデータ） (2024-03-19T19:27:23Z)
• A blockBP decoder for the surface code [0.0]
  本稿では,テンソル・ネットワーク・デコーダの精度と信念伝達アルゴリズムの効率性と並列性を組み合わせた表面符号のための新しいデコーダを提案する。 したがって、デコーダは、縮退した最大可能性復号化フレームワークで動作する信念伝播復号器である。
  論文  参考訳（メタデータ） (2024-02-07T13:32:32Z)
• BPDec: Unveiling the Potential of Masked Language Modeling Decoder in BERT pretraining [0.5919433278490629]
  BERT (Bidirectional Representations from Transformers) は、自然言語処理の分野に革命をもたらした。 DeBERTaは、BERTのエンコーダモデルに適応した拡張デコーダを導入した。 マスク付き言語モデリングデコーダの設計と研究は不十分である。
  論文  参考訳（メタデータ） (2024-01-29T03:25:11Z)
• DEED: Dynamic Early Exit on Decoder for Accelerating Encoder-Decoder Transformer Models [22.276574156358084]
  我々は,各デコーダ層が妥当な予測を生成できるように,深層監視で訓練されたマルチエキシット・エンコーダ・デコーダ・トランスフォーマモデルを構築した。 提案手法は,ベースラインに比べて精度が向上し,全体の推論遅延を30%から60%削減できることを示す。
  論文  参考訳（メタデータ） (2023-11-15T01:01:02Z)
• NASH: A Simple Unified Framework of Structured Pruning for Accelerating Encoder-Decoder Language Models [29.468888611690346]
  本稿では、エンコーダを狭め、エンコーダ-デコーダモデルのデコーダネットワークを短縮する、シンプルで効果的なフレームワークNASHを提案する。 その結果,(1)デコーダの層数が推論速度の主要因であること,(2)プルーンドエンコーダネットワークの低間隔性が生成品質を向上させること,の2つの知見が明らかになった。
  論文  参考訳（メタデータ） (2023-10-16T04:27:36Z)
• Think Twice before Driving: Towards Scalable Decoders for End-to-End Autonomous Driving [74.28510044056706]
  既存のメソッドは通常、分離されたエンコーダ-デコーダパラダイムを採用する。 本研究は,この問題を2つの原則で緩和することを目的としている。 まず、エンコーダの特徴に基づいて、粗い将来の位置と行動を予測する。 そして、その位置と動作を条件に、将来のシーンを想像して、それに従って運転した場合にその影響を確認する。
  論文  参考訳（メタデータ） (2023-05-10T15:22:02Z)
• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
  機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。 本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。 我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
  論文  参考訳（メタデータ） (2021-12-21T19:14:44Z)
• Dynamic Neural Representational Decoders for High-Resolution Semantic Segmentation [98.05643473345474]
  動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。 エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。 このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
  論文  参考訳（メタデータ） (2021-07-30T04:50:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。