論文の概要: Span-Selective Linear Attention Transformers for Effective and Robust Schema-Guided Dialogue State Tracking

• arxiv url: http://arxiv.org/abs/2306.09340v1
• Date: Thu, 15 Jun 2023 17:59:31 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-16 12:55:34.727116
• Title: Span-Selective Linear Attention Transformers for Effective and Robust Schema-Guided Dialogue State Tracking
• Title（参考訳）: 有効でロバストなスキーマ誘導対話状態追跡のためのスパン選択線形注意トランス
• Authors: Bj\"orn Bebensee, Haejun Lee
• Abstract要約: 本稿では,従来の手法よりも優れた一般化と効率を実現する新しいアーキテクチャであるSPLATを紹介する。 本稿では,SGD(Guided Dialogue)とMultiWOZ(MultiWOZ)データセットにおけるモデルの有効性を示す。
• 参考スコア（独自算出の注目度）: 7.176787451868171
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In schema-guided dialogue state tracking models estimate the current state of a conversation using natural language descriptions of the service schema for generalization to unseen services. Prior generative approaches which decode slot values sequentially do not generalize well to variations in schema, while discriminative approaches separately encode history and schema and fail to account for inter-slot and intent-slot dependencies. We introduce SPLAT, a novel architecture which achieves better generalization and efficiency than prior approaches by constraining outputs to a limited prediction space. At the same time, our model allows for rich attention among descriptions and history while keeping computation costs constrained by incorporating linear-time attention. We demonstrate the effectiveness of our model on the Schema-Guided Dialogue (SGD) and MultiWOZ datasets. Our approach significantly improves upon existing models achieving 85.3 JGA on the SGD dataset. Further, we show increased robustness on the SGD-X benchmark: our model outperforms the more than 30$\times$ larger D3ST-XXL model by 5.0 points.
• Abstract（参考訳）: スキーマ誘導対話状態追跡モデルでは、サービススキーマの自然言語記述を用いて会話の現在の状態を推定し、目に見えないサービスに一般化する。 スロット値を逐次デコードする以前の生成的アプローチは、スキーマのバリエーションに適さないが、識別的アプローチは、履歴とスキーマを別々にエンコードし、スロット間およびインテントスロット間の依存関係を考慮できない。 SPLATは,出力を限られた予測空間に制限することにより,従来の手法よりも一般化と効率の向上を実現する新しいアーキテクチャである。 同時に,線形時間的注意を取り入れることで計算コストの制約を保ちつつ,記述や履歴に強い注意を向けることができる。 本稿では,スキーマ誘導対話(sgd)とマルチウォズデータセットにおけるモデルの有効性を示す。 提案手法は,SGDデータセット上で85.3 JGAを達成する既存モデルを大幅に改善する。 さらに、SGD-Xベンチマークではロバスト性が向上し、我々のモデルは30$\times$より大きなD3ST-XXLモデルよりも5.0ポイント向上した。

関連論文リスト

• Self-Augmented Preference Optimization: Off-Policy Paradigms for Language Model Alignment [104.18002641195442]
  既存のペアデータを必要としない、効果的でスケーラブルなトレーニングパラダイムである自己拡張型優先度最適化(SAPO)を導入する。 負の反応を自律的に生成するセルフプレイの概念に基づいて、我々はさらに、データ探索とエクスプロイトを強化するために、非政治的な学習パイプラインを組み込む。
  論文  参考訳（メタデータ） (2024-05-31T14:21:04Z)
• TOD-Flow: Modeling the Structure of Task-Oriented Dialogues [77.15457469745364]
  ダイアログを付加した対話データからTOD-Flowグラフを推定する手法を提案する。 推定されたTOD-Flowグラフは、任意の対話モデルと容易に統合することができ、予測性能、透明性、制御性を改善することができる。
  論文  参考訳（メタデータ） (2023-12-07T20:06:23Z)
• Guiding Language Model Reasoning with Planning Tokens [122.43639723387516]
  大規模言語モデル(LLM)は、最近、複雑な推論タスクを実行する能力に対して、かなりの関心を集めている。 より構造的なチェーン・オブ・シークレット・ステップの創出を促す階層的な生成手法を提案する。 提案手法では、トレーニング可能なパラメータ(0.001%)の無視可能な増加が必要であり、完全な微調整か、よりパラメータ効率の良いスキームで適用することができる。
  論文  参考訳（メタデータ） (2023-10-09T13:29:37Z)
• More Robust Schema-Guided Dialogue State Tracking via Tree-Based Paraphrase Ranking [0.0]
  スキーマ誘導対話状態追跡(DST)構築に優れた微調整言語モデル 本稿では,木に基づくランキングを用いて,多様性と意味的忠実度を協調的に最適化する合成スキーマを生成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-17T11:43:08Z)
• A Multi-Task BERT Model for Schema-Guided Dialogue State Tracking [78.2700757742992]
  タスク指向対話システムは対話状態追跡器(DST)を用いて会話を完了させる。 最近の最先端のDST実装は、モデルの堅牢性を改善するために様々なサービスのスキーマに依存している。 本稿では,意図予測,要求スロット予測,スロットフィリングの3つのDSTタスクを協調的に解決する単一マルチタスクBERTモデルを提案する。
  論文  参考訳（メタデータ） (2022-07-02T13:27:59Z)
• Long Range Language Modeling via Gated State Spaces [67.64091993846269]
  本稿では,英語書籍,Githubソースコード,ArXiv数学論文の自己回帰シーケンスモデリングに焦点をあてる。 Gated State Space (GSS) と呼ばれる新しい層を提案し、S4の対角線よりもかなり高速に訓練可能であることを示す。
  論文  参考訳（メタデータ） (2022-06-27T01:50:18Z)
• SGD-X: A Benchmark for Robust Generalization in Schema-Guided Dialogue Systems [26.14268488547028]
  SGD-Xは,スキーマの言語的変化に対する対話システムの堅牢性を評価するベンチマークである。 我々は,SGD-X上での2つの対話状態追跡モデルの評価を行い,どちらもスキーマのバリエーションに対してうまく一般化していないことを観察した。 本稿では,スキーマのロバスト性やゼロショットの一般化を改善するため,単純なモデルに依存しないデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-10-13T15:38:29Z)
• SGD-QA: Fast Schema-Guided Dialogue State Tracking for Unseen Services [15.21976869687864]
  質問応答アプローチに基づくスキーマガイドによる対話状態追跡モデルであるSGD-QAを提案する。 提案するマルチパスモデルは、ドメイン情報と対話発話の間で単一のエンコーダを共有する。 このモデルでは、シングルパスベースラインモデルと比較して少なくとも1.6倍の性能が向上している。
  論文  参考訳（メタデータ） (2021-05-17T17:54:32Z)
• Autoregressive Dynamics Models for Offline Policy Evaluation and Optimization [60.73540999409032]
  表現的自己回帰ダイナミクスモデルが次の状態の異なる次元を生成し、以前の次元で順次条件付きで報酬を得ることを示す。 また,リプレイバッファを充実させる手段として,自己回帰的ダイナミクスモデルがオフラインポリシー最適化に有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-28T16:48:44Z)
• A Fast and Robust BERT-based Dialogue State Tracker for Schema-Guided Dialogue Dataset [8.990035371365408]
  本稿では,目標指向対話システムにおける状態追跡のための高速かつ堅牢なBERTベースモデルであるFastSGTを紹介する。 提案モデルは自然言語記述を含むGuided Dialogueデータセットのために設計されている。 本モデルでは,精度を著しく向上しつつ,計算およびメモリ消費の面で効率を保っている。
  論文  参考訳（メタデータ） (2020-08-27T18:51:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。