論文の概要: Injecting linguistic knowledge into BERT for Dialogue State Tracking

• arxiv url: http://arxiv.org/abs/2311.15623v3
• Date: Wed, 3 Jul 2024 02:59:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 20:23:32.713844
• Title: Injecting linguistic knowledge into BERT for Dialogue State Tracking
• Title（参考訳）: 対話状態追跡のための言語知識をBERTに注入する
• Authors: Xiaohan Feng, Xixin Wu, Helen Meng,
• Abstract要約: 本稿では,教師なしの枠組みを用いて言語知識を抽出する手法を提案する。 次に、この知識を用いて、対話状態追跡(DST)タスクにおけるBERTの性能と解釈可能性を高める。 このフレームワークを様々なDSTタスクでベンチマークし、精度の顕著な改善を観察する。
• 参考スコア（独自算出の注目度）: 60.42231674887294
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Dialogue State Tracking (DST) models often employ intricate neural network architectures, necessitating substantial training data, and their inference process lacks transparency. This paper proposes a method that extracts linguistic knowledge via an unsupervised framework and subsequently utilizes this knowledge to augment BERT's performance and interpretability in DST tasks. The knowledge extraction procedure is computationally economical and does not require annotations or additional training data. The injection of the extracted knowledge can be achieved by the addition of simple neural modules. We employ the Convex Polytopic Model (CPM) as a feature extraction tool for DST tasks and illustrate that the acquired features correlate with syntactic and semantic patterns in the dialogues. This correlation facilitates a comprehensive understanding of the linguistic features influencing the DST model's decision-making process. We benchmark this framework on various DST tasks and observe a notable improvement in accuracy.
• Abstract（参考訳）: 対話状態追跡(DST)モデルは、しばしば複雑なニューラルネットワークアーキテクチャを採用し、実質的なトレーニングデータを必要とし、推論プロセスには透明性がない。 本稿では、教師なしのフレームワークを介して言語知識を抽出し、その後、この知識を用いてDSTタスクにおけるBERTの性能と解釈性を向上させる手法を提案する。 知識抽出手順は、計算学的に経済的であり、アノテーションや追加のトレーニングデータを必要としない。 抽出した知識の注入は、単純なニューラルネットワークモジュールを追加することで実現できる。 本稿では,DSTタスクの特徴抽出ツールとしてConvex Polytopic Model (CPM) を用い,得られた特徴が対話における構文的・意味的パターンと相関していることを示す。 この相関は、DSTモデルの意思決定プロセスに影響を与える言語的特徴の包括的理解を促進する。 このフレームワークを様々なDSTタスクでベンチマークし、精度の顕著な改善を観察する。

関連論文リスト

• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• From Dialogue to Diagram: Task and Relationship Extraction from Natural Language for Accelerated Business Process Prototyping [0.0]
  本稿では、依存性解析と名前付きエンティティ認識(NER)の利用を、我々のアプローチの中心とする現代的ソリューションを紹介します。 我々は,行動関係の同定にSVO(Subject-Verb-Object)構造を用い,コンテキスト理解のためのWordNetなどの意味分析ツールを統合する。 このシステムはデータ変換と視覚化を十分に処理し、冗長に抽出された情報をBPMN(Business Process Model and Notation)ダイアグラムに変換する。
  論文  参考訳（メタデータ） (2023-12-16T12:35:28Z)
• Schema-aware Reference as Prompt Improves Data-Efficient Knowledge Graph Construction [57.854498238624366]
  本稿では,データ効率のよい知識グラフ構築のためのRAP(Schema-Aware Reference As Prompt)の検索手法を提案する。 RAPは、人間の注釈付きおよび弱教師付きデータから受け継いだスキーマと知識を、各サンプルのプロンプトとして動的に活用することができる。
  論文  参考訳（メタデータ） (2022-10-19T16:40:28Z)
• A Study on Prompt-based Few-Shot Learning Methods for Belief State Tracking in Task-oriented Dialog Systems [10.024834304960846]
  タスク指向対話システムにおける対話的状態追跡問題に取り組む。 この問題に対する最近のアプローチでは、Transformerベースのモデルが大きな成果を上げている。 対話的信念状態追跡のためのプロンプトベース数ショット学習について検討する。
  論文  参考訳（メタデータ） (2022-04-18T05:29:54Z)
• Prompt Learning for Few-Shot Dialogue State Tracking [75.50701890035154]
  本稿では,限られたラベル付きデータを用いて,対話状態追跡(DST)モデルを効率的に学習する方法に焦点を当てる。 本稿では,2つの主要なコンポーネントである値ベースプロンプトと逆プロンプト機構からなる,数ショットDSTのためのプロンプト学習フレームワークを設計する。 実験により、我々のモデルは未確認のスロットを生成し、既存の最先端の数ショット法より優れていることが示された。
  論文  参考訳（メタデータ） (2022-01-15T07:37:33Z)
• On the Evolution of Syntactic Information Encoded by BERT's Contextualized Representations [11.558645364193486]
  本稿では,6つのタスクに対してBERTの微調整プロセスに沿って,組込み構文木の進化を解析する。 実験結果から, 符号化された情報は, タスクに応じて微調整プロセスに沿って, 忘れられ(PoSタグ付け), 強化された(依存度・隣接度解析) あるいは保存された(セマンティック関連タスク) 。
  論文  参考訳（メタデータ） (2021-01-27T15:41:09Z)
• Exploring Software Naturalness through Neural Language Models [56.1315223210742]
  ソフトウェア自然性仮説(Software Naturalness hypothesis)は、自然言語処理で使用されるのと同じ手法でプログラミング言語を理解することができると主張している。 この仮説は,事前学習されたトランスフォーマーベース言語モデルを用いて,コード解析タスクを実行することによって検討する。
  論文  参考訳（メタデータ） (2020-06-22T21:56:14Z)
• Perturbed Masking: Parameter-free Probing for Analyzing and Interpreting BERT [29.04485839262945]
  本稿では,事前学習した言語モデル(例えばBERT)をパラメータフリーで解析する手法を提案する。 本手法では,探索作業の直接の監督や,探索プロセスへの追加パラメータの導入は不要である。 BERTを用いた実験により, BERTから回収した構文木は, 言語的に非インフォームされたベースラインよりも有意に優れていることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T14:02:29Z)
• A Dependency Syntactic Knowledge Augmented Interactive Architecture for End-to-End Aspect-based Sentiment Analysis [73.74885246830611]
  エンドツーエンドABSAのためのマルチタスク学習を用いた対話型アーキテクチャを新たに提案する。 このモデルは、よく設計された依存性関係埋め込みグラフ畳み込みネットワーク(DreGcn)を活用することで、構文知識(依存性関係と型)を完全に活用することができる。 3つのベンチマークデータセットの大規模な実験結果から,本手法の有効性が示された。
  論文  参考訳（メタデータ） (2020-04-04T14:59:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。