Fugu-MT 論文翻訳(概要): Discourse Structure Extraction from Pre-Trained and Fine-Tuned Language Models in Dialogues

論文の概要: Discourse Structure Extraction from Pre-Trained and Fine-Tuned Language Models in Dialogues

arxiv url: http://arxiv.org/abs/2302.05895v1
Date: Sun, 12 Feb 2023 11:26:10 GMT
ステータス: 処理完了
システム内更新日: 2023-02-14 17:57:16.712600
Title: Discourse Structure Extraction from Pre-Trained and Fine-Tuned Language Models in Dialogues
Title（参考訳）: 対話における事前学習および微調整言語モデルからの談話構造抽出
Authors: Chuyuan Li, Patrick Huber, Wen Xiao, Maxime Amblard, Chlo\'e Braud, Giuseppe Carenini
Abstract要約: 本稿では,事前学習型言語モデルからの注意行列に基づく対話のための談話構造構築手法について検討する。 PLMにおける談話情報の発見と活用を目的として,教師なし,半教師なしの手法を提案する。提案手法はSTACコーパスにおいて,F1スコアが57.2と59.3であり,教師なしおよび半教師なしの手法である。
参考スコア（独自算出の注目度）: 28.38466433749332
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Discourse processing suffers from data sparsity, especially for dialogues. As a result, we explore approaches to build discourse structures for dialogues, based on attention matrices from Pre-trained Language Models (PLMs). We investigate multiple tasks for fine-tuning and show that the dialogue-tailored Sentence Ordering task performs best. To locate and exploit discourse information in PLMs, we propose an unsupervised and a semi-supervised method. Our proposals achieve encouraging results on the STAC corpus, with F1 scores of 57.2 and 59.3 for unsupervised and semi-supervised methods, respectively. When restricted to projective trees, our scores improved to 63.3 and 68.1.
Abstract（参考訳）: 談話処理は、特に対話において、データのスパーシティに苦しむ。その結果,事前学習言語モデル(PLM)の注意行列に基づいて対話のための談話構造を構築する手法を検討した。微調整のための複数のタスクを調査し,対話対応文順序付けタスクが最良であることを示す。 PLMにおける談話情報の発見と活用を目的として,教師なし,半教師なしの手法を提案する。提案手法はSTACコーパスにおいて,F1スコアが57.2と59.3であり,教師なしおよび半教師なしの手法である。投射木に限定すると, スコアは63.3と68.1に改善した。

関連論文リスト

Retrieval Augmented End-to-End Spoken Dialog Models [20.896330994089283]
音声信号から直接ダイアログ状態が推測される音声対話アプリケーションにSLMを適用する。 RAG(retrieval-augmented generation)パラダイムにヒントを得て,この弱点を克服する検索拡張SLM(ReSLM)を提案する。音声MultipleWozタスク(DSTC-11チャレンジ)を用いてReSLMを評価し,この検索によりモデル性能が向上することを確認した。
論文参考訳（メタデータ） (2024-02-02T18:23:09Z)
Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue Questions with LLMs [59.74002011562726]
我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
論文参考訳（メタデータ） (2023-05-19T16:27:43Z)
OPAL: Ontology-Aware Pretrained Language Model for End-to-End Task-Oriented Dialogue [40.62090743056549]
本稿では、エンドツーエンドタスク指向対話(TOD)のためのオントロジー対応事前学習言語モデル(OPAL)を提案する。チャット型対話モデルとは異なり、タスク指向対話モデルは少なくとも2つのタスク固有モジュールを満たす:対話状態トラッカー(DST)と応答生成器(RG)。
論文参考訳（メタデータ） (2022-09-10T04:38:27Z)
Improving Zero and Few-shot Generalization in Dialogue through Instruction Tuning [27.92734269206744]
InstructDialは対話のための命令チューニングフレームワークである。 48の多様な対話タスクからなるリポジトリからなり、59のオープンな対話データセットから作成されるテキストとテキストの統一フォーマットである。分析の結果,InstructDialは未知のデータセットや対話評価や意図検出などのタスクに対して良好なゼロショット性能を実現し,数ショット設定でさらに優れたパフォーマンスを実現していることがわかった。
論文参考訳（メタデータ） (2022-05-25T11:37:06Z)
Improving Unsupervised Dialogue Topic Segmentation with Utterance-Pair Coherence Scoring [8.31009800792799]
発話対ペアコヒーレンススコアのトレーニングコーパスを生成するための戦略を提案する。そして,得られた学習コーパスを用いて,BERTに基づくニューラル発話対ペアコヒーレンスモデルを訓練する。最後に、このようなモデルを用いて発話間の話題関係を計測し、セグメンテーション推論の基盤として機能する。
論文参考訳（メタデータ） (2021-06-12T08:49:20Z)
Structural Pre-training for Dialogue Comprehension [51.215629336320305]
本稿では,SPIDER, Structure Pre-trained DialoguE Readerについて述べる。対話のような特徴をシミュレートするために,元のLM目的に加えて,2つの訓練目標を提案する。広く使われている対話ベンチマークの実験結果から,新たに導入した自己教師型タスクの有効性が検証された。
論文参考訳（メタデータ） (2021-05-23T15:16:54Z)
Probing Task-Oriented Dialogue Representation from Language Models [106.02947285212132]
本稿では,タスク指向対話タスクにおいて,どのモデルが本質的に最も有意義な表現を担っているかを明らかにするために,事前学習された言語モデルについて検討する。我々は、アノテートラベルを教師付き方法で固定された事前学習言語モデルの上に、分類器プローブとしてフィードフォワード層を微調整する。
論文参考訳（メタデータ） (2020-10-26T21:34:39Z)
Modeling Long Context for Task-Oriented Dialogue State Generation [51.044300192906995]
本稿では,シンプルで効果的な発話タグ付け手法と双方向言語モデルを用いたマルチタスク学習モデルを提案する。提案手法は,入力対話コンテキストシーケンスが長い場合に,ベースラインの性能が著しく低下する,という問題を解決する。本実験では,MultiWOZ 2.0データセットにおいて,ベースラインに対して7.03%の相対的改善を実現し,新しい最先端のジョイントゴール精度を52.04%に設定した。
論文参考訳（メタデータ） (2020-04-29T11:02:25Z)
A Tailored Pre-Training Model for Task-Oriented Dialog Generation [60.05269529832447]
タスク指向対話システムのための事前訓練された役割交替言語モデル(PRAL)を提案する。 13個の既存のデータセットをクリーニングすることでタスク指向の対話事前学習データセットを導入する。その結果,PRALは最先端の手法と同等以上の性能を示した。
論文参考訳（メタデータ） (2020-04-24T09:25:45Z)
TOD-BERT: Pre-trained Natural Language Understanding for Task-Oriented Dialogue [113.45485470103762]
本研究では,言語モデリングのためのタスク指向対話データセットを,人間とマルチターンの9つに統合する。事前学習時の対話動作をモデル化するために,ユーザトークンとシステムトークンをマスク付き言語モデルに組み込む。
論文参考訳（メタデータ） (2020-04-15T04:09:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。