論文の概要: DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning
- arxiv url: http://arxiv.org/abs/2306.09030v2
- Date: Mon, 19 Jun 2023 07:31:55 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-22 00:45:21.067594
- Title: DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning
- Title（参考訳）: DiPlomat: 実用的な推論のための対話データセット
- Authors: Hengli Li, Song-Chun Zhu, Zilong Zheng
- Abstract要約: プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。
そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
- 参考スコア（独自算出の注目度）: 89.92601337474954
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Pragmatic reasoning plays a pivotal role in deciphering implicit meanings
that frequently arise in real-life conversations and is essential for the
development of communicative social agents. In this paper, we introduce a novel
challenge, DiPlomat, aiming at benchmarking machines' capabilities on pragmatic
reasoning and situated conversational understanding. Compared with previous
works that treat different figurative expressions (e.g. metaphor, sarcasm) as
individual tasks, DiPlomat provides a cohesive framework towards general
pragmatic understanding. Our dataset is created through the utilization of
Amazon Mechanical Turk ( AMT ), resulting in a total of 4, 177 multi-turn
dialogues. In conjunction with the dataset, we propose two tasks, Pragmatic
Identification and Reasoning (PIR) and Conversational Question Answering (CQA).
Experimental results with state-of-the-art (SOTA) neural architectures reveal
several significant findings: 1) large language models ( LLMs) exhibit poor
performance in tackling this subjective domain; 2) comprehensive comprehension
of context emerges as a critical factor for establishing benign human-machine
interactions; 3) current models defect in the application of pragmatic
reasoning. As a result, we call on more attention to improve the ability of
context understanding, reasoning, and implied meaning modeling.
- Abstract（参考訳）: プラグマティック推論は、実生活の会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担い、コミュニケーション型社会的エージェントの開発に不可欠である。
本稿では,現実的推論と位置的会話理解における機械の能力のベンチマークを目的とした,新しい課題であるDiPlomatを紹介する。
異なる比喩表現(例:比喩、皮肉)を個別のタスクとして扱う以前の作品と比較すると、DiPlomatは一般的な実用的理解に向けた結束的な枠組みを提供する。
我々のデータセットはAmazon Mechanical Turk (AMT)を利用して作成され、結果として合計4,177のマルチターンダイアログが生成される。
このデータセットと合わせて,PIR(Pragmatic Identification and Reasoning)とCQA(Conversational Question Answering)という2つのタスクを提案する。
State-of-the-art(SOTA)ニューラルアーキテクチャによる実験結果には、いくつかの重要な発見がある。
1) 大言語モデル(llm)は,この主観的な領域に取り組む上で,性能に乏しい。
2) コンテキストの包括的理解は,人間と機械の相互関係を確立する上で重要な要因として出現する。
3)現状モデルは実用的推論の適用に欠陥がある。
その結果、文脈理解、推論、含意的な意味モデリングの能力を向上させるために、より注意を払うことが必要となる。
関連論文リスト
- Reasoning in Conversation: Solving Subjective Tasks through Dialogue
Simulation for Large Language Models [56.93074140619464]
本稿では,対話シミュレーションによる主観的課題の解決に焦点を当てたRiC(Reasoning in Conversation)を提案する。
RiCのモチベーションは、チェーン・オブ・ソート・スタイルの合理性を提供するのではなく、対話をシミュレートすることで有用な文脈情報をマイニングすることである。
GPT-4、ChatGPT、OpenChatなど、APIベースのLLMとオープンソースのLLMの両方を12のタスクで評価する。
論文 参考訳（メタデータ） (2024-02-27T05:37:10Z) - Interpretation modeling: Social grounding of sentences by reasoning over
their implicit moral judgments [24.133419857271505]
単一のゴールド標準解釈はほとんど存在せず、自然言語処理における従来の仮定に挑戦する。
この研究は、文の基本的意味論のいくつかの解釈をモデル化することを含む解釈モデリング(IM)タスクを導入する。
実験と分析をサポートするために、第一種IMデータセットがキュレーションされている。
論文 参考訳（メタデータ） (2023-11-27T07:50:55Z) - MindDial: Belief Dynamics Tracking with Theory-of-Mind Modeling for Situated Neural Dialogue Generation [62.44907105496227]
MindDialは、Mind-of-mindモデリングで位置決め自由形式の応答を生成できる、新しい対話型フレームワークである。
本研究では、話者の信念と話者の聴取者の信念を予測できる明示的なマインドモジュールを導入する。
筆者らのフレームワークは,提案手法と微調整モデルの両方に適用され,共通地盤アライメントとネゴシエーションの両方を含むシナリオで評価される。
論文 参考訳（メタデータ） (2023-06-27T07:24:32Z) - In-Context Analogical Reasoning with Pre-Trained Language Models [10.344428417489237]
我々は、AIシステムにおけるアナロジーを支援するために、直感的な言語ベースの抽象化の使用について検討する。
具体的には,大規模事前学習言語モデル(PLM)を視覚的Raven's Progressive Matrices(RPM)に適用する。
PLMはゼロショットリレーショナル推論に顕著な能力を示し、人間のパフォーマンスを超え、教師付き視覚ベースの手法に近づいた。
論文 参考訳（メタデータ） (2023-05-28T04:22:26Z) - Interactive Natural Language Processing [67.87925315773924]
対話型自然言語処理(iNLP)は,NLP分野における新しいパラダイムとして登場した。
本稿では,iNLPの概念の統一的定義と枠組みを提案することから,iNLPに関する包括的調査を行う。
論文 参考訳（メタデータ） (2023-05-22T17:18:29Z) - Discourse over Discourse: The Need for an Expanded Pragmatic Focus in
Conversational AI [0.5884031187931463]
会話の要約と他の会話型AIアプリケーションにおけるいくつかの課題について論じる。
本稿では,いわゆる星文による現実語の重要性について述べる。
AIの品質の基準は人間の行動と区別できないため、苦情を"Turing Test Triggers"とラベル付けします。
論文 参考訳（メタデータ） (2023-04-27T21:51:42Z) - PK-ICR: Persona-Knowledge Interactive Context Retrieval for Grounded Dialogue [21.266410719325208]
ペルソナとナレッジ デュアルコンテキスト識別(ペルソナとナレッジ コンテクストの同定)は、与えられた対話において、ペルソナとナレッジを共同で識別するタスクである。
我々は,対話のすべての文脈を同時に活用する新しい接地検索手法を開発した。
論文 参考訳（メタデータ） (2023-02-13T20:27:26Z) - Dialogue Meaning Representation for Task-Oriented Dialogue Systems [51.91615150842267]
タスク指向対話のための柔軟かつ容易に拡張可能な表現である対話意味表現(DMR)を提案する。
我々の表現は、合成意味論とタスク固有の概念のためのリッチな意味論を表現するために、継承階層を持つノードとエッジのセットを含んでいる。
異なる機械学習ベースの対話モデルを評価するための2つの評価タスクを提案し、さらにグラフベースのコア参照解決タスクのための新しいコア参照解決モデルGNNCorefを提案する。
論文 参考訳（メタデータ） (2022-04-23T04:17:55Z) - elBERto: Self-supervised Commonsense Learning for Question Answering [131.51059870970616]
本稿では、市販QAモデルアーキテクチャと互換性のあるコモンセンスフレームワークの自己教師型双方向表現学習を提案する。
このフレームワークは5つの自己教師型タスクから構成されており、リッチコモンセンスを含むコンテキストから追加のトレーニング信号を完全に活用するようモデルに強制する。
elBERtoは、単純な語彙的類似性比較が役に立たないような、アウト・オブ・パラグラフや非エフェクトな問題に対して、大幅に改善されている。
論文 参考訳（メタデータ） (2022-03-17T16:23:45Z) - Multi-turn Dialogue Reading Comprehension with Pivot Turns and Knowledge [43.352833140317486]
マルチターン対話読解は、機械に対話コンテキストを読み、応答選択や回答質問といったタスクを解くことを目的としている。
この研究は、ピボット発話として重要なターンを抽出することで、上記の2つの課題に対処する最初の試みである。
本稿では,対話理解のためのトランスフォーマーに基づく言語モデル上に,ピボット指向の深層選択モデル(PoDS)を提案する。
論文 参考訳（メタデータ） (2021-02-10T15:00:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。