論文の概要: Contrastive Learning for Inference in Dialogue

• arxiv url: http://arxiv.org/abs/2310.12467v1
• Date: Thu, 19 Oct 2023 04:49:36 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 16:58:08.482657
• Title: Contrastive Learning for Inference in Dialogue
• Title（参考訳）: 対話における推論のためのコントラスト学習
• Authors: Etsuko Ishii, Yan Xu, Bryan Wilie, Ziwei Ji, Holy Lovenia, Willy Chung, Pascale Fung
• Abstract要約: 推論、特に帰納的プロセスから派生したものは、私たちの会話において重要な要素です。 近年の大規模言語モデルは推論タスクにおいて顕著な進歩を見せている。 しかし、インダクティブ推論における彼らのパフォーマンスは、すべての情報がコンテキストに存在するわけではないが、インダクティブ推論よりもはるかに遅れている。
• 参考スコア（独自算出の注目度）: 56.20733835058695
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Inference, especially those derived from inductive processes, is a crucial component in our conversation to complement the information implicitly or explicitly conveyed by a speaker. While recent large language models show remarkable advances in inference tasks, their performance in inductive reasoning, where not all information is present in the context, is far behind deductive reasoning. In this paper, we analyze the behavior of the models based on the task difficulty defined by the semantic information gap -- which distinguishes inductive and deductive reasoning (Johnson-Laird, 1988, 1993). Our analysis reveals that the disparity in information between dialogue contexts and desired inferences poses a significant challenge to the inductive inference process. To mitigate this information gap, we investigate a contrastive learning approach by feeding negative samples. Our experiments suggest negative samples help models understand what is wrong and improve their inference generations.
• Abstract（参考訳）: 推論,特に帰納的プロセスから派生したものは,話者が暗黙的にあるいは明示的に伝達する情報を補完する上で,会話において重要な要素である。 近年の大規模言語モデルは推論タスクの顕著な進歩を示しているが、帰納的推論におけるそれらの性能は、すべての情報が文脈に存在するわけではない。 本稿では,帰納的推論と帰納的推論を区別する意味情報ギャップによって定義される課題難易度に基づいて,モデルの振る舞いを分析する(Johnson-Laird,1988,1993)。 分析の結果,対話コンテキストと所望の推論の相違が帰納的推論プロセスに重大な課題をもたらすことが明らかとなった。 この情報ギャップを軽減するために, 負のサンプルを給餌することで, 対照的な学習手法を検討する。 我々の実験は、モデルが何が間違っているのかを理解し、推論世代を改善するのに役立つことを示唆している。

関連論文リスト

• Evaluating Robustness of Dialogue Summarization Models in the Presence of Naturally Occurring Variations [13.749495524988774]
  実生活変動が最先端の対話要約モデルに与える影響を系統的に検討する。 発話レベルの摂動は、誤りや言語の変化によって個々の発話を変更するもので、対話レベルの摂動は非形式的交換を加えるものである。 細調整モデルと命令調整モデルの両方が入力のバリエーションの影響を受けており、後者はより感受性が高い。
  論文  参考訳（メタデータ） (2023-11-15T05:11:43Z)
• UNcommonsense Reasoning: Abductive Reasoning about Uncommon Situations [62.71847873326847]
  異常、予期せぬ、そしてありそうもない状況をモデル化する能力について検討する。 予期せぬ結果のコンテキストが与えられた場合、このタスクは説明を生成するために故意に推論する必要がある。 私たちはUNcommonsenseという新しい英語コーパスをリリースします。
  論文  参考訳（メタデータ） (2023-11-14T19:00:55Z)
• DiPlomat: A Dialogue Dataset for Situated Pragmatic Reasoning [89.92601337474954]
  プラグマティック推論は、実生活における会話でしばしば起こる暗黙の意味を解読する上で重要な役割を担っている。 そこで我々は,現実的な推論と会話理解の場所に関するマシンの能力のベンチマークを目的とした,新しい挑戦であるDiPlomatを紹介した。
  論文  参考訳（メタデータ） (2023-06-15T10:41:23Z)
• Causal interventions expose implicit situation models for commonsense language understanding [3.290878132806227]
  我々は、一つの文脈キューがあいまいな代名詞の解釈をシフトさせるWinograd Challengeのパフォーマンスを分析する。 我々は、コンテキストワードから情報を伝達する責任を負う注目ヘッドの回路を同定する。 これらの分析は、代名詞分解を導くために暗黙の状況モデルを構築する異なる経路を示唆している。
  論文  参考訳（メタデータ） (2023-06-06T17:36:43Z)
• Abductive Commonsense Reasoning Exploiting Mutually Exclusive Explanations [118.0818807474809]
  帰納的推論は、イベントのもっともらしい説明を見つけることを目的としている。 自然言語処理における帰納的推論のための既存のアプローチは、しばしば監督のために手動で生成されたアノテーションに依存している。 この研究は、ある文脈に対して、説明のサブセットのみが正しいという事実を活用する、帰納的コモンセンス推論のアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-24T01:35:10Z)
• Natural Language Decompositions of Implicit Content Enable Better Text Representations [56.85319224208865]
  本稿では,暗黙的に伝達されたコンテンツを明示的に考慮したテキスト分析手法を提案する。 我々は大きな言語モデルを用いて、観察されたテキストと推論的に関係する命題の集合を生成する。 本研究は,NLPにおいて,文字のみではなく,観察された言語の背景にある意味をモデル化することが重要であることを示唆する。
  論文  参考訳（メタデータ） (2023-05-23T23:45:20Z)
• Rethinking Offensive Text Detection as a Multi-Hop Reasoning Problem [15.476899850339395]
  対話における暗黙的な攻撃的テキスト検出の課題について紹介する。 我々は、このより広い種類の攻撃的発話を理解するためには、推論が不可欠であると主張する。 このタスクの研究を支援するデータセットであるSLIGHTをリリースする。
  論文  参考訳（メタデータ） (2022-04-22T06:20:15Z)
• Coreference-Aware Dialogue Summarization [24.986030179701405]
  ニューラルネットワークの抽象的対話要約モデルにおいて,コア参照情報を明示的に組み込む手法について検討する。 実験結果から,提案手法は最先端性能を実現することが示された。 事実的正当性の評価結果から,このようなコア参照認識モデルの方が,インターロケータ間の情報フローの追跡に優れていることが示唆された。
  論文  参考訳（メタデータ） (2021-06-16T05:18:50Z)
• Towards Interpretable Reasoning over Paragraph Effects in Situation [126.65672196760345]
  我々は,原因と効果を理解するためのモデルを必要とする状況において,段落効果を推論する作業に焦点をあてる。 本稿では,ニューラルネットワークモジュールを用いた推論プロセスの各ステップを明示的にモデル化する逐次的手法を提案する。 特に、5つの推論モジュールはエンドツーエンドで設計され、学習され、より解釈可能なモデルにつながる。
  論文  参考訳（メタデータ） (2020-10-03T04:03:52Z)
• Quantifying the Causal Effects of Conversational Tendencies [17.506263520769927]
  会話行動と結果の間に因果関係を描くことは、それらを規範的な方法で使用する上で必要なステップである。 我々は、テキストベースの危機カウンセリングプラットフォームにおいて、特定のタイプの政策を決定するタスクに焦点をあてる。 特定の領域において、これらの推論課題を回避する方法を示します。
  論文  参考訳（メタデータ） (2020-09-08T18:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。