論文の概要: Empirical Analysis of Dialogue Relation Extraction with Large Language Models

• arxiv url: http://arxiv.org/abs/2404.17802v1
• Date: Sat, 27 Apr 2024 06:55:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-30 19:11:12.158263
• Title: Empirical Analysis of Dialogue Relation Extraction with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた対話関係抽出の実証分析
• Authors: Guozheng Li, Zijie Xu, Ziyu Shang, Jiajun Liu, Ke Ji, Yikai Guo,
• Abstract要約: 対話関係抽出における様々な大言語モデル(LLM)の機能について検討する。 LLMは既存のDRE手法の2つの問題を著しく軽減する。 LLMはフルショットと数ショットの両方の設定で、競争力や優れたパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 7.820897176683249
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dialogue relation extraction (DRE) aims to extract relations between two arguments within a dialogue, which is more challenging than standard RE due to the higher person pronoun frequency and lower information density in dialogues. However, existing DRE methods still suffer from two serious issues: (1) hard to capture long and sparse multi-turn information, and (2) struggle to extract golden relations based on partial dialogues, which motivates us to discover more effective methods that can alleviate the above issues. We notice that the rise of large language models (LLMs) has sparked considerable interest in evaluating their performance across diverse tasks. To this end, we initially investigate the capabilities of different LLMs in DRE, considering both proprietary models and open-source models. Interestingly, we discover that LLMs significantly alleviate two issues in existing DRE methods. Generally, we have following findings: (1) scaling up model size substantially boosts the overall DRE performance and achieves exceptional results, tackling the difficulty of capturing long and sparse multi-turn information; (2) LLMs encounter with much smaller performance drop from entire dialogue setting to partial dialogue setting compared to existing methods; (3) LLMs deliver competitive or superior performances under both full-shot and few-shot settings compared to current state-of-the-art; (4) LLMs show modest performances on inverse relations but much stronger improvements on general relations, and they can handle dialogues of various lengths especially for longer sequences.
• Abstract（参考訳）: 対話関係抽出(DRE)は,対話における高次代名詞頻度と低情報密度のため,標準REよりも難易度が高い2つの引数間の関係を抽出することを目的としている。 しかし, 従来のDRE手法では, 長め・短めのマルチターン情報の取得が困難であること, 部分対話に基づく黄金関係の抽出が困難であること, 上記の問題を緩和するより効果的な方法を見出す動機となっていること, という2つの深刻な問題に悩まされている。 大規模言語モデル(LLM)の台頭が,多種多様なタスクにおけるパフォーマンス評価に多大な関心を喚起していることに気付きました。 この目的のために,DRE における様々な LLM の機能について,プロプライエタリモデルとオープンソースモデルの両方を考慮した検討を行った。 興味深いことに、LLMは既存のDRE手法の2つの問題を著しく軽減する。 一般に,(1)モデルサイズを拡大することで,DRE全体の性能が大幅に向上し,かつ,長大かつ低速なマルチターン情報の取得が困難になること,(2)LLMは対話設定全体から部分対話設定まで,従来の手法に比べてはるかに少ない性能低下に直面すること,(3)LLMは,現在の状況と比較して,フルショットおよび少数ショット設定の両方において,競合的あるいは優れたパフォーマンスを提供すること,(4)LLMは逆関係の質素なパフォーマンスを示すこと,そして一般関係の大幅な改善,そして,特に長いシーケンスにおいて,様々な長さの対話を処理できること,などが報告されている。

関連論文リスト

• SLIDE: A Framework Integrating Small and Large Language Models for Open-Domain Dialogues Evaluation [23.203761925540736]
  対話評価のためのフレームワークSLIDE(Small and Large Integrated for Dialogue Evaluation)を提案する。 本手法は, 分類タスクと評価タスクの両方において最先端のパフォーマンスを達成し, また, SLIDEは人的評価器との相関性も良好である。
  論文  参考訳（メタデータ） (2024-05-24T20:32:49Z)
• Evaluating Very Long-Term Conversational Memory of LLM Agents [95.84027826745609]
  我々は,高品質で長期的な対話を生成するための,マシン・ヒューマン・パイプラインを導入する。 我々は、各エージェントに画像の共有と反応の能力を持たせる。 生成した会話は、長距離一貫性のために人間のアノテーションによって検証され、編集される。
  論文  参考訳（メタデータ） (2024-02-27T18:42:31Z)
• Empowering Language Models with Active Inquiry for Deeper Understanding [31.11672018840381]
  対話型エンゲージメントを備えた大規模言語モデルを実現するために設計されたLaMAI(Language Model with Active Inquiry)を紹介する。 LaMAIは、アクティブな学習技術を使用して、最も有意義な質問を提起し、動的双方向対話を育む。 様々な複雑なデータセットにわたる実証研究は、LaMAIの有効性を実証している。
  論文  参考訳（メタデータ） (2024-02-06T05:24:16Z)
• Are LLMs Robust for Spoken Dialogues? [10.855403629160921]
  大規模な事前学習型言語モデルでは、さまざまな下流タスクで最先端のパフォーマンスが実証されている。 タスク指向対話に関する公開データセットとベンチマークのほとんどは、書かれた会話に重点を置いている。 DSTC11テストセットにおける音声タスク指向対話におけるLLMの性能評価を行った。
  論文  参考訳（メタデータ） (2024-01-04T14:36:38Z)
• Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models [51.75805497456226]
  本研究は,対話要約タスクの助けを借りて,事実整合性の問題に焦点を当てる。 評価の結果,LLMが生成する要約の26.8%が事実整合性を含んでいることがわかった。 LLMの対話理解能力を高めるために,自動構築マルチタスクデータを用いた微調整パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-13T09:32:12Z)
• Self-Explanation Prompting Improves Dialogue Understanding in Large Language Models [52.24756457516834]
  大規模言語モデル(LLM)の理解能力を高めるための新たな「自己説明(Self-Explanation)」を提案する。 このタスクに依存しないアプローチでは、タスク実行前の各対話発話を分析し、様々な対話中心のタスクのパフォーマンスを向上させる必要がある。 6つのベンチマークデータセットによる実験結果から,本手法は他のゼロショットプロンプトよりも一貫して優れており,数ショットプロンプトの有効性を超えていることが明らかとなった。
  論文  参考訳（メタデータ） (2023-09-22T15:41:34Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Collaborative Reasoning on Multi-Modal Semantic Graphs for Video-Grounded Dialogue Generation [53.87485260058957]
  本研究では,対話コンテキストと関連ビデオに基づいて応答を生成するビデオグラウンド・ダイアログ生成について検討する。 本課題の主な課題は,(1)事前学習言語モデル(PLM)に映像データを統合することの難しさである。 異なるモーダルの推論を協調的に行うマルチエージェント強化学習法を提案する。
  論文  参考訳（メタデータ） (2022-10-22T14:45:29Z)
• A Mixture-of-Expert Approach to RL-based Dialogue Management [56.08449336469477]
  我々は、強化学習を用いて、近視性(一般的な発話の出力)を回避し、全体的なユーザ満足度を最大化する対話エージェントを開発する。 既存のRLアプローチのほとんどは、単語レベルでエージェントを訓練するので、中規模の語彙であっても、非常に複雑なアクション空間を扱う必要がある。 i)会話履歴の多様な意味を学習できるLMと、(ii)対応する発話を生成できる専門的なLM(または専門家)からなる、新しい専門家言語モデル(MoE-LM)を用いたRLベースのDMを開発する。
  論文  参考訳（メタデータ） (2022-05-31T19:00:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。