論文の概要: Soda-Eval: Open-Domain Dialogue Evaluation in the age of LLMs

• arxiv url: http://arxiv.org/abs/2408.10902v2
• Date: Fri, 4 Oct 2024 14:32:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-08 06:22:37.686550
• Title: Soda-Eval: Open-Domain Dialogue Evaluation in the age of LLMs
• Title（参考訳）: Soda-Eval:LLM時代のオープンドメイン対話評価
• Authors: John Mendonça, Isabel Trancoso, Alon Lavie,
• Abstract要約: 本稿では,Sodaをベースとした注釈付きデータセットであるSoda-Evalについて紹介する。 そこで,Soda-Eval をベンチマークとして,オープンアクセス命令チューニング LLM の性能について検討する。
• 参考スコア（独自算出の注目度）: 8.672875654352689
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although human evaluation remains the gold standard for open-domain dialogue evaluation, the growing popularity of automated evaluation using Large Language Models (LLMs) has also extended to dialogue. However, most frameworks leverage benchmarks that assess older chatbots on aspects such as fluency and relevance, which are not reflective of the challenges associated with contemporary models. In fact, a qualitative analysis on Soda, a GPT-3.5 generated dialogue dataset, suggests that current chatbots may exhibit several recurring issues related to coherence and commonsense knowledge, but generally produce highly fluent and relevant responses. Noting the aforementioned limitations, this paper introduces Soda-Eval, an annotated dataset based on Soda that covers over 120K turn-level assessments across 10K dialogues, where the annotations were generated by GPT-4. Using Soda-Eval as a benchmark, we then study the performance of several open-access instruction-tuned LLMs, finding that dialogue evaluation remains challenging. Fine-tuning these models improves performance over few-shot inferences, both in terms of correlation and explanation.
• Abstract（参考訳）: オープンドメイン対話評価では,人間による評価がゴールドスタンダードとなっているが,Large Language Models (LLMs) を用いた自動評価の人気が高まっている。 しかし、ほとんどのフレームワークは、現在のモデルに関連する課題を反映していない、流布や妥当性といった側面で古いチャットボットを評価するベンチマークを活用している。 実際、GPT-3.5生成対話データセットであるSodaの質的分析では、現在のチャットボットはコヒーレンスやコモンセンスの知識にまつわるいくつかの繰り返しの問題を示す可能性があるが、一般的には高度に流動的で関連する応答を生成する。 上述の制限について,本論文では,10K対話で120K以上のターンレベルアセスメントをカバーし,GPT-4でアノテーションを生成するSoda-Evalについて紹介する。 Soda-Eval をベンチマークとして,複数のオープンアクセス命令チューニング LLM の性能を調べた結果,対話評価は依然として困難であることが判明した。 これらのモデルを微調整することで、相関と説明の両面において、数ショットの推論よりもパフォーマンスが向上する。

関連論文リスト

• On the Benchmarking of LLMs for Open-Domain Dialogue Evaluation [8.672875654352689]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて顕著な機能を示した。 本稿では,現在の評価ベンチマークを批判的に検討し,従来の応答生成器の使用と品質面が,現代のチャットボットの機能を正確に反映できないことを強調した。
  論文  参考訳（メタデータ） (2024-07-04T11:14:47Z)
• Unveiling the Achilles' Heel of NLG Evaluators: A Unified Adversarial Framework Driven by Large Language Models [52.368110271614285]
  我々は,NLG評価器に対する新しいブラックボックス対逆フレームワークであるAdvEvalを紹介する。 AdvEvalは、人間と被害者の評価者との強い意見の相違をもたらすデータを生成するために特別に調整されている。 我々は,12名の被害者評価者と11名のNLGデータセットを用いて,対話,要約,質問評価などのタスクを分散した実験を行った。
  論文  参考訳（メタデータ） (2024-05-23T14:48:15Z)
• Emphasising Structured Information: Integrating Abstract Meaning Representation into LLMs for Enhanced Open-Domain Dialogue Evaluation [26.330012489735456]
  本稿では,オープンドメイン対話評価のための効果的なフレームワークを提案する。 抽象的意味表現(AMR)知識と拡張されたドメイン固有言語モデル(SLM)と大規模言語モデル(LLM)を組み合わせる。 オープンドメイン対話評価タスクの実験結果から,提案手法の優位性を示した。
  論文  参考訳（メタデータ） (2024-04-01T14:11:45Z)
• A Comprehensive Analysis of the Effectiveness of Large Language Models as Automatic Dialogue Evaluators [46.939611070781794]
  大規模言語モデル(LLM)は、人間の裁判官にとって有望な代用であることが示されている。 我々は,最近出現した30個のLLMの多次元評価能力をターンレベルとダイアログレベルの両方で解析した。 また,旋回と対話の両レベルにおいて,様々な逆方向の摂動に対処するLLMの頑健性についても検討した。
  論文  参考訳（メタデータ） (2023-12-24T04:50:57Z)
• Exploring the Factual Consistency in Dialogue Comprehension of Large Language Models [51.75805497456226]
  本研究は,対話要約タスクの助けを借りて,事実整合性の問題に焦点を当てる。 評価の結果,LLMが生成する要約の26.8%が事実整合性を含んでいることがわかった。 LLMの対話理解能力を高めるために,自動構築マルチタスクデータを用いた微調整パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-13T09:32:12Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• MDD-Eval: Self-Training on Augmented Data for Multi-Domain Dialogue Evaluation [66.60285024216573]
  対話評価器はドメイン間の評価も行うことが期待される。 最先端自動対話評価指標(ADM)の多くはマルチドメイン評価のために設計されていない。 私たちはこの問題に対処するための汎用的で堅牢なフレームワークMDD-Evalを設計する動機があります。
  論文  参考訳（メタデータ） (2021-12-14T07:01:20Z)
• Automatic Evaluation and Moderation of Open-domain Dialogue Systems [59.305712262126264]
  研究者が悩む長きにわたる課題は、効果的な自動評価指標の欠如である。 本稿では, 対話システム技術チャレンジ10(DSTC10)におけるトラック5で得られたデータ, ベースライン, 結果について述べる。
  論文  参考訳（メタデータ） (2021-11-03T10:08:05Z)
• On the Use of Linguistic Features for the Evaluation of Generative Dialogue Systems [17.749995931459136]
  言語的特徴に基づく指標は,人間の判断と良好な相関を維持し,解釈可能であることを示唆する。 この提案を支持するために,複数の対話モデルによって生成された対話のさまざまな言語的特徴を計測し,分析する。 特徴の振る舞いはテストされたモデルの既知の特性と一致し、ドメイン間で類似していることが分かりました。
  論文  参考訳（メタデータ） (2021-04-13T16:28:00Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。