論文の概要: Simple LLM Prompting is State-of-the-Art for Robust and Multilingual Dialogue Evaluation

• arxiv url: http://arxiv.org/abs/2308.16797v2
• Date: Fri, 8 Sep 2023 11:24:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-11 17:26:02.872193
• Title: Simple LLM Prompting is State-of-the-Art for Robust and Multilingual Dialogue Evaluation
• Title（参考訳）: 簡単なLLMプロンプトはロバストおよび多言語対話評価の最先端である
• Authors: John Mendon\c{c}a, Patr\'icia Pereira, Helena Moniz, Jo\~ao Paulo Carvalho, Alon Lavie, Isabel Trancoso
• Abstract要約: 本稿では,既存の評価モデルの強みを生かして,大規模言語モデル(LLM)の促進という新たなパラダイムを提案する。 実験により,本フレームワークは,いくつかのベンチマークにおいて,平均スピアマン相関スコアを用いて,技術結果の状態を達成していることを示す。
• 参考スコア（独自算出の注目度）: 7.767020408405403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite significant research effort in the development of automatic dialogue evaluation metrics, little thought is given to evaluating dialogues other than in English. At the same time, ensuring metrics are invariant to semantically similar responses is also an overlooked topic. In order to achieve the desired properties of robustness and multilinguality for dialogue evaluation metrics, we propose a novel framework that takes advantage of the strengths of current evaluation models with the newly-established paradigm of prompting Large Language Models (LLMs). Empirical results show our framework achieves state of the art results in terms of mean Spearman correlation scores across several benchmarks and ranks first place on both the Robust and Multilingual tasks of the DSTC11 Track 4 "Automatic Evaluation Metrics for Open-Domain Dialogue Systems", proving the evaluation capabilities of prompted LLMs.
• Abstract（参考訳）: 自動対話評価尺度の開発に多大な研究努力を払っているが、英語以外の対話を評価することはほとんど考えていない。 同時に、メトリクスが意味的に類似した応答に不変であることを保証することも見過ごされているトピックである。 対話評価指標の頑健性と多言語性の望ましい特性を達成するために,既存の評価モデルの強みを生かして,大規模言語モデル(LLM)の促進という新たなパラダイムを新たに確立した枠組みを提案する。 実験結果から,dstc11トラック4「オープンドメイン対話システムのための自動評価指標」のロバストタスクと多言語タスクにおいて,複数のベンチマークとランキングで平均スピアマン相関スコアを用いて,評価結果が得られた。

関連論文リスト

• ComperDial: Commonsense Persona-grounded Dialogue Dataset and Benchmark [26.100299485985197]
  ComperDialは、99の対話エージェントから収集された1,485の会話において、10,395の対話ターンのための人間による応答で構成されている。 シングルターン応答スコアに加えて、ComperDialには対話レベルの人間注釈スコアも含まれている。 ComperDialから構築した新しい自動評価尺度は、人間の会話に対するモデル生成対話の一般的な類似度を測定する。
  論文  参考訳（メタデータ） (2024-06-17T05:51:04Z)
• SLIDE: A Framework Integrating Small and Large Language Models for Open-Domain Dialogues Evaluation [23.203761925540736]
  対話評価のためのフレームワークSLIDE(Small and Large Integrated for Dialogue Evaluation)を提案する。 本手法は, 分類タスクと評価タスクの両方において最先端のパフォーマンスを達成し, また, SLIDEは人的評価器との相関性も良好である。
  論文  参考訳（メタデータ） (2024-05-24T20:32:49Z)
• Emphasising Structured Information: Integrating Abstract Meaning Representation into LLMs for Enhanced Open-Domain Dialogue Evaluation [26.330012489735456]
  本稿では,オープンドメイン対話評価のための効果的なフレームワークを提案する。 抽象的意味表現(AMR)知識と拡張されたドメイン固有言語モデル(SLM)と大規模言語モデル(LLM)を組み合わせる。 オープンドメイン対話評価タスクの実験結果から,提案手法の優位性を示した。
  論文  参考訳（メタデータ） (2024-04-01T14:11:45Z)
• A Comprehensive Analysis of the Effectiveness of Large Language Models as Automatic Dialogue Evaluators [46.939611070781794]
  大規模言語モデル(LLM)は、人間の裁判官にとって有望な代用であることが示されている。 我々は,最近出現した30個のLLMの多次元評価能力をターンレベルとダイアログレベルの両方で解析した。 また,旋回と対話の両レベルにおいて,様々な逆方向の摂動に対処するLLMの頑健性についても検討した。
  論文  参考訳（メタデータ） (2023-12-24T04:50:57Z)
• Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue Questions with LLMs [59.74002011562726]
  我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。 中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。 実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-19T16:27:43Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• FineD-Eval: Fine-grained Automatic Dialogue-Level Evaluation [58.46761798403072]
  本稿では,3つのサブメトリックから構成され,それぞれが特定の次元を対象とする対話レベルメトリクスを提案する。 サブメトリックは、新しい自己監督目的で訓練され、それぞれの次元について人間の判断と強い相関関係を示す。 既存の最先端のメトリクスと比較すると、組み合わせたメトリクスは平均して16%の相対的な改善を達成している。
  論文  参考訳（メタデータ） (2022-10-25T08:26:03Z)
• GODEL: Large-Scale Pre-Training for Goal-Directed Dialog [119.1397031992088]
  ダイアログのための大規模事前学習言語モデルであるGODELを紹介する。 GODELは、数ショットの微調整設定で、最先端の事前訓練ダイアログモデルより優れていることを示す。 評価手法の新たな特徴は,応答の有用性を評価するユーティリティの概念の導入である。
  論文  参考訳（メタデータ） (2022-06-22T18:19:32Z)
• MME-CRS: Multi-Metric Evaluation Based on Correlation Re-Scaling for Evaluating Open-Domain Dialogue [15.31433922183745]
  オープンドメイン対話の評価のための相関再スケーリング(MME-CRS)に基づくマルチメトリック評価を提案する。 MME-CRSはDSTC10トラック5サブタスクの最終テストデータで第1位である。
  論文  参考訳（メタデータ） (2022-06-19T13:43:59Z)
• Learning an Unreferenced Metric for Online Dialogue Evaluation [53.38078951628143]
  本稿では,大規模な事前学習言語モデルを用いて発話の潜在表現を抽出する非参照自動評価指標を提案する。 提案手法は,オンライン環境でのアノテーションと高い相関性を実現すると同時に,推論時に比較に真の応答を必要としないことを示す。
  論文  参考訳（メタデータ） (2020-05-01T20:01:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。