論文の概要: SLIDE: A Framework Integrating Small and Large Language Models for Open-Domain Dialogues Evaluation
- arxiv url: http://arxiv.org/abs/2405.15924v3
- Date: Thu, 30 May 2024 02:13:56 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-31 20:05:24.790348
- Title: SLIDE: A Framework Integrating Small and Large Language Models for Open-Domain Dialogues Evaluation
- Title（参考訳）: SLIDE: オープンドメイン対話評価のための小規模および大規模言語モデルの統合フレームワーク
- Authors: Kun Zhao, Bohao Yang, Chen Tang, Chenghua Lin, Liang Zhan,
- Abstract要約: 対話評価のためのフレームワークSLIDE(Small and Large Integrated for Dialogue Evaluation)を提案する。
本手法は, 分類タスクと評価タスクの両方において最先端のパフォーマンスを達成し, また, SLIDEは人的評価器との相関性も良好である。
- 参考スコア（独自算出の注目度）: 23.203761925540736
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The long-standing one-to-many problem of gold standard responses in open-domain dialogue systems presents challenges for automatic evaluation metrics. Though prior works have demonstrated some success by applying powerful Large Language Models (LLMs), existing approaches still struggle with the one-to-many problem, and exhibit subpar performance in domain-specific scenarios. We assume the commonsense reasoning biases within LLMs may hinder their performance in domainspecific evaluations. To address both issues, we propose a novel framework SLIDE (Small and Large Integrated for Dialogue Evaluation), that leverages both a small, specialised model (SLM), and LLMs for the evaluation of open domain dialogues. Our approach introduces several techniques: (1) Contrastive learning to differentiate between robust and non-robust response embeddings; (2) A novel metric for semantic sensitivity that combines embedding cosine distances with similarity learned through neural networks, and (3) a strategy for incorporating the evaluation results from both the SLM and LLMs. Our empirical results demonstrate that our approach achieves state-of-the-art performance in both the classification and evaluation tasks, and additionally the SLIDE evaluator exhibits better correlation with human judgements. Our code is available at https:// github.com/hegehongcha/SLIDE-ACL2024.
- Abstract（参考訳）: オープンドメイン対話システムにおけるゴールド標準応答の長年の課題は,自動評価指標の課題である。
以前の研究は、強力なLarge Language Models (LLMs) を適用することでいくつかの成功を収めたものの、既存のアプローチはまだ1対多の問題に苦戦しており、ドメイン固有のシナリオでサブパーパフォーマンスを示す。
LLM内のコモンセンス推論バイアスは、ドメイン固有の評価においてそれらの性能を阻害する可能性があると仮定する。
両課題に対処するため,オープンドメイン対話の評価に小型特殊化モデル (SLM) と LLM を併用した新しいフレームワークSLIDE (Small and Large Integrated for Dialogue Evaluation) を提案する。
提案手法では,(1)ロバストな応答埋め込みと非ロバストな応答埋め込みを区別するコントラスト学習,(2)ニューラルネットワークで学習した類似性と,(3)SLMとLCMの両方による評価結果を組み込むための,セマンティック・セマンティック・セマンティック・セマンティクスの指標を導入する。
実験の結果,本手法は分類タスクと評価タスクの両方において最先端性能を実現しており,SLIDE評価器は人的判断との相関性も良好であることがわかった。
私たちのコードはhttps:// github.com/hegehongcha/SLIDE-ACL2024.comで公開されています。
関連論文リスト
- Paired Completion: Flexible Quantification of Issue-framing at Scale with LLMs [0.41436032949434404]
我々は,大規模なテキストデータセット内の問題フレーミングと物語分析のための新しい検出手法を開発し,厳密に評価する。
問題フレーミングは大きなコーパスにおいて, 与えられた問題に対して, いずれの視点でも, 確実に, 効率的に検出できることを示す。
論文 参考訳（メタデータ） (2024-08-19T07:14:15Z) - MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。
メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文 参考訳（メタデータ） (2024-06-20T03:50:23Z) - R-Eval: A Unified Toolkit for Evaluating Domain Knowledge of Retrieval Augmented Large Language Models [51.468732121824125]
大規模言語モデルは一般的なNLPタスクにおいて顕著な成功を収めてきたが、ドメイン固有の問題には不足する可能性がある。
既存の評価ツールは、ドメイン知識の深さを掘り下げることなく、いくつかのベースラインを提供し、様々なドメインで評価するのみである。
本稿では、R-Evalツールキット(R-Evalツールキット)を導入し、異なるRAGの評価を合理化することによるALLMの評価の課題に対処する。
論文 参考訳（メタデータ） (2024-06-17T15:59:49Z) - Should We Fine-Tune or RAG? Evaluating Different Techniques to Adapt LLMs for Dialogue [1.8652965834931452]
本研究では,人間と機械の対話における応答生成作業におけるLarge Language Models (LLMs) の限界について検討する。
我々は,異なる対話型に適用する場合に,異なるLLM適応手法を広範囲に分析する。
論文 参考訳（メタデータ） (2024-06-10T15:52:49Z) - Emphasising Structured Information: Integrating Abstract Meaning Representation into LLMs for Enhanced Open-Domain Dialogue Evaluation [26.330012489735456]
本稿では,オープンドメイン対話評価のための効果的なフレームワークを提案する。
抽象的意味表現(AMR)知識と拡張されたドメイン固有言語モデル(SLM)と大規模言語モデル(LLM)を組み合わせる。
オープンドメイン対話評価タスクの実験結果から,提案手法の優位性を示した。
論文 参考訳（メタデータ） (2024-04-01T14:11:45Z) - A Comprehensive Analysis of the Effectiveness of Large Language Models
as Automatic Dialogue Evaluators [46.939611070781794]
大規模言語モデル(LLM)は、人間の裁判官にとって有望な代用であることが示されている。
我々は,最近出現した30個のLLMの多次元評価能力をターンレベルとダイアログレベルの両方で解析した。
また,旋回と対話の両レベルにおいて,様々な逆方向の摂動に対処するLLMの頑健性についても検討した。
論文 参考訳（メタデータ） (2023-12-24T04:50:57Z) - Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳（メタデータ） (2023-10-09T07:27:15Z) - Simple LLM Prompting is State-of-the-Art for Robust and Multilingual
Dialogue Evaluation [7.767020408405403]
本稿では,既存の評価モデルの強みを生かして,大規模言語モデル(LLM)の促進という新たなパラダイムを提案する。
実験により,本フレームワークは,いくつかのベンチマークにおいて,平均スピアマン相関スコアを用いて,技術結果の状態を達成していることを示す。
論文 参考訳（メタデータ） (2023-08-31T15:19:28Z) - Domain-Expanded ASTE: Rethinking Generalization in Aspect Sentiment Triplet Extraction [67.54420015049732]
Aspect Sentiment Triplet extract (ASTE) は感情分析における課題であり、人間の感情に対するきめ細かい洞察を提供することを目的としている。
既存のベンチマークは2つのドメインに限定されており、目に見えないドメイン上でのモデルパフォーマンスを評価しない。
各種ドメインのサンプルに注釈を付けることでドメイン拡張ベンチマークを導入し,ドメイン内設定とドメイン外設定の両方でモデルの評価を可能にする。
論文 参考訳（メタデータ） (2023-05-23T18:01:49Z) - RADDLE: An Evaluation Benchmark and Analysis Platform for Robust
Task-oriented Dialog Systems [75.87418236410296]
我々はraddleベンチマーク、コーパスのコレクション、および様々なドメインのモデルのパフォーマンスを評価するためのツールを紹介します。
RADDLEは強力な一般化能力を持つモデルを好んで奨励するように設計されている。
先行学習と微調整に基づく最近の最先端システムの評価を行い,異種ダイアログコーパスに基づく基礎的な事前学習が,ドメインごとの個別モデルをトレーニングするよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-12-29T08:58:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。