論文の概要: A LLM-Based Ranking Method for the Evaluation of Automatic Counter-Narrative Generation
- arxiv url: http://arxiv.org/abs/2406.15227v2
- Date: Fri, 04 Oct 2024 13:15:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 18:20:09.102437
- Title: A LLM-Based Ranking Method for the Evaluation of Automatic Counter-Narrative Generation
- Title(参考訳): 自動カウンタ・ナラレーティブ生成評価のためのLLMに基づくランク付け法
- Authors: Irune Zubiaga, Aitor Soroa, Rodrigo Agerri,
- Abstract要約: 本稿では,Large Language Model (LLM) を用いた対数ナラティブ(CN)生成の評価手法を提案する。
従来の自動指標は, 人間の判断と相関が低く, 生成したCNと人間の知覚との微妙な関係を捉えることができないことを示す。
- 参考スコア(独自算出の注目度): 14.064465097974836
- License:
- Abstract: This paper proposes a novel approach to evaluate Counter Narrative (CN) generation using a Large Language Model (LLM) as an evaluator. We show that traditional automatic metrics correlate poorly with human judgements and fail to capture the nuanced relationship between generated CNs and human perception. To alleviate this, we introduce a model ranking pipeline based on pairwise comparisons of generated CNs from different models, organized in a tournament-style format. The proposed evaluation method achieves a high correlation with human preference, with a $\rho$ score of 0.88. As an additional contribution, we leverage LLMs as zero-shot CN generators and provide a comparative analysis of chat, instruct, and base models, exploring their respective strengths and limitations. Through meticulous evaluation, including fine-tuning experiments, we elucidate the differences in performance and responsiveness to domain-specific data. We conclude that chat-aligned models in zero-shot are the best option for carrying out the task, provided they do not refuse to generate an answer due to security concerns.
- Abstract(参考訳): 本稿では,Large Language Model (LLM) を用いた対数ナラティブ(CN)生成の評価手法を提案する。
従来の自動指標は, 人間の判断と相関が低く, 生成したCNと人間の知覚との微妙な関係を捉えることができないことを示す。
これを軽減するために,トーナメント形式で編成された異なるモデルから生成されたCNのペアワイズ比較に基づくモデルランキングパイプラインを導入する。
提案手法は人選好と高い相関性を示し,そのスコアは0.88ドルである。
さらなる貢献として、ゼロショットCNジェネレータとしてLLMを活用し、チャット、インストラクション、ベースモデルの比較分析を行い、それぞれの強みと限界を探索する。
微調整実験を含む精巧な評価により、ドメイン固有のデータに対する性能と応答性の違いを解明する。
ゼロショットでのチャットアライメントモデルは,セキュリティ上の懸念から回答を得られないのであれば,タスクを実行する上で最善の選択肢である,と結論付けている。
関連論文リスト
- Aligning with Human Judgement: The Role of Pairwise Preference in Large Language Model Evaluators [48.54465599914978]
大規模言語モデル(LLM)は、生成された自然言語の品質を評価する上で有望な能力を示している。
LLMは依然として評価のバイアスを示しており、人間の評価と整合したコヒーレントな評価を生成するのに苦労することが多い。
Pairwise-preference Search (PairS)は、LLMを用いてペア比較を行い、候補テキストを効率よくランク付けする不確実性誘導探索手法である。
論文 参考訳(メタデータ) (2024-03-25T17:11:28Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳(メタデータ) (2023-11-06T00:21:44Z) - RAUCG: Retrieval-Augmented Unsupervised Counter Narrative Generation for
Hate Speech [5.88043557914512]
カウンターナラティブ(Counter Narrative、CN)は、言論の自由を侵害することなく、オンラインヘイトスピーチ(HS)と戦うための有望なアプローチである。
現在の自動CN生成方法は、主に訓練のために専門家が認可したデータセットに依存している。
我々は、外部のカウンター知識を自動的に拡張し、それをCNにマッピングするために、Retrieval-Augmented Unsupervised Counter Narrative Generation (RAUCG)を提案する。
論文 参考訳(メタデータ) (2023-10-09T12:01:26Z) - G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment [64.01972723692587]
本稿では,大規模言語モデルにチェーン・オブ・シント(CoT)を組み込んだフレームワークであるG-Evalと,NLG出力の品質評価のためのフォームフィリングパラダイムを提案する。
GPT-4 をバックボーンモデルとした G-Eval は,要約タスクにおいて,0.514 と人間とのスピアマン相関を達成し,従来手法の差を大きく上回ることを示す。
論文 参考訳(メタデータ) (2023-03-29T12:46:54Z) - Less is More: Mitigate Spurious Correlations for Open-Domain Dialogue
Response Generation Models by Causal Discovery [52.95935278819512]
本研究で得られたCGDIALOGコーパスに基づくオープンドメイン応答生成モデルのスプリアス相関に関する最初の研究を行った。
因果探索アルゴリズムに着想を得て,反応生成モデルの学習と推論のための新しいモデル非依存手法を提案する。
論文 参考訳(メタデータ) (2023-03-02T06:33:48Z) - Using Pre-Trained Language Models for Producing Counter Narratives
Against Hate Speech: a Comparative Study [17.338923885534193]
本稿では,CN自動生成作業における事前学習言語モデルの利用に関する広範な研究を行う。
まず、CNを生成するのに最適な特定の言語モデル(またはLMのクラス)と特定の復号機構が存在するかどうかを比較検討する。
自動回帰モデルとデコードを組み合わせることが、最も有望であることを示している。
論文 参考訳(メタデータ) (2022-04-04T12:44:47Z) - WSLRec: Weakly Supervised Learning for Neural Sequential Recommendation
Models [24.455665093145818]
我々は、WSLRecと呼ばれる新しいモデルに依存しないトレーニング手法を提案し、3段階のフレームワーク(事前学習、トップ$k$マイニング、本質的、微調整)を採用する。
WSLRec は、BR や ItemCF のようなモデルフリーメソッドから、余分な弱い監督のモデルを事前訓練することで、不完全性の問題を解決すると同時に、最上位の$k のマイニングを活用して、微調整のための弱い監督の信頼性の高いユーザ・イテム関連を検査することで、不正確な問題を解消する。
論文 参考訳(メタデータ) (2022-02-28T08:55:12Z) - Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy
Evaluation Approach [84.02388020258141]
強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。
ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。
実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
論文 参考訳(メタデータ) (2021-02-20T03:29:20Z) - Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。
そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
論文 参考訳(メタデータ) (2020-01-28T22:09:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。