論文の概要: Pitfalls of Conversational LLMs on News Debiasing

• arxiv url: http://arxiv.org/abs/2404.06488v1
• Date: Tue, 9 Apr 2024 17:42:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 13:42:03.014352
• Title: Pitfalls of Conversational LLMs on News Debiasing
• Title（参考訳）: ニュースデバイアスにおける会話型LLMの落とし穴
• Authors: Ipek Baris Schlicht, Defne Altiok, Maryanne Taouk, Lucie Flek,
• Abstract要約: 本稿では,ニュース編集における嫌悪感に対処し,対話型大規模言語モデルの有効性を評価する。 我々は,ニュース編集者の視点に合わせた評価チェックリストを設計し,人気のある3つの会話モデルからテキストを得た。 モデル出力の偏りを判定するための評価器としてモデルを検討した。
• 参考スコア（独自算出の注目度）: 7.21848268647674
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper addresses debiasing in news editing and evaluates the effectiveness of conversational Large Language Models in this task. We designed an evaluation checklist tailored to news editors' perspectives, obtained generated texts from three popular conversational models using a subset of a publicly available dataset in media bias, and evaluated the texts according to the designed checklist. Furthermore, we examined the models as evaluator for checking the quality of debiased model outputs. Our findings indicate that none of the LLMs are perfect in debiasing. Notably, some models, including ChatGPT, introduced unnecessary changes that may impact the author's style and create misinformation. Lastly, we show that the models do not perform as proficiently as domain experts in evaluating the quality of debiased outputs.
• Abstract（参考訳）: 本稿では,ニュース編集における嫌悪感に対処し,この課題における対話型大規模言語モデルの有効性を評価する。 我々は,ニュース編集者の視点に合わせた評価チェックリストを設計し,メディアバイアスにおける公開データセットのサブセットを用いて,人気のある3つの会話モデルから生成されたテキストを取得し,設計されたチェックリストに基づいてテキストを評価する。 さらに,デバイアスモデル出力の品質を評価するための評価器としてモデルを検討した。 以上の結果から, LLMはいずれも脱ベンゾウには適していないことが示唆された。 特に、ChatGPTを含むいくつかのモデルは、著者のスタイルに影響を及ぼし、誤った情報を生み出す可能性のある不要な変更を導入した。 最後に、これらのモデルがデバイアスアウトプットの品質を評価する際に、ドメインの専門家ほど十分に機能しないことを示す。

関連論文リスト

• LLM Reading Tea Leaves: Automatically Evaluating Topic Models with Large Language Models [12.500091504010067]
  トピックモデリングのための新しい評価手法であるWALM(Words Agreement with Language Model)を提案する。 異なる種類のトピックモデルを含む広範な実験により、WALMは人間の判断に合致することを示した。
  論文  参考訳（メタデータ） (2024-06-13T11:19:50Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• Exploring Precision and Recall to assess the quality and diversity of LLMs [82.21278402856079]
  我々はtextscLlama-2 や textscMistral のような大規模言語モデル (LLM) のための新しい評価フレームワークを提案する。 このアプローチにより、コーパスの整合を必要とせず、生成したテキストの品質と多様性を微妙に評価できる。
  論文  参考訳（メタデータ） (2024-02-16T13:53:26Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• LLMs as Narcissistic Evaluators: When Ego Inflates Evaluation Scores [23.568883428947494]
  本研究は,LMに基づく評価指標が,要約タスクの文脈において,それぞれの基盤となるLMに対して有利なバイアスを示すかどうかを考察する。 以上の結果から, 金のサマリーを活用せずに, 基準のない手法で評価指標を用いた場合, 特に有意なバイアスがみられた。 これらの結果は、生成的評価モデルによって提供される評価は、本質的なテキスト品質を超える要因に影響される可能性があることを裏付けている。
  論文  参考訳（メタデータ） (2023-11-16T10:43:26Z)
• Annotating and Detecting Fine-grained Factual Errors for Dialogue Summarization [34.85353544844499]
  本稿では,DIASUMFACTというファクトエラーアノテーションを用いた最初のデータセットを提案する。 文レベルのマルチラベル分類問題として,ファクト・ファクト・エラー検出を定義する。 事前学習したエンコーダ-デコーダモデルを用いた候補ランキングによる教師なしモデルENDERANKERを提案する。
  論文  参考訳（メタデータ） (2023-05-26T00:18:33Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• Debiasing Vision-Language Models via Biased Prompts [79.04467131711775]
  本稿では,テキスト埋め込みにおけるバイアスのある方向を投影することで,視覚言語基盤モデルを疎外する一般的な手法を提案する。 偏平投影行列を組み込んだテキストのみをデバイアスすることで、ロバストな分類器と公正な生成モデルが得られることを示す。
  論文  参考訳（メタデータ） (2023-01-31T20:09:33Z)
• Evaluation of HTR models without Ground Truth Material [2.4792948967354236]
  手書き文字認識モデルの開発における評価は容易である。 しかし、開発からアプリケーションに切り替えると、評価プロセスはトリッキーになります。 我々は,レキシコンに基づく評価が,レキシコンに基づく手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T01:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。