論文の概要: Benchmark on Peer Review Toxic Detection: A Challenging Task with a New Dataset

• arxiv url: http://arxiv.org/abs/2502.01676v1
• Date: Sat, 01 Feb 2025 23:01:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-05 15:05:32.965274
• Title: Benchmark on Peer Review Toxic Detection: A Challenging Task with a New Dataset
• Title（参考訳）: Peer Review Toxic Detectionのベンチマーク
• Authors: Man Luo, Bradley Peterson, Rafael Gan, Hari Ramalingame, Navya Gangrade, Ariadne Dimarogona, Imon Banerjee, Phillip Howard,
• Abstract要約: この研究は、ピアレビューにおける毒性の検出という、重要だが未調査の領域を探求する。 まず、4つの異なるカテゴリにわたるピアレビューの毒性を定義し、OpenReviewプラットフォームからピアレビューのデータセットをキュレートする。 我々は、専用毒性検出モデルや感情分析モデルなど、様々なモデルをベンチマークする。
• 参考スコア（独自算出の注目度）: 6.106100820330045
• License:
• Abstract: Peer review is crucial for advancing and improving science through constructive criticism. However, toxic feedback can discourage authors and hinder scientific progress. This work explores an important but underexplored area: detecting toxicity in peer reviews. We first define toxicity in peer reviews across four distinct categories and curate a dataset of peer reviews from the OpenReview platform, annotated by human experts according to these definitions. Leveraging this dataset, we benchmark a variety of models, including a dedicated toxicity detection model, a sentiment analysis model, several open-source large language models (LLMs), and two closed-source LLMs. Our experiments explore the impact of different prompt granularities, from coarse to fine-grained instructions, on model performance. Notably, state-of-the-art LLMs like GPT-4 exhibit low alignment with human judgments under simple prompts but achieve improved alignment with detailed instructions. Moreover, the model's confidence score is a good indicator of better alignment with human judgments. For example, GPT-4 achieves a Cohen's Kappa score of 0.56 with human judgments, which increases to 0.63 when using only predictions with a confidence score higher than 95%. Overall, our dataset and benchmarks underscore the need for continued research to enhance toxicity detection capabilities of LLMs. By addressing this issue, our work aims to contribute to a healthy and responsible environment for constructive academic discourse and scientific collaboration.
• Abstract（参考訳）: ピアレビューは、建設的批判を通じて科学の進歩と改善に不可欠である。 しかし、有毒なフィードバックは著者を妨げ、科学的進歩を妨げる可能性がある。 この研究は、ピアレビューにおける毒性の検出という、重要だが未調査の領域を探求する。 まず、4つの異なるカテゴリにまたがるピアレビューの毒性を定義し、これらの定義に従って人間の専門家によって注釈付けされたOpenReviewプラットフォームからピアレビューのデータセットをキュレートする。 このデータセットを活用することで、専用の毒性検出モデル、感情分析モデル、オープンソースの大規模言語モデル(LLM)と2つのクローズドソースLCMを含む、さまざまなモデルのベンチマークを行う。 実験では,粗い命令からきめ細かな命令まで,素早い粒度がモデル性能に与える影響について検討した。 特に、GPT-4のような最先端のLCMは、単純なプロンプトの下で人間の判断と低い整合性を示すが、詳細な指示との整合性は向上する。 さらに、モデルの信頼性スコアは、人間の判断とより良い一致を示す良い指標である。 例えば、GPT-4はコーエンのカッパスコア0.56を人間の判断で達成し、信頼スコア95%以上の予測のみを使用すると0.63に増加する。 全体として、我々のデータセットとベンチマークは、LSMの毒性検出能力を高めるための継続的な研究の必要性を浮き彫りにしている。 本研究は,この課題に対処し,建設的な学術談話と科学的協力のために健全で責任ある環境に貢献することを目的としている。

関連論文リスト

• Self-Rationalization in the Wild: A Large Scale Out-of-Distribution Evaluation on NLI-related tasks [59.47851630504264]
  自由文の説明は表現力があり理解しやすいが、多くのデータセットには注釈付き説明データがない。 我々は、T5-LargeモデルとOLMo-7Bモデルを微調整し、微調整データ品質、微調整サンプル数、少数ショット選択方法の影響を評価した。 モデルは、自然言語推論(NLI)、ファクトチェック、抽象的な要約における幻覚検出の3つのタスクにまたがる19の多様なOODデータセットで評価される。
  論文  参考訳（メタデータ） (2025-02-07T10:01:32Z)
• Poor-Supervised Evaluation for SuperLLM via Mutual Consistency [20.138831477848615]
  正確なラベルを使わずに評価を行うためのPoEMフレームワークを提案する。 まず、モデルと特定の参照モデルとの整合性によって、モデルの能力が等価に評価できることを証明します。 現実の条件の不整合を緩和するために,人間(利用可能な場合)と参照モデルとして評価中のモデルを扱うアルゴリズムを導入する。
  論文  参考訳（メタデータ） (2024-08-25T06:49:03Z)
• Tell Me Why: Explainable Public Health Fact-Checking with Large Language Models [21.280725490520798]
  本稿では,大規模言語モデルによる公衆衛生クレームの検証に焦点をあてる。 各種オープンおよびクローズドソースモデルにおける0/fwショットプロンプトとパラメータ効率の微調整の有効性について検討する。
  論文  参考訳（メタデータ） (2024-05-15T15:49:06Z)
• VALOR-EVAL: Holistic Coverage and Faithfulness Evaluation of Large Vision-Language Models [57.43276586087863]
  LVLM(Large Vision-Language Models)は幻覚に悩まされ、このモデルでは可聴音を発生させるが、実際には誤出力を発生させる。 既存のベンチマークはスコープに限られており、主にオブジェクト幻覚に焦点を当てている。 対象,属性,関係を多次元のベンチマークで表現し,連想バイアスに基づいて画像を選択する。
  論文  参考訳（メタデータ） (2024-04-22T04:49:22Z)
• CritiqueLLM: Towards an Informative Critique Generation Model for Evaluation of Large Language Model Generation [87.44350003888646]
  Eval-Instructは、疑似参照でポイントワイズした批評を取得し、マルチパスプロンプトを通じてこれらの批評を修正できる。 CritiqueLLMは、ChatGPTとすべてのオープンソースベースラインを上回るように実証的に示されています。
  論文  参考訳（メタデータ） (2023-11-30T16:52:42Z)
• ROBBIE: Robust Bias Evaluation of Large Generative Language Models [27.864027322486375]
  異なるプロンプトベースのデータセットを使用して、複数のテキストドメインと人口統計軸にわたる社会的バイアスを測定することができる。 我々は,12の人口動態軸と5のジェネレーションLLMの家系の6つの異なるプロンプトベースのバイアスと毒性の指標を比較した。 3つのバイアス/毒性の緩和技術が、我々の一連の測定においていかにうまく機能するかを包括的に研究する。
  論文  参考訳（メタデータ） (2023-11-29T23:03:04Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• G-Eval: NLG Evaluation using GPT-4 with Better Human Alignment [64.01972723692587]
  本稿では,大規模言語モデルにチェーン・オブ・シント(CoT)を組み込んだフレームワークであるG-Evalと,NLG出力の品質評価のためのフォームフィリングパラダイムを提案する。 GPT-4 をバックボーンモデルとした G-Eval は,要約タスクにおいて,0.514 と人間とのスピアマン相関を達成し,従来手法の差を大きく上回ることを示す。
  論文  参考訳（メタデータ） (2023-03-29T12:46:54Z)
• Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
  要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。 細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。 ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
  論文  参考訳（メタデータ） (2022-12-15T17:26:05Z)
• UTNLP at SemEval-2021 Task 5: A Comparative Analysis of Toxic Span Detection using Attention-based, Named Entity Recognition, and Ensemble Models [6.562256987706127]
  本稿では,有害なスパン検出に関するSemEval-2021共有タスク5における,我々のチーム,UTNLP,方法論と結果について述べる。 実験はキーワードベースのモデルから始まり、アテンションベース、名前付きエンティティベース、トランスフォーマーベース、アンサンブルモデルが続く。 私たちの最良のアプローチ、アンサンブルモデルは、競争の評価段階で0.684のF1を達成します。
  論文  参考訳（メタデータ） (2021-04-10T13:56:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。