論文の概要: Can Large Language Models Capture Human Annotator Disagreements?

• arxiv url: http://arxiv.org/abs/2506.19467v1
• Date: Tue, 24 Jun 2025 09:49:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-25 19:48:23.578322
• Title: Can Large Language Models Capture Human Annotator Disagreements?
• Title（参考訳）: 大型言語モデルは人間のアノテーションの分解を捉えることができるか?
• Authors: Jingwei Ni, Yu Fan, Vilém Zouhar, Donya Rooein, Alexander Hoyle, Mrinmaya Sachan, Markus Leippold, Dirk Hovy, Elliott Ash,
• Abstract要約: 大きな言語モデル(LLM)は、人間の労力を減らすために、自動アノテーションにますます使われています。 しかし、これらのモデルが有意な人間のアノテーションの変化も捉えているかどうかはまだ不明である。 我々の研究は、人間のラベルを繰り返すことなく注釈の不一致を予測するLLMの能力を広範囲に評価することで、このギャップに対処する。
• 参考スコア（独自算出の注目度）: 84.32752330104775
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human annotation variation (i.e., annotation disagreements) is common in NLP and often reflects important information such as task subjectivity and sample ambiguity. While Large Language Models (LLMs) are increasingly used for automatic annotation to reduce human effort, their evaluation often focuses on predicting the majority-voted "ground truth" labels. It is still unclear, however, whether these models also capture informative human annotation variation. Our work addresses this gap by extensively evaluating LLMs' ability to predict annotation disagreements without access to repeated human labels. Our results show that LLMs struggle with modeling disagreements, which can be overlooked by majority label-based evaluations. Notably, while RLVR-style (Reinforcement learning with verifiable rewards) reasoning generally boosts LLM performance, it degrades performance in disagreement prediction. Our findings highlight the critical need for evaluating and improving LLM annotators in disagreement modeling. Code and data at https://github.com/EdisonNi-hku/Disagreement_Prediction.
• Abstract（参考訳）: ヒトのアノテーションのバリエーション(つまりアノテーションの不一致)は、NLPでは一般的であり、タスクの主観性やサンプルのあいまいさといった重要な情報を反映することが多い。 大規模言語モデル(LLM)は、人間の努力を減らすために自動アノテーションとして使われることが多いが、その評価は、多数投票された「地下真実」ラベルの予測に重点を置いていることが多い。 しかし、これらのモデルが有意な人間のアノテーションの変化も捉えているかどうかはまだ不明である。 我々の研究は、人間のラベルを繰り返すことなく注釈の不一致を予測するLLMの能力を広範囲に評価することで、このギャップに対処する。 以上の結果から,LLM はモデリングの不一致に苦しむことが明らかとなり,ほとんどのラベルに基づく評価では見落とされがちである。 特に、RLVR-style (Reinforcement learning with verible rewards) 推論は一般的にLLM性能を高めるが、不一致予測では性能が低下する。 この結果から,不一致モデルにおけるLCMアノテータの評価と改善の重要課題が浮き彫りとなった。 https://github.com/EdisonNi-hku/Disagreement_Prediction.comのコードとデータ。

関連論文リスト

• Bridging the Gap: In-Context Learning for Modeling Human Disagreement [8.011316959982654]
  大規模言語モデル(LLM)はNLP分類タスクにおいて高い性能を示している。 本研究では,LLMが複数の視点を捉えることができ,ヘイトスピーチや攻撃的言語検出などの主観的タスクにおいてアノテータの不一致を反映できるかどうかを検討する。
  論文  参考訳（メタデータ） (2025-06-06T14:24:29Z)
• Fostering Appropriate Reliance on Large Language Models: The Role of Explanations, Sources, and Inconsistencies [66.30619782227173]
  大規模言語モデル(LLMs)は、流動的で説得力のある誤った応答を生成することができる。 ユーザの信頼を形作るLCM応答のいくつかの特徴を同定する。 説明は正しい応答と誤応答の両方に依存することが判明した。 情報源が提供された場合や説明が矛盾している場合の誤った応答への依存度は低い。
  論文  参考訳（メタデータ） (2025-02-12T16:35:41Z)
• Beyond Reward Hacking: Causal Rewards for Large Language Model Alignment [30.605500809158986]
  本稿では,因果関係を緩和するために因果関係を統合した因果報酬モデリング手法を提案する。 提案手法は様々な種類のスプリアス相関を効果的に緩和し,LLMと人間の嗜好との整合性を高めた。
  論文  参考訳（メタデータ） (2025-01-16T16:00:37Z)
• RUPBench: Benchmarking Reasoning Under Perturbations for Robustness Evaluation in Large Language Models [12.112914393948415]
  RUPBenchは,多種多様な推論タスクにわたる大規模言語モデル(LLM)を評価するために設計されたベンチマークである。 我々のベンチマークには15の推論データセットが組み込まれており、コモンセンス、算術、論理、知識集約推論に分類されている。 GPT-4o, Llama3, Phi-3, Gemmaといった最先端のLCMの原文および摂動データセットの性能を調べることにより, その堅牢性およびエラーパターンを詳細に解析する。
  論文  参考訳（メタデータ） (2024-06-16T17:26:44Z)
• Large Language Models are Biased Reinforcement Learners [0.0]
  大規模言語モデル (LLM) は相対値バイアスの行動的シグネチャを示す。 計算的認知モデリングにより、LLMの挙動は単純なRLアルゴリズムによってよく記述されていることが明らかになった。
  論文  参考訳（メタデータ） (2024-05-19T01:43:52Z)
• Evaluating Interventional Reasoning Capabilities of Large Language Models [58.52919374786108]
  大規模言語モデル(LLM)は意思決定タスクを自動化するために使用される。 本稿では,LPMが介入に応じてデータ生成プロセスの知識を正確に更新できるかどうかを評価する。 さまざまな因果グラフ(例えば、コンバウンディング、仲介)と変数タイプにまたがるベンチマークを作成します。 これらのベンチマークにより、LLMが事実を記憶したり、他のショートカットを見つけたりすることで、変化を正確に予測する能力を切り離すことができます。
  論文  参考訳（メタデータ） (2024-04-08T14:15:56Z)
• NPHardEval4V: A Dynamic Reasoning Benchmark of Multimodal Large Language Models [34.91372939329467]
  MLLMの純粋推論能力を評価するためのベンチマークであるNPHardEval4Vを導入する。 異なるモデルにまたがる推論能力に有意な差が認められた。 また,視覚,テキスト,視覚とテキストの組み合わせがMLLMの推論能力に与える影響についても検討した。
  論文  参考訳（メタデータ） (2024-03-04T07:10:31Z)
• CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
  本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。 このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。 LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
  論文  参考訳（メタデータ） (2023-11-29T08:29:54Z)
• Do LLMs exhibit human-like response biases? A case study in survey design [66.1850490474361]
  大規模言語モデル(LLM)が人間の反応バイアスをどの程度反映しているかについて検討する。 アンケート調査では, LLMが人間のような応答バイアスを示すかどうかを評価するためのデータセットとフレームワークを設計した。 9つのモデルに対する総合的な評価は、一般のオープンかつ商用のLCMは、一般的に人間のような振る舞いを反映しないことを示している。
  論文  参考訳（メタデータ） (2023-11-07T15:40:43Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Evaluating the Deductive Competence of Large Language Models [0.2218292673050528]
  本稿では,いくつかの大規模言語モデル (LLM) が,古典的な帰納的推論問題を解くことができるかどうかを考察する。 性能は条件によって異なるが、全体的な性能は改善されない。 人的パフォーマンスとは違って,プレゼンテーション形式やコンテンツとのインタラクションが予期せぬ形で行われていることが判明した。
  論文  参考訳（メタデータ） (2023-09-11T13:47:07Z)
• Using Natural Language Explanations to Rescale Human Judgments [81.66697572357477]
  大規模言語モデル(LLM)を用いて順序付けアノテーションと説明を再スケールする手法を提案する。 我々は、アノテータのLikert評価とそれに対応する説明をLLMに入力し、スコア付けルーリックに固定された数値スコアを生成する。 提案手法は,合意に影響を及ぼさずに生の判断を再スケールし,そのスコアを同一のスコア付けルーリックに接する人間の判断に近づける。
  論文  参考訳（メタデータ） (2023-05-24T06:19:14Z)
• Benchmarking Large Language Models for News Summarization [79.37850439866938]
  大規模言語モデル(LLM)は自動要約を約束しているが、その成功の背景にある理由はよく分かっていない。 LLMのゼロショット要約能力の鍵は、モデルサイズではなく、命令チューニングにある。
  論文  参考訳（メタデータ） (2023-01-31T18:46:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。