論文の概要: Diverging Preferences: When do Annotators Disagree and do Models Know?

• arxiv url: http://arxiv.org/abs/2410.14632v2
• Date: Wed, 06 Nov 2024 16:54:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-07 19:20:55.991629
• Title: Diverging Preferences: When do Annotators Disagree and do Models Know?
• Title（参考訳）: 多様性の前提: アノテーションはいつ診断し、モデルは知っているか?
• Authors: Michael JQ Zhang, Zhilin Wang, Jena D. Hwang, Yi Dong, Olivier Delalleau, Yejin Choi, Eunsol Choi, Xiang Ren, Valentina Pyatkin,
• Abstract要約: 我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。 意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。 本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
• 参考スコア（独自算出の注目度）: 92.24651142187989
• License:
• Abstract: We examine diverging preferences in human-labeled preference datasets. We develop a taxonomy of disagreement sources spanning 10 categories across four high-level classes -- task underspecification, response style, refusals, and annotation errors. We find that the majority of disagreements are in opposition with standard reward modeling approaches, which are designed with the assumption that annotator disagreement is noise. We then explore how these findings impact two areas of LLM development: reward modeling and evaluation. In our experiments, we demonstrate how standard reward modeling methods, like the Bradley-Terry model, fail to differentiate whether a given preference judgment is the result of unanimous agreement among annotators or the majority opinion among diverging user preferences. We also find that these tendencies are also echoed by popular LLM-as-Judge evaluation methods, which consistently identify a winning response in cases of diverging preferences. These findings highlight remaining challenges in LLM evaluations, which are greatly influenced by divisive features like response style, and in developing pluralistically aligned LLMs. To address these issues, we develop methods for identifying diverging preferences to mitigate their influence on evaluation and training.
• Abstract（参考訳）: 本研究では,人間ラベル付き嗜好データセットにおける嗜好の変動について検討する。 我々は,タスク不特定性,応答スタイル,拒絶,アノテーションエラーという,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類を開発する。 その結果,アノテータの不一致がノイズであるという前提で設計された標準報酬モデル手法に異論が多数存在することが判明した。 次に、これらの発見がLLM開発における2つの領域、すなわち報酬モデリングと評価に与える影響について検討する。 実験では、Bradley-Terryモデルのような標準報酬モデリング手法が、アノテータ間の一致した一致の結果であるかどうか、あるいはユーザ嗜好の変化による多数意見の相違を如何に示すかを示す。 また、これらの傾向は、好ましくない場合の入賞反応を一貫して識別する、人気のあるLCM-as-Judge評価手法にも反映されていることも判明した。 これらの結果から, LLM評価の課題が浮き彫りとなり, 応答スタイルなどの多様な特徴に大きく影響され, 複数方向のLCMを開発できる可能性が示唆された。 これらの課題に対処するため,評価とトレーニングへの影響を軽減するために,変種選好を識別する手法を開発した。

関連論文リスト

• Enhancing LLM Evaluations: The Garbling Trick [0.0]
  大規模言語モデル(LLM)はますます強力になり、パフォーマンスに基づいたモデルの区別が困難になる。 本稿では,既存のLCM評価を,段階的に困難なタスクに変換する一般的な手法を提案する。 結果から,これらのモデルの比較推論能力,特に OpenAI の o1-preview と Google の gemini-pro-1.5 の区別が明らかになった。
  論文  参考訳（メタデータ） (2024-11-03T11:39:50Z)
• ComPO: Community Preferences for Language Model Personalization [122.54846260663922]
  ComPOは、言語モデルにおける好みの最適化をパーソナライズする手法である。 ComPRedはRedditからコミュニティレベルの好みを持った質問応答データセットです。
  論文  参考訳（メタデータ） (2024-10-21T14:02:40Z)
• AI Can Be Cognitively Biased: An Exploratory Study on Threshold Priming in LLM-Based Batch Relevance Assessment [37.985947029716016]
  大規模言語モデル(LLM)は高度な理解能力を示しているが、トレーニングデータから人間のバイアスを継承する可能性がある。 関連判定におけるしきい値プライミング効果の影響について検討した。
  論文  参考訳（メタデータ） (2024-09-24T12:23:15Z)
• The Mismeasure of Man and Models: Evaluating Allocational Harms in Large Language Models [22.75594773147521]
  大規模言語モデル(LLM)におけるバイアスから生じる潜在的アロケーション障害を評価するモデル非依存バイアス指標であるランクアロケーションベースバイアス指標(RABBI)を導入する。 その結果, 平均性能差と分布距離に基づく偏差測定では, 割り当て結果の集団差を確実に把握できないことがわかった。 私たちの研究は、限られたリソース制約のあるコンテキストでモデルがどのように使用されるかを説明する必要性を強調しています。
  論文  参考訳（メタデータ） (2024-08-02T14:13:06Z)
• Preference Fine-Tuning of LLMs Should Leverage Suboptimal, On-Policy Data [102.16105233826917]
  好みラベルからの学習は、微調整された大きな言語モデルにおいて重要な役割を果たす。 好みの微調整には、教師付き学習、オンライン強化学習(RL)、コントラスト学習など、いくつかの異なるアプローチがある。
  論文  参考訳（メタデータ） (2024-04-22T17:20:18Z)
• Exploring Value Biases: How LLMs Deviate Towards the Ideal [57.99044181599786]
  LLM(Large-Language-Models)は幅広いアプリケーションにデプロイされ、その応答は社会的影響を増大させる。 価値バイアスは、人間の研究結果と同様、異なるカテゴリにわたるLSMにおいて強いことが示される。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• GPTBIAS: A Comprehensive Framework for Evaluating Bias in Large Language Models [83.30078426829627]
  大規模言語モデル(LLM)は人気を集め、大規模なユーザコミュニティで広く採用されている。 既存の評価手法には多くの制約があり、それらの結果は限定的な解釈可能性を示している。 本稿では,LPMの高性能性を活用し,モデル内のバイアスを評価するGPTBIASというバイアス評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-12-11T12:02:14Z)
• PRD: Peer Rank and Discussion Improve Large Language Model based Evaluations [10.709365940160685]
  現代の大規模言語モデル(LLM)は、自動評価と比較が難しい。 本稿では,全ての解答対に対するLLMのペアワイズ選好を考慮に入れたピアランク(PR)アルゴリズムを提案する。 我々のアプローチは高い精度を実現し、人間の判断とよく一致していることがわかりました。
  論文  参考訳（メタデータ） (2023-07-06T04:05:44Z)
• In Search of Insights, Not Magic Bullets: Towards Demystification of the Model Selection Dilemma in Heterogeneous Treatment Effect Estimation [92.51773744318119]
  本稿では,異なるモデル選択基準の長所と短所を実験的に検討する。 選択戦略,候補推定器,比較に用いるデータの間には,複雑な相互作用があることを強調した。
  論文  参考訳（メタデータ） (2023-02-06T16:55:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。