論文の概要: Incentivizing High-Quality Human Annotations with Golden Questions
- arxiv url: http://arxiv.org/abs/2505.19134v1
- Date: Sun, 25 May 2025 13:11:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:42.928403
- Title: Incentivizing High-Quality Human Annotations with Golden Questions
- Title（参考訳）: 黄金の質問による高品質な人アノテーションのインセンティブ
- Authors: Shang Liu, Zhongze Cai, Hanzhao Wang, Zhongyao Ma, Xiaocheng Li,
- Abstract要約: 我々は、高品質なデータを生成するために、人間のアノテータにインセンティブを与える方法を研究する。
インセンティブに適合する実験を行うことで、アノテータの振る舞いが黄金の質問によってより明らかになることがわかった。
- 参考スコア（独自算出の注目度）: 7.68488211412916
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Human-annotated data plays a vital role in training large language models (LLMs), such as supervised fine-tuning and human preference alignment. However, it is not guaranteed that paid human annotators produce high-quality data. In this paper, we study how to incentivize human annotators to do so. We start from a principal-agent model to model the dynamics between the company (the principal) and the annotator (the agent), where the principal can only monitor the annotation quality by examining $n$ samples. We investigate the maximum likelihood estimators (MLE) and the corresponding hypothesis testing to incentivize annotators: the agent is given a bonus if the MLE passes the test. By analyzing the variance of the outcome, we show that the strategic behavior of the agent makes the hypothesis testing very different from traditional ones: Unlike the exponential rate proved by the large deviation theory, the principal-agent model's hypothesis testing rate is of $\Theta(1/\sqrt{n \log n})$. Our theory implies two criteria for the \emph{golden questions} to monitor the performance of the annotators: they should be of (1) high certainty and (2) similar format to normal ones. In that light, we select a set of golden questions in human preference data. By doing incentive-compatible experiments, we find out that the annotators' behavior is better revealed by those golden questions, compared to traditional survey techniques such as instructed manipulation checks.
- Abstract（参考訳）: 人間の注釈付きデータは、教師付き微調整や人間の嗜好調整など、大きな言語モデル(LLM)のトレーニングにおいて重要な役割を果たす。
しかし、有償アノテータが高品質なデータを生成することは保証されていない。
本稿では,人間のアノテータにインセンティブを与える方法について検討する。
まず、企業(プリンシパル)とアノテータ(エージェント)の間のダイナミクスをモデル化するために、プリンシパルエージェントモデルから始めます。
本研究は,アノテータのインセンティブを高めるために,最大確率推定器(MLE)とそれに対応する仮説テスト(MLE)について検討する。
結果のばらつきを分析することによって、エージェントの戦略的挙動が従来のものとは大きく異なることを示せる: 大きな偏差理論によって証明された指数律率とは異なり、主エージェントモデルの仮説テストレートは$\Theta(1/\sqrt{n \log n})$である。
本理論は,アノテータの性能を監視するための「emph{golden question}」の基準を2つ提案する。
その光の中で、私たちは人間の嗜好データの中で、黄金の質問のセットを選択します。
インセンティブに適合する実験を行うことで,アノテータの行動がこれらの黄金の質問によって明らかにされることがわかった。
関連論文リスト
- How Humans Help LLMs: Assessing and Incentivizing Human Preference Annotators [8.244694683982784]
我々は,人間のアノテーションの性能を評価し,高品質なアノテーションを提供することにインセンティブを与えるという課題について検討する。
我々は,企業とアノテータの挙動と相互作用を特徴付けるプリンシパルエージェントモデルを開発した。
このモデルは、双方に利益をもたらすアノテータをインセンティブ化するボーナススキームの実践的なメカニズムを合理化する。
論文 参考訳（メタデータ） (2025-02-10T12:15:27Z) - Sharp Results for Hypothesis Testing with Risk-Sensitive Agents [32.38246810091696]
本研究では,統計学者(プリンシパルとしても知られる)がデータを生成する戦略エージェントと相互作用する仮説テストのゲーム理論バージョンについて検討する。
統計学者は、制御されたエラーを伴うテストプロトコルを設計し、データ生成エージェントは、ユーティリティと事前情報によってガイドされ、オプトインするかどうかを選択する。
論文 参考訳（メタデータ） (2024-12-21T02:51:56Z) - Minimax Hypothesis Testing for the Bradley-Terry-Luce Model [6.5990719141691825]
ブラッドリー・テリー・ルーシ(Bradley-Terry-Luce、BTL)モデルは、アイテムやエージェントのコレクションをランク付けする最も広く使われているモデルの一つである。
与えられたペア比較データセットとエージェントペアあたりの$k$の比較が、基礎となるBTLモデルに由来するかどうかを判定する仮説テストを提案する。
論文 参考訳（メタデータ） (2024-10-10T20:28:05Z) - Crowdsourcing with Difficulty: A Bayesian Rating Model for Heterogeneous Items [0.716879432974126]
応用統計学と機械学習では、訓練に使用される「金の標準」はしばしば偏りがあり、ほとんど常にうるさい。
DawidとSkeneの人気の高いクラウドソーシングモデルは、レーダ(コーダ、アノテータ)の感度と特異性を調整するが、トレーニングのために収集されたレーティングデータの分布特性を捉えない。
本稿では,難易度,差別性,推測可能性に項目レベルの効果を加えることで,コンセンサスカテゴリを推測できる汎用計測エラーモデルを提案する。
論文 参考訳（メタデータ） (2024-05-29T20:59:28Z) - Quantifying the Sensitivity of Inverse Reinforcement Learning to
Misspecification [72.08225446179783]
逆強化学習は、エージェントの行動からエージェントの好みを推測することを目的としている。
これを行うには、$pi$が$R$とどのように関係しているかの振る舞いモデルが必要です。
我々は、IRL問題が行動モデルの不特定性にどれほど敏感であるかを分析する。
論文 参考訳（メタデータ） (2024-03-11T16:09:39Z) - Provable Benefits of Policy Learning from Human Preferences in
Contextual Bandit Problems [82.92678837778358]
嗜好に基づく手法は、InstructGPTのような経験的応用でかなりの成功を収めている。
フィードバックモデリングにおける人間のバイアスと不確実性がこれらのアプローチの理論的保証にどのように影響するかを示す。
論文 参考訳（メタデータ） (2023-07-24T17:50:24Z) - Incentive-Theoretic Bayesian Inference for Collaborative Science [59.15962177829337]
未知のパラメータについて、プライベートな先行エージェントが存在する場合の仮説テストについて検討する。
エージェントの戦略行動によって明らかにされる情報を活用する統計的推論を行う方法を示す。
論文 参考訳（メタデータ） (2023-07-07T17:59:01Z) - Utilizing Self-supervised Representations for MOS Prediction [51.09985767946843]
既存の評価は通常、クリーンな参照または平行な地上真実データを必要とする。
一方、主観的テストは、追加のクリーンデータや並列データを必要としず、人間の知覚とよりよく相関する。
基礎的真理データを必要とせず,人間の知覚とよく相関する自動評価手法を開発した。
論文 参考訳（メタデータ） (2021-04-07T09:44:36Z) - L2R2: Leveraging Ranking for Abductive Reasoning [65.40375542988416]
学習システムの帰納的推論能力を評価するために,帰納的自然言語推論タスク(alpha$NLI)を提案する。
新たな$L2R2$アプローチは、Learning-to-rankフレームワークの下で提案されている。
ARTデータセットの実験は、公開リーダボードの最先端に到達します。
論文 参考訳（メタデータ） (2020-05-22T15:01:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。