論文の概要: Anytime-Valid Empirical Likelihood Inference from LLM Annotations with Adaptive Human Auditing
- arxiv url: http://arxiv.org/abs/2611.15197v1
- Date: Wed, 11 Nov 2026 08:45:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.08554
- Title: Anytime-Valid Empirical Likelihood Inference from LLM Annotations with Adaptive Human Auditing
- Title(参考訳): 適応的人間の聴取によるLDMアノテーションからの任意のValid経験的嗜好推論
- Abstract要約: AAELIは、限定的な監査予算の下で人間のラベルの人口平均を推定するためのオンラインフレームワークである。
本研究では,学習された監査規則が,拡張的推定方程式設計のクラス内でのオラクルの分散を実現することを示す。
合成データと3つの実世界のデータセットの実験は、AELIがいつでも経験的なカバレッジを維持していることを示している。
- 参考スコア(独自算出の注目度): 26.92562762046484
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly used to annotate unlabeled data as a fast, low-cost alternative to human annotation. However, their outputs can be biased and miscalibrated relative to human labels, potentially leading to misleading analysis and inference. We propose AAELI (Adaptive Human Auditing and Anytime-Valid Empirical Likelihood Inference), an online framework for estimating the population mean of human labels under a limited auditing budget. AAELI uses LLM outputs to guide adaptive human auditing and combines them with audited labels through predictable empirical-likelihood $e$-processes to construct anytime-valid confidence sequences. Our main theoretical result shows that a predictably learned efficient projection preserves the first-order profile empirical-likelihood statistic under adaptive auditing, without requiring a prescribed convergence rate for the projection estimator. This yields an exactly anytime-valid betting construction whose continuous-mixture form incurs a scalar rather than vector-dimensional mixing penalty. Supporting results establish adaptive empirical-likelihood asymptotics and show that a learned audit rule attains the oracle variance within the stated class of augmented estimating-equation designs under the same audit-probability floor and long-run expected budget. Experiments on synthetic data and three real-world datasets demonstrate that AAELI maintains empirical anytime coverage while requiring fewer human audits than the strongest competing baseline to reach a target precision.
- Abstract(参考訳): 大規模言語モデル (LLM) は、人間のアノテーションに代わる高速で低コストな代替手段として、ラベルなしのデータを注釈付けするためにますます使われている。
しかし、そのアウトプットは人間のラベルに対して偏りがあり、誤解を招く可能性があるため、誤解を招く分析や推論につながる可能性がある。
AAELI(Adaptive Human Auditing and Anytime-Valid Empirical Likelihood Inference)は,限定的な監査予算の下で,ラベルの人口平均を推定するためのオンラインフレームワークである。
AAELIはLLM出力を使用して適応的な人間の監査を誘導し、予測可能な実験的な$e$プロセスを通して監査されたラベルと組み合わせ、任意の有意な信頼シーケンスを構築する。
本研究の主理論は, 予測可能な効率予測は, 投射推定器の所定の収束率を必要とせず, 適応監査下での1次プロファイル実験的傾向を保っていることを示す。
このことは、連続混合形式がベクトル次元の混合ペナルティよりもスカラーを生じさせるような、正確な時価ベッティング構成をもたらす。
その結果, 適応的な経験的漸近的漸近性を確立し, 学習された監査規則が, 同じ監査確率フロアと長期予測予算の下で, 拡張方程式のクラス内でのオラクルの分散を達成できることが示唆された。
合成データと3つの実世界のデータセットの実験は、AELIが常に経験的なカバレッジを維持しつつ、目標の精度に達するためには最強の競合するベースラインよりも人間の監査を少なくすることを示した。
関連論文リスト
- Prediction-Powered LLM Ranking with Adaptively Collected Human Feedback [8.608570097904266]
予測パワーランキング(PP-Rank)は、予測と人間のフィードバックを組み合わせて精度を向上させるフレームワークである。
PP-Rankは精度を犠牲にすることなく評価コストを大幅に削減できることを示す。
論文 参考訳(メタデータ) (2026-11-09T20:06:11Z) - From Self-Confidence to Statistical Accuracy: Scaling Human-in-the-Loop Evaluation with Direct and LLM-Assisted Auditing [37.912572612948765]
本稿では,代替サンプリング手法に基づく評価経路の統一的統計的枠組みを開発する。
これは、不均一な信頼層が監査効率とラベル割り当てにどのように影響するかを示す。
MMLU-ProとMMMU-Proの実験は、誤解された自己自信は依然として統計的に有効な成層監査を支持できることを示している。
論文 参考訳(メタデータ) (2026-10-26T16:25:11Z) - Generative Augmented Inference [8.696405690082058]
本稿では、AI生成した出力を人間のラベル付き結果のモデル推定のための情報機能として組み込んだ生成拡張推論(GAI)を提案する。
すべてのメソッドが同じ補助的な入力にアクセスする小売価格では、GAIはオルタナティブな推定器を一貫して上回っている。
健康保険の選択においては、決定精度を維持しながら、ラベル付け要件を90%以上削減する。
論文 参考訳(メタデータ) (2026-04-16T03:10:37Z) - Best Arm Identification with LLM Judges and Limited Human [18.85883540190321]
固定信頼ベストアーム識別(BAI)について検討する。
本研究では,各アームの平均値と逆正当性重み付け残差を結合した平均値の推定器を開発する。
推定器と信頼性シーケンスに基づいて,アームを適応的に選択し,監査するアルゴリズムを提案する。
論文 参考訳(メタデータ) (2026-01-29T09:50:34Z) - ZIP-RC: Optimizing Test-Time Compute via Zero-Overhead Joint Reward-Cost Prediction [57.799425838564]
ZIP-RCは、モデルに報酬とコストのゼロオーバーヘッド推論時間予測を持たせる適応推論手法である。
ZIP-RCは、同じまたはより低い平均コストで過半数投票よりも最大12%精度が向上する。
論文 参考訳(メタデータ) (2025-12-01T09:44:31Z) - Identifying and Mitigating Social Bias Knowledge in Language Models [52.52955281662332]
個々人の社会的偏見をきめ細かなキャリブレーションを可能にする新しいデバイアス・アプローチであるFairness Stamp(FAST)を提案する。
FASTは最先端のベースラインを超え、デバイアス性能が優れている。
これは、大きな言語モデルにおける公平性を達成するためのきめ細かいデバイアス戦略の可能性を強調している。
論文 参考訳(メタデータ) (2024-08-07T17:14:58Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳(メタデータ) (2023-04-07T23:51:07Z) - Improving Adaptive Conformal Prediction Using Self-Supervised Learning [72.2614468437919]
我々は、既存の予測モデルの上に自己教師付きプレテキストタスクを持つ補助モデルを訓練し、自己教師付きエラーを付加的な特徴として用いて、非整合性スコアを推定する。
合成データと実データの両方を用いて、効率(幅)、欠陥、共形予測間隔の超過といった付加情報の利点を実証的に実証する。
論文 参考訳(メタデータ) (2023-02-23T18:57:14Z) - Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。
本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。
本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
論文 参考訳(メタデータ) (2022-01-11T23:01:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。