論文の概要: Labels or Preferences? Budget-Constrained Learning with Human Judgments over AI-Generated Outputs

• arxiv url: http://arxiv.org/abs/2601.13458v1
• Date: Mon, 19 Jan 2026 23:23:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.09425
• Title: Labels or Preferences? Budget-Constrained Learning with Human Judgments over AI-Generated Outputs
• Title（参考訳）: ラベルか選好か?AIによるアウトプットに対する人的判断による予算制約学習
• Authors: Zihan Dong, Ruijia Wu, Linjun Zhang,
• Abstract要約: 我々は,AIにおいて,基幹ラベルとペアの選好の間で,固定されたアノテーション予算を最適に割り当てる方法について述べる。 本稿では,データ取得戦略を最適に学習する新しいロバストネス手法であるPreference-Calibrated Active Learning (PCAL)を紹介する。 この研究は、現代のAIにおける予算制約学習に対する原則的かつ統計的に効率的なアプローチを提供する。
• 参考スコア（独自算出の注目度）: 17.028710603629026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The increasing reliance on human preference feedback to judge AI-generated pseudo labels has created a pressing need for principled, budget-conscious data acquisition strategies. We address the crucial question of how to optimally allocate a fixed annotation budget between ground-truth labels and pairwise preferences in AI. Our solution, grounded in semi-parametric inference, casts the budget allocation problem as a monotone missing data framework. Building on this formulation, we introduce Preference-Calibrated Active Learning (PCAL), a novel method that learns the optimal data acquisition strategy and develops a statistically efficient estimator for functionals of the data distribution. Theoretically, we prove the asymptotic optimality of our PCAL estimator and establish a key robustness guarantee that ensures robust performance even with poorly estimated nuisance models. Our flexible framework applies to a general class of problems, by directly optimizing the estimator's variance instead of requiring a closed-form solution. This work provides a principled and statistically efficient approach for budget-constrained learning in modern AI. Simulations and real-data analysis demonstrate the practical benefits and superior performance of our proposed method.
• Abstract（参考訳）: AIが生成した擬似ラベルを判断するための人間の嗜好フィードバックへの依存度が高まるにつれ、原則化された予算重視のデータ取得戦略の必要性が高まっている。 我々は、AIにおいて、地道ラベルとペアの選好の間で、固定されたアノテーション予算を最適に割り当てる方法について、決定的な問題に対処する。 提案手法は,半パラメトリック推論を基礎として,単調なデータフレームワークとして予算配分問題を提起する。 この定式化に基づいて,PCAL(Preference-Calibrated Active Learning)を導入した。これは最適なデータ取得戦略を学習し,データ分布の関数に対する統計的に効率的な推定器を開発する新しい手法である。 理論的には,PCAL推定器の漸近的最適性を証明し,貧弱な評価ニュアンスモデルであってもロバスト性を保証する重要なロバスト性保証を確立する。 我々のフレキシブルなフレームワークは、閉形式解を必要とせず、推定子の分散を直接最適化することで、問題の一般的なクラスに適用できる。 この研究は、現代のAIにおける予算制約学習に対する原則的かつ統計的に効率的なアプローチを提供する。 シミュレーションと実データ解析は,提案手法の実用的メリットと優れた性能を示す。

関連論文リスト

• Closing the Generalization Gap in Parameter-efficient Federated Edge Learning [43.00634399799955]
  フェデレーションエッジラーニング(FEEL)は人工知能(AI)のための有望な基盤を提供する 限定的で異種なローカルデータセット、およびリソース制限されたデプロイメントは、モデル一般化とリソース利用の両方を著しく低下させる。 本稿では,モデル最小化と一般化選択を併用して,このような課題に対処するフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-11-28T15:34:09Z)
• Distributionally Robust Optimization with Adversarial Data Contamination [49.89480853499918]
  凸リプシッツ損失関数を持つ一般化線形モデルに対するワッサーシュタイン-1 DRO 目標の最適化に焦点をあてる。 私たちの主な貢献は、データ汚染のトレーニングに対するロバストネスと分散シフトに対するロバストネスを統合した、新しいモデリングフレームワークです。 この研究は、データ汚染と分散シフトという2つの課題の下で学習するために、効率的な計算によって支援される最初の厳密な保証を確立する。
  論文  参考訳（メタデータ） (2025-07-14T18:34:10Z)
• Cost-Optimal Active AI Model Evaluation [71.2069549142394]
  生成AIシステムの開発には、継続的な評価、データ取得、アノテーションが必要である。 我々は、安価だがしばしば不正確で弱いレーダの使用を積極的にバランスさせる新しいコスト認識手法を開発した。 我々は、弱者と強者の間で所定のアノテーション予算を割り当てるためのコスト最適化政策のファミリーを導出する。
  論文  参考訳（メタデータ） (2025-06-09T17:14:41Z)
• LEASE: Offline Preference-based Reinforcement Learning with High Sample Efficiency [9.32396532269159]
  本稿では、ラベルなしの嗜好データを生成するために、高サンプル効率(LEASE)アルゴリズムを用いたoffLine prEference-bAsed RLを提案する。 事前学習した報奨モデルがラベルのないデータに対して誤ったラベルを生成する可能性があることを考慮し、報奨モデルの性能を確保するための不確実性を考慮したメカニズムを設計する。
  論文  参考訳（メタデータ） (2024-12-30T15:10:57Z)
• Stratified Prediction-Powered Inference for Hybrid Language Model Evaluation [62.2436697657307]
  予測駆動推論(英: Prediction-powered Inference, PPI)は、人間ラベル付き限られたデータに基づいて統計的推定を改善する手法である。 我々はStratPPI(Stratified Prediction-Powered Inference)という手法を提案する。 単純なデータ階層化戦略を用いることで,基礎的なPPI推定精度を大幅に向上できることを示す。
  論文  参考訳（メタデータ） (2024-06-06T17:37:39Z)
• Stochastic Methods for AUC Optimization subject to AUC-based Fairness Constraints [51.12047280149546]
  公正な予測モデルを得るための直接的なアプローチは、公正な制約の下で予測性能を最適化することでモデルを訓練することである。 フェアネスを考慮した機械学習モデルのトレーニング問題を,AUCに基づくフェアネス制約のクラスを対象とする最適化問題として定式化する。 フェアネス測定値の異なる実世界のデータに対するアプローチの有効性を実証する。
  論文  参考訳（メタデータ） (2022-12-23T22:29:08Z)
• Causal Feature Selection for Algorithmic Fairness [61.767399505764736]
  データ管理の統合コンポーネントにおける公平性について検討する。 本稿では,データセットの公平性を保証する特徴のサブコレクションを同定する手法を提案する。
  論文  参考訳（メタデータ） (2020-06-10T20:20:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。