論文の概要: HyPAC: Cost-Efficient LLMs-Human Hybrid Annotation with PAC Error Guarantees

• arxiv url: http://arxiv.org/abs/2602.02550v1
• Date: Fri, 30 Jan 2026 09:24:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-04 18:37:14.924747
• Title: HyPAC: Cost-Efficient LLMs-Human Hybrid Annotation with PAC Error Guarantees
• Title（参考訳）: HyPAC: コスト効率の良いLPM-HumanハイブリッドアノテーションとPACエラー保証
• Authors: Hao Zeng, Huipeng Huang, Xinhao Qu, Jianguo Huang, Bingyi Jing, Hongxin Wei,
• Abstract要約: 我々は,最もコスト効率のよいアノテーションソースに入力を適応的にラベル付けする textbfHyPAC を提案する。 我々は,HyPACがアノテーションエラーに対してほぼ正しい(PAC)保証で最小予測コストを達成することを証明した。
• 参考スコア（独自算出の注目度）: 21.562519351993988
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data annotation often involves multiple sources with different cost-quality trade-offs, such as fast large language models (LLMs), slow reasoning models, and human experts. In this work, we study the problem of routing inputs to the most cost-efficient annotation source while controlling the labeling error on test instances. We propose \textbf{HyPAC}, a method that adaptively labels inputs to the most cost-efficient annotation source while providing distribution-free guarantees on annotation error. HyPAC calibrates two decision thresholds using importance sampling and upper confidence bounds, partitioning inputs into three regions based on uncertainty and routing each to the appropriate annotation source. We prove that HyPAC achieves the minimum expected cost with a probably approximately correct (PAC) guarantee on the annotation error, free of data distribution and pre-trained models. Experiments on common benchmarks demonstrate the effectiveness of our method, reducing the annotation cost by 78.51\% while tightly controlling the annotation error.
• Abstract（参考訳）: データアノテーションには、高速大言語モデル(LLM)、遅い推論モデル、人間専門家など、さまざまなコスト品質のトレードオフを持つ複数のソースが含まれることが多い。 本研究では,テストインスタンス上でのラベル付けエラーを制御しながら,入力を最もコスト効率のよいアノテーションソースにルーティングする問題について検討する。 本稿では,最もコスト効率のよいアノテーションソースに入力をアダプティブにラベル付けする手法である‘textbf{HyPAC} を提案する。 HyPACは、重要サンプリングと上位信頼境界を用いて2つの決定しきい値を校正し、不確実性に基づいて入力を3つの領域に分割し、それぞれ適切なアノテーションソースにルーティングする。 我々は,HyPACがアノテーションエラーに対してほぼ正しい(PAC)保証,データ分散の不要,事前学習されたモデルで最小の予測コストを達成することを証明した。 提案手法の有効性を実証し,アノテーションエラーを厳格に制御しながらアノテーションコストを78.51 %削減した。

関連論文リスト

• Selective Labeling with False Discovery Rate Control [18.821115689561253]
  我々は、AI予測を確実に信頼できるインスタンスを識別する新しい方法であるtextbfConformal Labelingを紹介する。 これは、選択されたサブセット内の誤ったラベルの割合である偽発見率(FDR)を制御することで達成される。 特に,AIモデルの予測信頼度と,AIモデルの誤ラベルによる校正インスタンスの信頼度を比較することで,各テストインスタンスに対してコンフォーマルな$p$-valueを構築する。
  論文  参考訳（メタデータ） (2025-10-16T11:39:00Z)
• To Err Is Human; To Annotate, SILICON? Reducing Measurement Error in LLM Annotation [11.470318058523466]
  大規模言語モデル(LLM)は、人間のアノテーションに代わる費用対効果の高いスケーラブルな代替を約束する。 LLMアノテーションから測定誤差を体系的に低減するSILICON手法を開発した。 この証拠は,各エラー源の削減が必要であり,SILICONは管理研究において厳密なアノテーションをサポートしていることを示唆している。
  論文  参考訳（メタデータ） (2024-12-19T02:21:41Z)
• MQM-APE: Toward High-Quality Error Annotation Predictors with Automatic Post-Editing in LLM Translation Evaluators [53.91199933655421]
  大規模言語モデル(LLM)は、機械翻訳(MT)の品質評価の裁判官として大きな可能性を秘めている。 非インパクト的なエラーをフィルタリングするアイデアに基づいて、ユニバーサルでトレーニング不要なフレームワークである$textbfMQM-APEを紹介します。 実験の結果,GEMBA-MQMに対する誤差の信頼性と品質の両方が一貫して改善されていることがわかった。
  論文  参考訳（メタデータ） (2024-09-22T06:43:40Z)
• Generalization Error Bounds for Learning under Censored Feedback [15.367801388932145]
  学習理論からの一般化誤差は、以前に見つからなかったデータに対してアルゴリズムがどれだけうまく機能するかを統計的に保証する。 このような境界に対する検閲されたフィードバックによるデータ非IIDnessの影響を特徴付ける。 既存の一般化誤差境界がモデルの一般化保証を正しく捕捉できないことを示す。
  論文  参考訳（メタデータ） (2024-04-14T13:17:32Z)
• A Channel-ensemble Approach: Unbiased and Low-variance Pseudo-labels is Critical for Semi-supervised Classification [61.473485511491795]
  半教師付き学習(SSL)はコンピュータビジョンにおける実践的な課題である。 Pseudo-label (PL) メソッド、例えば FixMatch や FreeMatch は SSL で State of The Art (SOTA) のパフォーマンスを取得する。 本稿では,複数の下位PLを理論的に保証された非偏りと低分散のPLに集約する,軽量なチャネルベースアンサンブル法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T09:49:37Z)
• Towards Optimal Statistical Watermarking [95.46650092476372]
  仮説テスト問題として定式化して統計的透かしを研究する。 我々の定式化の鍵は、出力トークンと拒絶領域の結合である。 一般仮説テスト設定において,UMP(Uniformly Most Powerful)の透かしを特徴付ける。
  論文  参考訳（メタデータ） (2023-12-13T06:57:00Z)
• Mitigating Algorithmic Bias with Limited Annotations [65.060639928772]
  機密属性が公開されていない場合、バイアスを軽減するために、トレーニングデータの小さな部分を手動でアノテートする必要がある。 本稿では,アルゴリズムバイアスの影響を最大限に排除するために,限定アノテーションを誘導する対話型フレームワークであるアクティブペナライゼーション・オブ・差別(APOD)を提案する。 APODは完全なアノテートバイアス緩和と同等のパフォーマンスを示しており、機密情報が制限された場合、APODが現実世界のアプリケーションに利益をもたらすことを実証している。
  論文  参考訳（メタデータ） (2022-07-20T16:31:19Z)
• Delving into Probabilistic Uncertainty for Unsupervised Domain Adaptive Person Re-Identification [54.174146346387204]
  ドメイン適応型人物再識別のための確率的不確実性誘導プログレッシブラベル精錬(P$2$LR)という手法を提案する。 擬似ラベルの不確実性を測定し、ネットワークトレーニングを容易にする定量的基準を確立する。 本手法はDuke2Marketタスクではベースラインが6.5%,Market2MSMTタスクでは2.5%,最先端手法では2.5%を上回った。
  論文  参考訳（メタデータ） (2021-12-28T07:40:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。