論文の概要: JABER: Sequential Quality Control for Human-AI Data Annotation under Shared Bias

• arxiv url: http://arxiv.org/abs/2611.02892v1
• Date: Mon, 02 Nov 2026 10:25:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 14:36:46.384246
• Title: JABER: Sequential Quality Control for Human-AI Data Annotation under Shared Bias
• Title（参考訳）: JABER:共有バイアス下におけるヒューマンAIデータアノテーションの系列品質制御
• Abstract要約: 品質管理(QC)はラベルを受け入れる前に、人間やAIの判断を追加することが多い。 本稿では,ラベルの正しさと共有バイアスに対する結合ベイズ後部を維持するバイアス対応シーケンシャルQCフレームワークを提案する。 JABERは平均4.65%のQC損失を減少させることを示した。
• 参考スコア（独自算出の注目度）: 40.299258170050905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: High-quality annotations are essential for training and evaluating artificial intelligence (AI) systems. Quality control (QC) often acquires additional human or AI judgments before accepting a label. Nevertheless, shared biases can cause correlated judgments, leading conventional methods to mistake repeated agreement for independent evidence of correctness. To address this challenge, we propose JABER (Joint Alias-Preserving Belief for Evidence Routing), a bias-aware sequential QC framework that maintains a joint Bayesian posterior over label correctness and shared biases to guide evidence acquisition and termination decisions. Building on this posterior, we develop a finite-horizon algorithm that selects evidence-acquisition and termination actions to minimize expected QC loss under resource constraints. Our theoretical analysis shows that conditional-independence updating can become arbitrarily confident in an incorrect label under persistent shared bias. We further identify when repeated inspections cannot distinguish a correct label from an incorrect label supported by shared bias, when obtaining a new label can resolve this ambiguity, and why modeling the dependence between label correctness and shared bias can be necessary for QC decisions. Our experiments show that JABER reduces expected QC loss by an average of 4.65% compared with a method maintaining separate label correctness and bias probabilities when shared bias makes repeated inspections unreliable. Further, JABER's finite-horizon planning, which evaluates outcomes of successive QC actions, reduces expected QC loss by an average of 10.05% compared with a one-step lookahead method. In real-API experiments on FEVER, JABER achieves zero labeling errors while reducing QC costs by 2.67% and 16.99% compared with marginal-based belief modeling and one-step lookahead methods, respectively.
• Abstract（参考訳）: 高品質なアノテーションは、人工知能(AI)システムのトレーニングと評価に不可欠である。 品質管理(QC)はラベルを受け入れる前に、人間やAIの判断を追加することが多い。 それでも、共有バイアスは相関した判断を引き起こす可能性があり、従来の方法では、独立した正当性の証拠に対する合意を誤っている。 JABER(Joint Alias-Preserving Belief for Evidence Routing)は,ラベルの正しさと共有バイアスを共同で維持し,証拠取得と終了決定を導く,バイアス対応シーケンシャルQCフレームワークである。 本研究では, 資源制約下でのQC損失を最小限に抑えるため, 証拠獲得および終了動作を選択する有限水平アルゴリズムを開発した。 我々の理論的分析は、条件付き独立性更新が、永続的共有バイアスの下で不正確なラベルに任意に自信を持つことを示唆している。 さらに, 繰り返し検査では, 共有バイアスが支持する不正確なラベルと正しいラベルを区別できない場合, 新たなラベルを取得すると, あいまいさを解消できる場合, および, ラベルの正しさと共有バイアスとの依存性のモデル化がQC決定に必要となる理由についても検討する。 実験の結果,共有バイアスが繰り返し検査を行う場合のラベルの正確さとバイアス確率を別々に維持する手法と比較して,JABERは平均4.65%のQC損失を減少させることがわかった。 さらに、連続したQC動作の結果を評価するJABERの有限水平計画は、1ステップのルックアヘッド法と比較して平均10.05%のQC損失を減少させる。 FEVERにおける実API実験では、JABERはQCコストを2.67%と16.99%削減しながらゼロラベル誤差を達成している。

関連論文リスト

• Asymptotic Risk Calibration for Selective Question Answering [0.0]
  大規模言語モデル(LLM)は、流動性があるが誤った答えを生成する。 A-CRC-QAは不確実性を考慮した質問応答のためのポストホックキャリブレーションフレームワークである。 A-CRC-QAはモデルに依存しず、追加のトレーニングを必要とせず、異なる不確実性推定器と組み合わせることができる。
  論文  参考訳（メタデータ） (2026-08-12T12:45:45Z)
• Uncertainty-Aware Abstention in Large Language Models with Provable Alignment Guarantees [0.5371337604556311]
  大規模言語モデル (LLM) は質問応答システム (QA) に徐々にデプロイされている。 信頼度を見積もることなく、幻覚または不一致の応答を生成することができる。 我々は、任意の不確実性スコアをリスク制御された選択応答規則に変換する信頼区間に基づくキャリブレーションフレームワークであるCICを提案する。
  論文  参考訳（メタデータ） (2026-07-05T17:50:32Z)
• CALIBER: Calibrating Confidence Before and After Reasoning in Language Models [16.376895132982938]
  本稿では,CALIBER(Calibration Before and After Reasoning)について紹介する。 この統一されたプロトコルの下で、CALIBERはBigMathDigitsにおける最強の単一信頼ベースラインよりも、期待エラー(ECE)を52.5%削減した。 より大きな30Bモデルでは、CALIBERはBrierスコアとAUROCの競争力を維持しながら、BigMathDigitsで最高のECEを達成する。
  論文  参考訳（メタデータ） (2026-06-23T08:03:20Z)
• Bias Leaves a Gradient Trail: Label-Free Bias Identification via Gradient Probes on Concept Decompositions [8.894428198928333]
  本稿では,凍結視覚モデルにおける突発的概念を識別するためのバイアスラベルのないポストホック法を提案する。 Colored MNIST と Waterbirds では、この手法は既知のスプリアスキューに沿った概念を復元する。 推論時間における上位概念の抑制は、最悪のグループ精度を最大17.9ポイント向上させる。
  論文  参考訳（メタデータ） (2026-05-27T17:39:10Z)
• LEC: Linear Expectation Constraints for False-Discovery Control in Selective Prediction and Routing Systems [95.35293543918762]
  大規模言語モデル(LLM)はしばしば信頼できない答えを生成するが、不確実性のある手法は誤った予測と完全に区別することができない。 我々は、この問題を、偽発見率(FDR)制御のレンズを通して解決し、全ての許容された予測のうち、エラーの割合が目標のリスクレベルを超えないことを保証する。 本稿では,線形期待制約を強制することで,選択予測を制約付き決定問題として再解釈するLECを提案する。
  論文  参考訳（メタデータ） (2025-12-01T11:27:09Z)
• COIN: Uncertainty-Guarding Selective Question Answering for Foundation Models with Provable Risk Guarantees [51.5976496056012]
  COINは、統計的に有効な閾値を校正し、質問毎に1つの生成された回答をフィルタリングする不確実性保護選択フレームワークである。 COINはキャリブレーションセット上で経験的誤差率を推定し、信頼区間法を適用して真誤差率に高い確率上界を確立する。 リスク管理におけるCOINの堅牢性,許容回答を維持するための強いテストタイムパワー,キャリブレーションデータによる予測効率を実証する。
  論文  参考訳（メタデータ） (2025-06-25T07:04:49Z)
• Equal Opportunity of Coverage in Fair Regression [50.76908018786335]
  我々は、予測の不確実性の下で公正な機械学習(ML)を研究し、信頼性と信頼性のある意思決定を可能にする。 本研究は,(1)類似した結果の異なる集団に対するカバー率が近いこと,(2)人口全体のカバー率が一定水準にあること,の2つの特性を達成することを目的としたカバーの平等機会(EOC)を提案する。
  論文  参考訳（メタデータ） (2023-11-03T21:19:59Z)
• Uncertainty-Driven Action Quality Assessment [11.958132175629368]
  本稿では,複数の判定スコアの多様性を捉えるために,不確実性駆動型AQA (UD-AQA) という新しい確率モデルを提案する。 我々は,AQA回帰損失の再重み付けに使用される各予測の不確かさを推定する。 提案手法は,オリンピックイベントMTL-AQAとFineDivingの3つのベンチマークと,手術スキルJIGSAWSデータセットの3つのベンチマークで比較結果を得た。
  論文  参考訳（メタデータ） (2022-07-29T07:21:15Z)
• Distribution-free uncertainty quantification for classification under label shift [105.27463615756733]
  2つの経路による分類問題に対する不確実性定量化(UQ)に焦点を当てる。 まず、ラベルシフトはカバレッジとキャリブレーションの低下を示すことでuqを損なうと論じる。 これらの手法を, 理論上, 分散性のない枠組みで検討し, その優れた実用性を示す。
  論文  参考訳（メタデータ） (2021-03-04T20:51:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。