論文の概要: B-CARE: Blind Classwise Assessment of Relative Evidence for Stance Error Ranking

• arxiv url: http://arxiv.org/abs/2610.29350v1
• Date: Wed, 21 Oct 2026 07:43:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.278606
• Title: B-CARE: Blind Classwise Assessment of Relative Evidence for Stance Error Ranking
• Title（参考訳）: B-CARE:Blind Classwise Assessment of Relative Evidence for Stance Err Ranking
• Abstract要約: リスクの高い姿勢予測を識別するフレームワークであるB-CAREを紹介する。 B-CAREは、最強の代替クラス証拠と予測クラスを支持する証拠とを比較して、比較リスクスコアを構築する。 最もリスクの高い20%の予測で41.06%のエラーを捉えている。
• 参考スコア（独自算出の注目度）: 3.2322151924408185
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Stance classifiers make errors that can be costly to identify under limited human-review budgets. Prioritizing potentially incorrect predictions remains challenging, particularly across heterogeneous base models. We introduce B-CARE (Blind Classwise Assessment of Relative Evidence for Stance Error Ranking), a prediction-blind framework for identifying high-risk stance predictions. Given only a target and text, a fixed LLM verifier assigns ordinal evidence scores to all candidate stance labels without observing the base model's prediction or confidence. B-CARE constructs a comparative risk score by contrasting the strongest alternative-class evidence with the evidence supporting the predicted class. The resulting classwise evidence profile can be reused across multiple base models without training a separate error detector or calibrating risk scores. We evaluate B-CARE on four stance benchmarks and three heterogeneous base LLMs, covering 12 dataset-model settings and 5,206 unique test instances. Evaluation includes error-ranking discrimination (AUROC and AUPRC), selective prediction (E-AURC), and review effectiveness (ErrorCapture at fixed review budgets). B-CARE achieves a mean AUROC of 0.735 and a mean AUPRC of 0.524, capturing 41.06% of errors within the highest-risk 20% of predictions. Although B-CARE does not uniformly outperform strong confidence-based baselines, it provides a reusable, complementary evidence signal for prioritizing potentially incorrect stance predictions across heterogeneous models.
• Abstract（参考訳）: スタンス分類器は、限定された人間レビュー予算の下で識別するのにコストがかかるエラーを発生させる。 潜在的に誤った予測の優先順位付けは、特に異種基底モデルにおいて依然として困難である。 B-CARE(Blind Classwise Assessment of Relative Evidence for Stance Error Ranking)は,リスクの高い姿勢予測を識別するフレームワークである。 目標とテキストのみを与えられた固定LDM検証器は、基本モデルの予測や信頼性を観察することなく、規則的な証拠を全ての候補のスタンスラベルに割り当てる。 B-CAREは、最強の代替クラス証拠と予測クラスを支持する証拠とを比較して、比較リスクスコアを構築する。 結果として得られたクラスワイズエビデンスプロファイルは、個別のエラー検出やリスクスコアの校正をすることなく、複数のベースモデル間で再利用することができる。 我々は,B-CAREを4つのスタンスベンチマークと3つのヘテロジニアスベースLCMで評価し,12のデータセットモデル設定と5,206のユニークなテストインスタンスをカバーした。 評価には、エラーランク識別(AUROCとAUPRC)、選択予測(E-AURC)、レビューの有効性(ErrorCapture at fixed review budgets)が含まれる。 B-CARE は平均 AUROC が 0.735 で平均 AUPRC が 0.524 である。 B-CAREは強い信頼ベースのベースラインを均一に上回るものではないが、不均一なモデル間で潜在的に誤った姿勢予測を優先順位付けするための再利用可能な補完的な証拠信号を提供する。

関連論文リスト

• Testing-Driven Reliability Audit of Trajectory-Based Early Outcome Prediction for LLM Agents: Target-Specific Calibration Transfer Persists Within a Single Benchmark [0.0]
  軌道に基づく早期結果の予測は、結果が十分に予測可能になったときにランを終了させることにより、エージェント評価に関連する費用を削減できる。 このような転送障害がエージェントシステムにまたがっているのか、あるいは特定のターゲットエージェント/ヘッドの組み合わせに集中しているのかは不明だ。 パブリックなSWE-bench Verified trajectoriesと凍結したデュアルヘッド早期アウト予測パイプラインを使用して、我々は、Left-one-agent-out calibration auditを実行した。
  論文  参考訳（メタデータ） (2026-09-22T03:57:30Z)
• Calibration-Aware Uncertainty Cascades for Efficient Heterogeneous Model Collaboration [18.045450334322545]
  不均一なモデルコラボレーションは、予測性能と推論コストのバランスをとるために、異なるモデルの相補的な強みを活用することを目指している。 既存のアプローチでは、ルーティング決定を固定されたタスクとモデルプールに結びつける訓練されたルータや、しきい値が不均一なモデル間で一貫性のあるセマンティクスを欠いている生の自信のカスケードに頼っているのが一般的である。 本稿では,各モデルの信頼性を独立に校正し,検証データを用いてデプロイメントポリシを選択する,シンプルなポストホックフレームワークであるCAUCを提案する。
  論文  参考訳（メタデータ） (2026-09-10T12:14:54Z)
• $TCP_α$: Margin-Controlled Confidence estimation for reliable Music Information Retrieval [7.679660052685777]
  ディープニューラルネットワークは、しばしば過信であり、誤った予測にも高い信頼を割り当てる。 既存のターゲットは、重複する信頼値を正しい予測と間違った予測に割り当てる一方、決定境界付近のエラーは正しい予測と区別できない信頼スコアを受け取る。 提案するTCP_$は,不特定サンプルに対してマージン制御されたペナルティを導入することで,これらの制限を解消する新しい信頼度ターゲットである。
  論文  参考訳（メタデータ） (2026-08-20T17:58:50Z)
• Interval-Based AUC (iAUC): Extending ROC Analysis to Uncertainty-Aware Classification [12.024101882027466]
  本研究では,不確実性を考慮したROCフレームワークを提案する。 AUC_L$ と $AUC_U$ の2つの新しい手段を導入する。 有効なクラス条件付きカバレッジでは、$AUC_L$ と $AUC_U$ は理論最適 AUC の形式的下限と上限を提供する。
  論文  参考訳（メタデータ） (2026-02-04T17:12:04Z)
• Benchmarking Corruption Robustness of LVLMs: A Discriminative Benchmark and Robustness Alignment Metric [49.393713730706445]
  汚損の堅牢性を評価するための識別サンプルを強調したベンチマークであるBench-Cを紹介する。 本稿では,ロバストネスアライメントスコア(RAS)を提案する。
  論文  参考訳（メタデータ） (2025-11-24T12:07:56Z)
• PredictaBoard: Benchmarking LLM Score Predictability [50.47497036981544]
  大きな言語モデル(LLM)は予測不能に失敗することが多い。 これは、安全なデプロイメントを保証する上で、大きな課題となる。 PredictaBoardは,新しいベンチマークフレームワークである。
  論文  参考訳（メタデータ） (2025-02-20T10:52:38Z)
• Conservative Prediction via Data-Driven Confidence Minimization [70.93946578046003]
  機械学習の安全性クリティカルな応用においては、モデルが保守的であることが望ましいことが多い。 本研究では,不確実性データセットに対する信頼性を最小化するデータ駆動信頼性最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:05:36Z)
• Uncertainty Calibration for Counterfactual Propensity Estimation in Recommendation [22.67361489565711]
  クリック後変換率(CVR)は、オンライン顧客の嗜好の信頼できる指標である。 本稿では,CVR予測の妥当性に基づくデバイアス化のためのモデルに依存しないキャリブレーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-23T00:42:48Z)
• Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
  本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。 信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
  論文  参考訳（メタデータ） (2023-01-25T19:35:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。