Fugu-MT 論文翻訳(概要): When Disagreement Labels Do Not Identify F1 Rankings

論文の概要: When Disagreement Labels Do Not Identify F1 Rankings

arxiv url: http://arxiv.org/abs/2611.01712v1
Date: Sun, 01 Nov 2026 09:01:32 GMT
ステータス: 翻訳完了
システム内更新日: 2026-11-12 15:13:51.0805
Title: When Disagreement Labels Do Not Identify F1 Rankings
Title（参考訳）: 診断ラベルがF1ランキングを識別しない場合
Abstract要約: 不一致のラベル付け後の明示的な監査に部分的識別を特化させる。 3,200組の凍結されたモデルペア、共有された完了がバウンドを締め付け、0.01トレランスはラベリングコストを低減させる。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Agreement labels cancel from an accuracy comparison but can change an F1 ranking. We specialize partial identification to an explicit audit after labeling disagreements: two agreement counts give exact bounds, certifying a ranking or a choice within a specified F1 tolerance under every completion. Across 3,200 frozen model pairs, shared completions tighten bounds and a 0.01 tolerance reduces labeling costs. A zero-loss (weak-winner) control attributes most savings to positive tolerance, not ties. Guarantees concern the evaluated batch, not future data.
Abstract（参考訳）: 契約ラベルは、精度比較からキャンセルされるが、F1ランクを変更することができる。 2つの協定のカウントが正確な境界を与え、各完了時に指定されたF1許容範囲内でランクまたは選択を認定する。 3,200組の凍結されたモデルペア、共有された完了がバウンドを締め付け、0.01トレランスはラベリングコストを低減させる。ゼロロス制御(弱損失制御)は、ほとんどの貯蓄を正の寛容であり、結びつきではない。保証者は、将来のデータではなく、評価されたバッチを心配する。

関連論文リスト

Agreement Without Alignment: Label-Free Rubric Clarification Increases LLM-Judge Consensus but Not Agreement with Humans [0.36013539748644224]
手続きは各ルーリックをサブ基準に分解し、開発分割に関するクロス・ジャッジの意見の相違によってランク付けし、最も競合する部分のみを編集モデルに書き換える。人間のラベルは節の選択や編集には使われず、結果を評価するためにのみ使用される。
論文参考訳（メタデータ） (2026-10-09T09:49:31Z)
Probability Contracts: Accuracy, Coherence, and Decisions Across LLM Interfaces [10.720985236309462]
本稿では,有限世界後部を正確に接続するベンチマーク,イベントアライメントの検証,インタフェースのコヒーレンス,フェール・アウェアな決定評価について紹介する。 1000の世界の4つのモデル-インタフェース構成の中で、ケブはJevよりも集合正準後誤差が低いが、補体と粗い残差が大きい。 Jev の Event と Choice インターフェースは、有効なペアの 32.8% のバイナリアクションを、遅延コスト 0.10 で変更する。
論文参考訳（メタデータ） (2026-09-27T19:07:58Z)
Difference-in-Differences on a Censored Rating Scale Can Manufacture an Effect: Evidence from a Pre-Registered LLM-Judge Audit [15.81584544074437]
LLM審査員の聴取は、一致した条件を対比することでバイアスを認定する。このエンドポイントは、報告するスケールでは特定されない。我々は,そのメカニズムをクローズドな形で導き,その貢献が監査の自己評価から測定可能であることを示す。
論文参考訳（メタデータ） (2026-08-27T16:10:16Z)
Pay Only for Disagreement: Certified No-Regression Verdicts for Model Updates with Matching Label-Complexity Bounds [0.0]
我々は、更新促進を認定されたペア・リスク・ディファレンス監査として定式化する。ゼロラベル層は、ラベルのないトラフィックのみに対する耐性よりも不一致率が低い良質な更新を認証する。次数 rho2/eps2 の有限サンプル妥当性とラベル-複素性境界をレートレベルで証明する。
論文参考訳（メタデータ） (2026-07-22T02:51:14Z)
PREF-Gate: Provenance-Constrained Relational Evidence Fusion with Validation-Gated Selection for Graph Fraud Detection [4.923071905608023]
不正な不正検出は、ラベル特定コンテキストとラベル由来の近隣証拠の両方を利用することができる。 PreF-Gateは、2人の専門家と有限の検証ゲートを持つ監査可能なフレームワークである。ラベル由来のリレーショナルエビデンス(英語版)は、保留検証がそれをサポートする場合にのみ有用である。
論文参考訳（メタデータ） (2026-07-13T08:05:47Z)
Semantic F1 Scores: Fair Evaluation Under Fuzzy Class Boundaries [65.89202599399252]
本稿では,主観的,ファジィなマルチラベル分類のための新しい評価指標であるセマンティックF1スコアを提案する。セマンティックF1は意味的に関連があるが、識別できないラベルに部分クレジットを与えることで、人間の不一致やファジィ圏の境界によって特徴付けられる領域の現実をよりよく反映する。
論文参考訳（メタデータ） (2025-09-25T21:48:48Z)
Bipartite Ranking From Multiple Labels: On Loss Versus Label Aggregation [66.28528968249255]
両部ランク付けは基本的な教師付き学習問題であり、単一のバイナリターゲットラベルに対して最大範囲(ROC曲線)を持つインスタンスのランク付けを学習することを目的としている。このようなラベルを1つのコヒーレントなランキングにどうやって合成できるのか? 本研究では,ベイズ最適解を特徴付けることにより,損失集約とラベル集約という2つの手法を解析する。
論文参考訳（メタデータ） (2025-04-15T15:25:27Z)
Appeal: Allow Mislabeled Samples the Chance to be Rectified in Partial Label Learning [55.4510979153023]
部分ラベル学習(PLL)では、各インスタンスは候補ラベルのセットに関連付けられ、そのうち1つだけが接地真実である。誤記されたサンプルの「アペアル」を支援するため,最初の魅力に基づくフレームワークを提案する。
論文参考訳（メタデータ） (2023-12-18T09:09:52Z)
Pointwise Binary Classification with Pairwise Confidence Comparisons [97.79518780631457]
ペアワイズ比較(Pcomp)分類を提案し、ラベルのないデータのペアしか持たない。我々はPcomp分類をノイズラベル学習に結びつけて、進歩的UREを開発し、一貫性の正則化を課すことにより改善する。
論文参考訳（メタデータ） (2020-10-05T09:23:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。