論文の概要: Two Uncertainties Are Not One: Disagreement versus Decision-Risk in Cheap Structured Content Moderation

• arxiv url: http://arxiv.org/abs/2610.33258v1
• Date: Fri, 23 Oct 2026 20:08:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.283144
• Title: Two Uncertainties Are Not One: Disagreement versus Decision-Risk in Cheap Structured Content Moderation
• Title（参考訳）: 2つの不確かさは1つではない: チープ構造化コンテンツモデレーションにおける診断対決定-リスク
• Abstract要約: フリーズされた"System One"モデルの新たなクラスは、テキストの代わりにタイプされ、キャリブレーションされた決定を1コールあたり0.000025、100ミリ秒で返します。 人間のラベル付きコメント142,658件に対して、そのようなモデルの最初の独立した監査を行い、それを14のフロンティア推論モデルと比較した。 インスツルメンテーション、キャッシュされた実行、そして分析をリリースします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Content moderation compresses a graded, contested human judgment into a binary act (leave up / take down) over billions of items, at a scale where running a frontier LLM on every post is uneconomical. A new class of frozen "System One" models returns typed, calibrated decisions instead of text at ~USD 0.000025 per call and ~100 ms. We run the first independent audit of one such model on 142,658 human-labeled comments, and benchmark it against 14 frontier reasoning models (the GPT-5.x, Claude, Gemini 3, and Grok families) on a shared probe set. Two findings stand out. First, the cheap model is accuracy-competitive: its zero-shot classification AUROC (0.83) is not statistically separable (paired bootstrap, n=56; a failure to reject parity, not proof of equivalence) from 13 of the 14 frontier systems while costing 1-3 orders of magnitude less, and it is no worse calibrated than several of them. Second, "confidence" conflates two uncertainties that come apart: human disagreement (where annotators split on satire and coded language) and decision risk (where the automatic action is costly-wrong). Under an asymmetric moderation loss these call for opposite escalation signals, so no single confidence number serves both. Because the model prices extra questions at nearly zero, decomposing the judgment into parallel sub-questions and reading their spread recovers a human-disagreement signal that the model's native confidence misses -- but this remedy is specific: it helps the weakest, disagreement-blind models and only when the decomposition aligns with the sources of disagreement; a specialist toxicity model and the strongest LLMs do not need it, and the effect is distribution-sensitive. We will release the instrument, the cached runs, and the analysis.
• Abstract（参考訳）: コンテンツモデレーションは、グレードされた競合する人間の判断を、何十億ものアイテムに対してバイナリな行為(リーブアップ/テイクダウン)に圧縮する。 われわれは142,658人のコメントでそのようなモデルの最初の独立した監査を行い、それを14のフロンティア推論モデル(GPT-5.x、Claude、Gemini 3、Grok family)と共有プローブセットでベンチマークする。 2つの発見がある。 ゼロショット分類 AUROC (0.83) は統計的に分離できない(paired bootstrap, n=56, a failure to reject parity, not proof of equivalence)。 第二に、「信条」は、人間の不一致(注釈者が風刺と符号化された言語で分裂する)と決定リスク(自動行動が費用がかかる)という2つの不確実さを混同する。 非対称なモデレーション損失の下では、これらの呼び出しは逆のエスカレーション信号を要求するため、単一の信頼数の両方が機能しない。 モデルは、余分な質問をほぼゼロに値付けするため、判断をパラレルなサブクエストに分解し、それらのスプレッドを読み取ると、モデルのネイティブな自信が失われるという人間の不一致のシグナルが回復する。 インスツルメンテーション、キャッシュされた実行、そして分析をリリースします。

関連論文リスト

• Jev-as-a-Judge for RAG Claim Verification: Confidence-Gated Cascading Between a Non-Generative Verifier and a Frontier LLM [0.0]
  我々は、宣言された列挙式から型付き値を返す非生成的決定モデルと、ネイティブな確率と、テキストなしで比較する。 どちらもLLM-AggreFactの495人の人間による主張に答えている。 この2つの系は、通常187倍のコスト差で -0.56 点の対差 Jev minus Astra で統計的に区別できない。
  論文  参考訳（メタデータ） (2026-09-30T15:32:51Z)
• Measuring Collapse and Correction in Homogeneous-Panel LLM Debate [51.03982042769297]
  マルチエージェント大言語モデル(LLM)の議論は、最終回答が改善するかどうかによってしばしば評価されるが、運動は必ずしも改善されない。 標準的な最終精度評価は、これらの反対のメカニズムを詳述する。 複数選択質問(MCQ)に関する同質な議論のための監査可能なプロトコルを導入し、各実行を、崩壊、修正、オンセット、署名された介入ユーティリティよりも、遷移台帳として記録する。
  論文  参考訳（メタデータ） (2026-09-28T14:31:19Z)
• Does Model Uncertainty Track Human Ambiguity? Evidence from Multi-Annotator Vision Benchmarks [1.253312107729806]
  モデルが、人間が困難なと感じているのと同じ事例で苦労しているかどうかを調査する。 3つのアーキテクチャにまたがる8つの事前訓練モデルを評価する。 両次元においてアライメントが弱いことが分かる。
  論文  参考訳（メタデータ） (2026-09-28T07:51:31Z)
• Phantom Gains: Auditing Self-Improvement Against a Measured Null [10.74609430659738]
  我々は、Qwen3-8Bで32ドル(約2万2000円)のLoRA自己訓練を行い、同じパイプラインを通り抜ける凍結制御を行った。 我々は7つの測定失敗を識別し、それぞれが、その制御が欠如しているときに報告された発見を逆転させる。
  論文  参考訳（メタデータ） (2026-08-20T17:30:14Z)
• Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
  クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。 共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。 このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
  論文  参考訳（メタデータ） (2026-08-08T13:22:14Z)
• One Human, $N$ Agents: Audit-Budget Allocation for LLM Agent Fleets under Miscalibrated, Correlated Confidence [41.99844472131922]
  一人の人間が1ラウンド当たり$N$ LLMエージェントを予算$B ll N$監査で監査しなければならない。 我々はこれを、2段階のガウス的コーパスに対する予算付きノイズ検査としてモデル化し、信頼度の高い監査がランダムである場合の誤校正しきい値($*$過去)を特定する。
  論文  参考訳（メタデータ） (2026-07-30T14:52:36Z)
• The C-index illusion: discrimination without calibration in published survival models [0.0]
  我々は3つの構造的に異なる領域にまたがって3つのサバイバル-MLモデルを再現する。 ホルム補正された家族的誤り率の下で,5つの事前登録仮説を検証した。
  論文  参考訳（メタデータ） (2026-07-21T19:13:54Z)
• Abliteration Is Not a Scalpel: Off-Target Effects of Refusal Removal on Decision Disposition Across Model Families [51.56484100374058]
  放棄 — モデルの拒絶方向を重みから取り除く — は、一般的な"アンセンソルド"なオープンウェイトモデルの標準的なレシピである。 ディスポジションプローブとして21,600個の決定を不確実性の下で使用し、凍結パイプラインを通じて再生することにより、決定層モデルが唯一の変数となる。 3つのエフェクトは2つのファミリーにまたがって複製される(ゼロを除く週間クラスターCI) 4つ目の効果は符号を逆転する:同じ操作によりGemmaで読み取られた方が自信が弱まり、Qwenで読み取られたものがより多くなる(ファミリーCIは重複しない)。
  論文  参考訳（メタデータ） (2026-07-19T22:27:00Z)
• Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
  デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。 私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。 プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
  論文  参考訳（メタデータ） (2026-06-09T02:11:01Z)
• Uncertainty in Language Models: Assessment through Rank-Calibration [65.10149293133846]
  言語モデル(LM)は、自然言語生成において有望な性能を示している。 与えられた入力に応答する際の不確実性を正確に定量化することは重要である。 我々は、LMの確実性と信頼性を評価するために、Rank$-$Calibration$と呼ばれる斬新で実用的なフレームワークを開発する。
  論文  参考訳（メタデータ） (2024-04-04T02:31:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。