論文の概要: SimplexUQ: An Evaluation Framework and Benchmark for Conformal Uncertainty on Simplex-Valued Predictions

• arxiv url: http://arxiv.org/abs/2610.00523v1
• Date: Wed, 30 Sep 2026 18:12:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:23.688098
• Title: SimplexUQ: An Evaluation Framework and Benchmark for Conformal Uncertainty on Simplex-Valued Predictions
• Title（参考訳）: SimplexUQ:Simplex値予測における不確実性評価フレームワークとベンチマーク
• Abstract要約: 等角予測は限界範囲のカバレッジを保証するが、単一のキャリブレーションしきい値がまだその範囲を均一に広げることができる。 SimplexUQは、単純なx値の予測に基づいてこの割り当て問題を計測するための最初のベンチマークおよび再現可能なプロトコルである。 各比較は、予測器、スコア、応答自由成層マップを修正し、ラッパーのみを変更し、限界被覆、最悪の層被覆、最大差、およびタスク内半径と計算を報告する。
• 参考スコア（独自算出の注目度）: 0.272536728022984
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Conformal prediction guarantees marginal coverage, but a single calibration threshold can still spread that coverage unevenly, over-covering easy regions and under-covering hard ones. SimplexUQ is, to our knowledge, the first benchmark and reproducible protocol for measuring this allocation problem on simplex-valued predictions; it compares existing conformal wrappers rather than proposing a new one. Its task suite, SimplexTasks-12, combines six controlled synthetic regimes with six frozen-predictor real tasks spanning class probabilities, topic mixtures, spectral abundances, cell-type fractions, age distributions, and emotion mixtures. Each comparison fixes the predictor, score, and response-free stratification map, varies only the wrapper, and reports marginal coverage, worst-stratum coverage, max disparity, and within-task radius and compute. Global calibration can look valid while failing badly: on CIFAR-10 it attains 0.900 marginal coverage but only 0.542 in the worst entropy stratum, and Mondrian calibration raises that stratum to 0.886 while reducing max disparity from 0.358 to 0.022. No wrapper dominates, however. Under smooth synthetic heterogeneity, several repairs are competitive; fixed-map analyses show that rankings depend on the evaluation groups and protocol; and in a 12-task comparison, Mondrian has lower disparity on its single target partition for all 12 tasks, whereas BatchMVP has lower disparity over overlapping groups on five. These are empirical comparisons, not new coverage guarantees. A controlled predictor-bias sweep shows that removing predictor bias only partly reduces global-threshold disparity. We release task cards, result provenance, permitted derived arrays, and rebuild instructions, and treat wrapper selection as a diagnostic comparison rather than a universal ranking.
• Abstract（参考訳）: 等角予測は限界範囲のカバレッジを保証するが、単一のキャリブレーション閾値は、その範囲を不均一に、過剰にカバーし、過度にカバーし難い領域を拡大することができる。 SimplexUQは、我々の知る限り、この割り当て問題を単純なx値予測で測定するための最初のベンチマークおよび再現可能なプロトコルであり、新しいものを提案するのではなく、既存の共形ラッパーと比較する。 そのタスクスイートであるSimplexTasks-12は、制御された6つの合成レジームと、クラス確率、トピック混合物、スペクトル量、細胞型分画、年齢分布、感情混合にまたがる6つの凍結予測現実タスクを組み合わせる。 各比較は、予測器、スコア、応答自由成層マップを修正し、ラッパーのみを変更し、限界被覆、最悪の層被覆、最大差、およびタスク内半径と計算を報告する。 CIFAR-10では0.900の限界範囲に達するが、最悪のエントロピー層では0.542しかなく、モンドリアン・キャリブレーションは0.886まで上昇し、最大差は0.358から0.022まで減少する。 ただし、ラッパーは支配的ではない。 スムーズな合成不均一性の下では、いくつかの修復が競合し、固定マップ解析は、ランク付けが評価グループとプロトコルに依存することを示している。 これらは経験的な比較であり、新しいカバレッジ保証ではない。 制御された予測バイアススイープは、予測バイアスを取り除くことは、部分的にグローバルな閾値の格差を減少させるだけであることを示している。 我々は、タスクカード、結果証明、許容配列、再構成命令を公開し、ラッパー選択を普遍的なランキングではなく診断比較として扱う。

関連論文リスト

• Measuring the Checker: Mutation Analysis for GPU-Kernel Benchmark Oracles [86.41218924166775]
  LLM生成のGPUカーネルのベンチマークは、ランダムな入力とゆるやかな浮動小数点耐性で正確性を決定する。 最近の研究は、これらのチェッカーは弱く、手動でパッチを当てることに同意している。 本稿では,カーネルベンチマークの精度指標として突然変異解析を導入する。
  論文  参考訳（メタデータ） (2026-09-02T10:30:05Z)
• Reaching the Tail: Calibration Diversity Drives Conformal Coverage under Data Scarcity [0.0]
  長期のマクロ経済連関データ制約下では, マルチホライゾンレアイベント予測は困難である。 制御されたアブレーションは、代わりにキャリブレーションセットのサイズを反映するアダプティブ・コンフォーマル推論に対する明らかな希少しきい値を示す。
  論文  参考訳（メタデータ） (2026-08-21T19:51:08Z)
• Decomposing Wrong-Consensus Agreement in LLM Self-Consistency: A GPT-4.1 Case Study [1.2716872085463884]
  複数のLSMサンプルに対する多数決投票は、回答の正確性を高めるために広く用いられているが、その利得は不規則に異なる。 本稿は、この失敗を定量的に分析する。
  論文  参考訳（メタデータ） (2026-08-19T10:50:15Z)
• Denoised Variance-Based Pruning with Optimal Brain Bias Compensation [45.88028371034407]
  VBP(Variance-Based Pruning)は、ニューロンを活性化分散に基づいて選択することで有望なパラダイムを導入した。 Denoized Variance-based Pruning with Optimal Brain Bias Compensation (DVBP + OB$2$C)を紹介する。 最先端のトレーニングフリーのパフォーマンスを実現し、50%のプルーニングで、オリジナルのTop-1の精度の90%以上を維持できる。
  論文  参考訳（メタデータ） (2026-08-18T11:23:49Z)
• Conformal Calibration for Multi-Modal Regression with Missing Modalities [0.0]
  多モード回帰の予測間隔は、ソースが一致しない、または欠落している場合に校正が困難である。 我々はこれをモジュラリティを意識した共形キャリブレーション層を通じて解決する。 レイヤーは、モダリティごとに1つの予測器を訓練または再利用し、予測から不一致スコアを計算し、そのスコアを分割共形キャリブレーションで使用する。
  論文  参考訳（メタデータ） (2026-08-07T22:38:35Z)
• A Quiet Failure in Calibrated Virtual Screening: Marginal Conformal Prediction Under-Covers the Minority Class, and a Class-Conditional Fix Recovers It [0.0]
  整形予測は、モデルの信頼性に正直な数字を付けるために、薬物発見に採用されている。 この保証は、不均衡なデータセットでは危険である可能性がある。 我々の貢献は、この既知の共形理論のギャップがいかに深刻で不可視であるかを実際の化学で実証することである。
  論文  参考訳（メタデータ） (2026-07-07T04:31:56Z)
• Let the Results Speak: A Replication-First Paradigm for LLM Behavioral Benchmarking [22.825786049667602]
  本稿では,1つのヒト・ラタのコンセンサスに有効性を確保するために,複製第一パラダイムを提案する。 楽器を4つの特性で認証する - Kランの信頼性、アーキテクチャ的に異なる審査員間のクロスインストラクトレプリケーション、以前のトレーニングコホートからの審査員による歴史的フットプリントキャリブレーション、事前登録された予測。 本研究は, 自己発達型データ駆動による情緒的伴奏で, 次元は事前に決められず, 手順は9次元に安定化する。
  論文  参考訳（メタデータ） (2026-05-27T03:41:11Z)
• Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
  大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。 個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。 構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
  論文  参考訳（メタデータ） (2026-05-15T17:08:27Z)
• Exploration in the Limit [37.0278529107694]
  最小サンプルサイズに対して有効なエラー制御を必要とする緩和された定式化を導入する。 これは、弱い信号、高い所望の重要度、実験後の推論要求を含む多くの実世界の設定と整合する。 我々は、腕の指標よりも常に有効な新しい信頼シーケンスを開発し、それを用いて、フレームワークのための新しいBAIアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2025-12-31T19:27:59Z)
• Conditional Coverage Diagnostics for Conformal Prediction [47.93989136542648]
  条件付きカバレッジ推定が分類問題であることを示す。 得られたメトリクスの族をターゲットカバレッジ(ERT)の過剰なリスクと呼びます。 ERTのオープンソースパッケージと、以前の条件付きカバレッジメトリクスをリリースしています。
  論文  参考訳（メタデータ） (2025-12-12T18:47:39Z)
• Robust Conformal Prediction with a Single Binary Certificate [58.450154976190795]
  コンフォーマル予測(CP)は、任意のモデルの出力を、真のラベルを(調整可能な)高い確率でカバーすることを保証した予測セットに変換する。 我々は,MCサンプルが著しく低い場合でも,より小さな集合を生成する頑健な共形予測を提案する。
  論文  参考訳（メタデータ） (2025-03-07T08:41:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。