論文の概要: A Free Knob: Decoupling Calibration and Predictive Skill in Threshold-Based Evaluation

• arxiv url: http://arxiv.org/abs/2609.33457v1
• Date: Sun, 27 Sep 2026 11:08:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 16:39:45.581619
• Title: A Free Knob: Decoupling Calibration and Predictive Skill in Threshold-Based Evaluation
• Title（参考訳）: フリーノブ:閾値に基づく評価における校正と予測スキルの分離
• Abstract要約: 固定された稀な操作点において、最大臨界成功指数(CSI)は、振幅校正と空間的識別を一致させる。 我々はモノトン校正を対称監査として再利用し、ホールドアウトデータに適合したポストホック変換を各システムに個別に適用した。 この効果は、試験期間前の窓に変換が取り付けられる際に持続し、キャリブレーションにより、より良い校正基準線によって隠された利点が明らかになる。
• 参考スコア（独自算出の注目度）: 1.6099403809839037
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many dense-prediction benchmarks evaluate rare events by pooling prediction and target over spatial blocks, thresholding each, and scoring the contingency table. At a fixed rare operating point, the max-pooled Critical Success Index (CSI) confounds spatial discrimination with amplitude calibration: sharp observations promote many blocks above threshold, while attenuated predictions from squared-error regression leave the same blocks below it. We repurpose classical monotone calibration as a symmetric audit: a post-hoc transform fitted on held-out data and applied separately to each system. The transform cannot reverse pixel ordering, so any contrast it reproduces cannot establish improved spatial ranking. On SEVIR, two released checkpoints of one architecture differ by -29.5% in extreme-threshold CSI before the control and by +5.3% after it. Across 450 pairwise contrasts among 6 systems, the difference in pooled frequency-bias deviation is associated with how far the CSI contrast moves under the control (r = +0.796), and 51 contrasts reverse sign. At CasCast's published extreme-event operating point, the cascade-over-backbone CSI gap falls from 0.1601 to 0.0339, a 78.8% reduction; the remaining gap stays positive. The effect persists when the transform is fitted on a window before the test period, and calibration also reveals advantages hidden by a better-calibrated baseline. On geostationary infrared imagery the relative gain grows as events become rarer, crowd counting reproduces the bias-gain relationship under patch-sum pooling, and semantic segmentation, where frequency bias is already near one, shows little average change. The confound therefore requires both a fixed operating point and a training regime that leaves the output miscalibrated there. We recommend reporting pooled frequency bias and a symmetric held-out FreeKnob Audit alongside rare-event pool-and-threshold scores.
• Abstract（参考訳）: 多くの高密度予測ベンチマークは、予測とターゲットを空間ブロック上にプールし、それぞれを閾値付けし、一致テーブルをスコアリングすることで、稀な事象を評価する。 鋭い観測はしきい値以上の多くのブロックを促進させ、正方形エラー回帰による減衰予測は、その下にある同じブロックを残す。 我々は古典的モノトン校正を対称監査として再利用し、ホールドアウトデータに適合したポストホック変換を各システムに個別に適用した。 変換は画素順序を逆転させることができないので、再生するコントラストは改善された空間ランクを確立することができない。 SEVIRでは、1つのアーキテクチャの2つのチェックポイントが-29.5%、制御前は-29.5%、その後は+5.3%異なる。 6つの系の450対のコントラストでは、プールされた周波数バイアスの偏差の差は、CSIコントラストが制御下(r = +0.796)に移動する距離と関係しており、51は逆符号と対比している。 CasCastが発表した極端点では、カスケードオーバーバックボーンのCSIギャップは0.1601から0.0339に減少し、78.8%減少し、残りのギャップは正のままである。 この効果は、試験期間前の窓に変換が取り付けられる際に持続し、キャリブレーションにより、より良い校正基準線によって隠された利点が明らかになる。 静止赤外画像では、事象が稀になるにつれて相対的なゲインが増加し、群集カウントはパッチサムプーリングの下でバイアス-ゲイン関係を再現し、周波数バイアスが既に1付近にあるセマンティックセグメンテーションは平均的変化をほとんど示さない。 したがって、コンファウンドは、固定された操作点と、そこで出力を誤校正したままにしておく訓練体制の両方を必要とする。 プールド周波数バイアスと対称ホールドアウトのFreeKnob Auditを,レアイベントプール・アンド・スレッショルドスコアとともに報告することを推奨する。

関連論文リスト

• StatD2GAN: When Calibration Masks Generator Quality in Held-Out Evaluation of Synthetic Weather Sequences [0.0]
  我々は,進化的重み適応を持つ3つの識別器GANであるStatD2GANの評価を,ホールドアウトプロトコルを中心に再構築した。 等方性キャリブレーションにより,コルモゴロフ-スミルノフ間距離は, 試験された全ての建築物に対して, 位置当たりのノイズ/シフトフロアの2%以内となることを示す。 選別表現判別器は、除去が多変量依存を著しく低下させる唯一の成分である。
  論文  参考訳（メタデータ） (2026-09-27T16:59:38Z)
• OSCC: Certified Observation-Safe Coupling Optimization for Gradient-Noise Control in Imperfect-Information Learning [23.835119696596095]
  無効な結合は、隠された状態を隠蔽し、内因性ポリシーのランダム性を同期させ、または、偽の履歴が分岐した後の誤ったチャンスイベントを発生させる。 本稿では,限界保存,情報状態安全性,ブランチローカルなポリシーランダム性,セマンティックイベントアライメント,トレース・ビオークル・リプレイなどを通じて,許容可能なクラスを定義するフレームワークであるオブザーバセーフ・カウンタファクト・カップリング(O SCC)を紹介する。 我々は, 限界保存結合に対して, ポリシ・ヤコビアン重み付き対角外帰還共分散が雑音変化を決定することを示す勾配対応結合基準を導出する。
  論文  参考訳（メタデータ） (2026-09-27T13:10:30Z)
• DOA-SORT: Directional Occlusion-Aware Multi-Object Tracking with Distributional Observations [3.6896352484416393]
  多対象追跡におけるアイデンティティ関連性は、部分閉塞、切り離された検出、変動する信頼スコアに弱い。 我々は,これらのバイアスを明示的にモデル化するオンラインかつトレーニング不要なトラッカーであるDirectional Occlusion-Aware SORTを提案する。
  論文  参考訳（メタデータ） (2026-09-19T02:39:43Z)
• One Step, One Lead: Mitigating Higher-Order Interference in Multi-Domain Reinforcement Learning via Cross-Step Control [62.82372407840088]
  同点領域勾配は、連続的な更新が出力空間で部分的に逆転する場合においても、ほぼ一定であることを示す。 トークンレベルのリバウンドリスクをランク付けするために,各イテレーションでフォーカスドメインを指定するOSOLを提案する。 OSOLは0.4822のドメイン-マクロ平均に達し、最強の比較ベースラインよりも5.7%向上した。
  論文  参考訳（メタデータ） (2026-09-06T08:32:59Z)
• CARD: Calibration via Agreement in Reverse Diffusion for Out-of-Domain MRI Segmentation [14.844162865265673]
  そこで我々は,不一致の時間的集合を全クラスにわたって1ピクセルあたりの温度場にマッピングし,セグメント化ができない間に信頼度が変化するようにCARDを提案する。 心臓、前立腺、脳のMRIシフトによって、CARDは各設定において最強のベースラインと比較した場合、49の45のキャリブレーション誤差を低下させる。
  論文  参考訳（メタデータ） (2026-08-26T07:23:08Z)
• LoTA-N2N: Local Trace Adaptation for Zero-Shot Self-Supervised Image Denoising [43.31076762214249]
  単一イメージの自己監督型遮音装置は、使用不能なクリーンターゲットをノイズの観測から構築されたサロゲートターゲットに置き換える。 2段階ゼロショット適応フレームワークであるLoTA-N2Nを提案する。 局所的な構造は空間的キャンセルを防ぎ、上界は対応する大域的相互作用の大きさを示す。
  論文  参考訳（メタデータ） (2026-07-27T08:16:15Z)
• Confidence Scores in Open-Vocabulary Detection Are a Biased Mixture of Scale and Semantics [8.465978346858842]
  CLIPのような基盤モデルは、視覚言語的類似性を通じて新しいカテゴリに一般化するオープン語彙オブジェクト検出器を可能にした。 スケールバイアスの発見は2つの効果の偏りのある混合であることを示す。 これらの結果から,画像レベルの基礎モデルを領域レベルの検出タスクに適用する上での基本的限界が明らかとなった。
  論文  参考訳（メタデータ） (2026-07-13T01:33:18Z)
• CARE What Fails: Contrastive Anchored-REflection for Verifiable Multimodal [84.71254539482369]
  検証可能な報酬を伴うグループ相対的強化学習(RLVR)は、しばしば、すでに失敗している最も情報に富むデータを浪費する。 エラーを監督するマルチモーダル推論のための,障害中心のポストトレーニングフレームワークであるCAREを提案する。 CAREは正確さを改善し、スムーズさをトレーニングすると同時に、障害からの学習信号のシェアを明示的に増やします。
  論文  参考訳（メタデータ） (2025-12-22T16:34:21Z)
• Clustered Switchback Designs for Experimentation Under Spatio-temporal Interference [44.644520116360106]
  我々は, 平均治療効果 (GATE) を推定し, 全単位を常に治療やコントロールに曝露した平均結果の差を推定した。 そこで我々は,単位をクラスタにグループ化し,時間ステップをブロックにグループ化する,クラスタ化されたスイッチバック設計を提案する。 良好なクラスタリングを許容するグラフに対して, トラッピングされたHorvitz-Thompson推定器が$tilde O(1/NT)$平均二乗誤差(MSE)を達成することを示す。 我々の結果は、citethu2022switchback、ugander2013graph、citetleung2022rateの結果を同時に一般化する。
  論文  参考訳（メタデータ） (2023-12-25T01:00:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。