論文の概要: Pandora's Regret: A Proper Scoring Rule for Evaluating Sequential Search
- arxiv url: http://arxiv.org/abs/2605.01936v1
- Date: Sun, 03 May 2026 15:32:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-05 20:33:50.005081
- Title: Pandora's Regret: A Proper Scoring Rule for Evaluating Sequential Search
- Title（参考訳）: PandoraのRegret: シークエンシャル検索を評価するための適切なスコア付けルール
- Abstract要約: 逐次探索は、これを克服するペアワイズ構造を誘導することを示す。
PandoraのRegretは、真の確率を与え、ランクを逆転する誤判定を罰する。
ログの損失、精度、マクロF1は、シーケンシャル検索と一致しない暗黙的な決定モデルに依存していることを示す。
- 参考スコア（独自算出の注目度）: 4.661726851888053
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In sequential search, alternatives are tested until the true class is found. Standard proper scoring rules like log loss are local, ignoring the ranking of competitors and misaligning model evaluation with search utility. We show that sequential search induces a pairwise structure that overcomes this. By analyzing the expected cost of optimal search under varying testing costs, we derive Pandora's Regret: a closed-form, pairwise-additive, and strictly proper scoring rule. Pandora's Regret both elicits true probabilities and penalizes rank-reversing miscalibrations where distractors outrank the true class. Our construction yields a one-parameter Beta family that balances penalties for rank-swapping versus probability magnitude, while retaining a grounded interpretation as expected search cost. We prove that log loss, accuracy, and macro-F1 rely on implicit decision models misaligned with sequential search. Across 597 MedMNIST models, Pandora-based metrics better predict clinical diagnostic costs than standard alternatives, extending decision-theoretic scoring rule construction to the multiclass setting.
- Abstract（参考訳）: シーケンシャル検索では、真のクラスが見つかるまで代替品がテストされる。
ログ損失のような標準的な適切なスコアリングルールはローカルであり、競合のランキングを無視し、検索ユーティリティによるモデル評価を誤ったものにしている。
逐次探索は、これを克服するペアワイズ構造を誘導することを示す。
様々なテストコストの下で最適探索の期待コストを分析することで、PandoraのRegret: a closed-form, pairwise-additive, and strictly proper score ruleを導出する。
PandoraのRegretは、真の確率を導き、邪魔者が真のクラスを上回るランク逆転の誤判定を罰する。
我々の構成では、ランクスワッピングと確率等級のペナルティのバランスをとる1パラメータのベータファミリーが得られ、検索コストは期待されている。
ログの損失、精度、マクロF1は、シーケンシャル検索と一致しない暗黙的な決定モデルに依存していることを示す。
597 MedMNISTモデル全体で、Pandoraベースのメトリクスは、標準的な選択肢よりも臨床診断コストを予測し、意思決定理論のスコアリングルールの構築をマルチクラス設定に拡張する。
関連論文リスト
- Escaping Redundant Reasoning: Structure-Aware Search for Inference-Time LLMs [8.676645474808835]
大規模言語モデル(LLM)による推論時間探索は、しばしば構造的または意味論的に類似した軌道の小さなセットに集中する。
BASINは、状態の推論を盆地にグループ化する学習不要な構造認識選択法である。
論文 参考訳（メタデータ） (2026-09-01T05:15:59Z) - BOUND: Brief-Guided Corrective Preference Distillation at Search-Control Boundaries [82.41764922522565]
BOUNDは、永続的な探索ドリフトのための短いガイド付き修正選好蒸留フレームワークである。
Trajectory SFT は Bamboogle で 5.6 EM 、BrowseComp-Plus で 4.8 の精度で上回っている。
論文 参考訳（メタデータ） (2026-08-09T15:32:16Z) - Closing the Indexing-Decoding Gap in Multimodal Generative Retrieval via Prefix Retention Optimization [68.48718919047127]
マルチモーダル生成検索式は、複数のモーダル検索を離散識別子生成として定義し、外部埋め込みよりも明示的な類似性探索を不要とする。
既存の手法では、残差量子化によって識別子を構築し、トリエ制約ビームサーチでデコードする。
この組み合わせは、インデックス化とデコーディングのギャップを導入している: 識別子学習の目的は、再構成や対照的な損失を含むが、デコーディング中にプレフィックスの識別性を明示的に強制しない。
1)プレフィックスの格付け蒸留は、リストワイドロスを用いた事前量子化埋め込みによって誘導されるプレフィックスと整合する; (ii)語彙スケジューリングは、コードブックを増大させる。
論文 参考訳（メタデータ） (2026-06-08T09:15:47Z) - Adaptive Generate-Rank-Verify: Inference-Time Search with Costly Verification [8.614387395852896]
我々は、学習理論レンズを生成能動探索として用いて、コスト感受性の第1正探索問題を定式化する。
固定プロンプトでは、ジェネレータと報酬モデルが2つの未知のオブジェクトを誘導する。
本稿では,サンプル応答数やトップランク検証を段階的に増加させる,シェルワイズ適応型生成ランク検証アルゴリズムADAPを提案する。
論文 参考訳（メタデータ） (2026-05-17T19:10:30Z) - APAO: Adaptive Prefix-Aware Optimization for Generative Recommendation [26.371939617653084]
生成レコメンデーションは自動回帰生成プロセスであり、ユーザインタラクション履歴に基づいて、次の項目の離散トークンを予測する。
既存の生成レコメンデーションモデルは、通常、クロスエントロピー損失のようなトークンレベルの可能性目標で訓練される。
標準的なトレーニングでは、推論中にビームサーチが低確率の分岐を産み出すという事実を無視して、地道の歴史が常に利用可能であると仮定している。
論文 参考訳（メタデータ） (2026-03-03T08:29:15Z) - The Hidden Cost of Approximation in Online Mirror Descent [56.99972253009168]
オンラインミラー降下(OMD)は、最適化、機械学習、シーケンシャルな意思決定において多くのアルゴリズムの基盤となる基本的なアルゴリズムパラダイムである。
本研究では,不正確なOMDに関する系統的研究を開始し,正規化器の滑らかさと近似誤差に対する頑健さとの複雑な関係を明らかにする。
論文 参考訳（メタデータ） (2025-11-27T10:09:07Z) - A Principled Approach to Randomized Selection under Uncertainty: Applications to Peer Review and Grant Funding [61.86327960322782]
本稿では,各項目の品質の間隔推定に基づくランダム化意思決定の枠組みを提案する。
最適化に基づく最適化手法であるMERITを導入する。
MERITが既存のアプローチで保証されていない望ましい公理特性を満たすことを証明している。
論文 参考訳（メタデータ） (2025-06-23T19:59:30Z) - Minimax Optimality in Contextual Dynamic Pricing with General Valuation Models [8.981637739384674]
意思決定者は、観測可能なコンテキストに基づいてパーソナライズされた価格を投稿する。
それぞれのバリュエーションはコンテキストの未知の潜在関数としてモデル化され、独立性と同一に分散された市場ノイズによって破損する。
論文 参考訳（メタデータ） (2024-06-24T23:43:56Z) - Bandit-Feedback Online Multiclass Classification: Variants and Tradeoffs [32.29254118429081]
我々は,帯域幅フィードバックの下での最適誤りが,全情報ケースの最適誤りよりも少なくとも$O(k)$倍高いことを示す。
また、ランダム化学習者と決定論的学習者の間のギャップに対して、$tildeTheta(k)$のほぼ最適な境界を示す。
論文 参考訳（メタデータ） (2024-02-12T07:20:05Z) - Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。
本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。
我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
論文 参考訳（メタデータ） (2023-05-01T02:37:59Z) - PiRank: Learning To Rank via Differentiable Sorting [85.28916333414145]
ランク付けのための新しい分類可能なサロゲートであるPiRankを提案する。
ピランクは所望の指標をゼロ温度の限界で正確に回収する。
論文 参考訳（メタデータ） (2020-12-12T05:07:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。