論文の概要: Two-stage Conformal Risk Control with Application to Ranked Retrieval

• arxiv url: http://arxiv.org/abs/2404.17769v2
• Date: Sat, 02 Nov 2024 08:06:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 21:26:34.100350
• Title: Two-stage Conformal Risk Control with Application to Ranked Retrieval
• Title（参考訳）: 2段階コンフォーマルリスク制御とランク付き検索への応用
• Authors: Yunpeng Xu, Mufang Ying, Wenge Guo, Zhi Wei,
• Abstract要約: 2段階のランク付け検索は、機械学習システムにとって重要な課題である。 両段階の閾値を共同で同定し,各段階のリスクを制御するための統合的アプローチを提案する。 提案アルゴリズムは,全ての可能なしきい値に対して,重み付けされた予測セットサイズの組み合わせをさらに最適化することにより,より効率的な予測セットを実現する。
• 参考スコア（独自算出の注目度）: 1.8481458455172357
• License:
• Abstract: Many practical machine learning systems, such as ranking and recommendation systems, consist of two concatenated stages: retrieval and ranking. These systems present significant challenges in accurately assessing and managing the uncertainty inherent in their predictions. To address these challenges, we extend the recently developed framework of conformal risk control, originally designed for single-stage problems, to accommodate the more complex two-stage setup. We first demonstrate that a straightforward application of conformal risk control, treating each stage independently, may fail to maintain risk at their pre-specified levels. Therefore, we propose an integrated approach that considers both stages simultaneously, devising algorithms to control the risk of each stage by jointly identifying thresholds for both stages. Our algorithm further optimizes for a weighted combination of prediction set sizes across all feasible thresholds, resulting in more effective prediction sets. Finally, we apply the proposed method to the critical task of two-stage ranked retrieval. We validate the efficacy of our method through extensive experiments on two large-scale public datasets, MSLR-WEB and MS MARCO, commonly used for ranked retrieval tasks.
• Abstract（参考訳）: ランキングシステムやレコメンデーションシステムなど多くの実践的な機械学習システムは、検索とランキングという2つの統合段階から構成されている。 これらのシステムは、予測に固有の不確かさを正確に評価し、管理する上で重要な課題となる。 これらの課題に対処するため、我々は、より複雑な2段階設定に対応するために、もともとシングルステージ問題のために設計された共形リスク制御のフレームワークを拡張した。 まず、各段階を個別に扱う共形リスクコントロールの簡単な適用は、事前に特定されたレベルにおいてリスクを維持できない可能性があることを実証する。 そこで本稿では,両ステージを同時に検討し,両ステージのしきい値を共同同定することで,各ステージのリスクを制御するアルゴリズムを考案する。 提案アルゴリズムは,全ての可能なしきい値に対して,重み付けされた予測セットサイズの組み合わせをさらに最適化し,より効率的な予測セットを実現する。 最後に,提案手法を2段階のランク付け検索のクリティカルタスクに適用する。 提案手法の有効性は,MSLR-WEBとMS MARCOの2つの大規模公開データセットを用いた広範囲な実験により検証した。

関連論文リスト

• Sample then Identify: A General Framework for Risk Control and Assessment in Multimodal Large Language Models [46.56041622514975]
  リスク管理とアセスメントのための2段階のフレームワークであるTRONを紹介する。 TRONは、2つのユーザ特定リスクレベルに制限された所望のエラー率を達成する。 重複予測セットは適応性を維持しつつ、異なるリスクレベルのリスク評価に対してより効率的で安定である。
  論文  参考訳（メタデータ） (2024-10-10T17:50:42Z)
• Last-Iterate Global Convergence of Policy Gradients for Constrained Reinforcement Learning [62.81324245896717]
  我々はC-PGと呼ばれる探索非依存のアルゴリズムを導入し、このアルゴリズムは(弱)勾配支配仮定の下でのグローバルな最終点収束を保証する。 制約付き制御問題に対して,我々のアルゴリズムを数値的に検証し,それらを最先端のベースラインと比較する。
  論文  参考訳（メタデータ） (2024-07-15T14:54:57Z)
• Conformal Risk Control for Ordinal Classification [2.0189665663352936]
  我々は,多くの実問題に適用可能な順序分類タスクの予測における共形リスクの制御を模索する。 そこで我々は,2種類の損失関数を特殊に設計し,各ケースの予測セットを決定するアルゴリズムを開発した。 提案手法の有効性を実証し、3つの異なるデータセットにおける2種類のリスクの違いを分析した。
  論文  参考訳（メタデータ） (2024-05-01T09:55:31Z)
• A Deep Reinforcement Learning Approach to Rare Event Estimation [30.670114229970526]
  自律システムの設計における重要なステップは、失敗が起こる確率を評価することである。 安全クリティカルな領域では、モンテカルロサンプリングによる政策の評価が非効率であるように、失敗確率は非常に小さい。 逐次意思決定システムにおいて、稀な事象の確率を効率的に推定できる2つの適応的重要度サンプリングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-11-22T18:29:14Z)
• Large-Scale Sequential Learning for Recommender and Engineering Systems [91.3755431537592]
  本稿では,現在の状況に適応してパーソナライズされたランキングを提供する自動アルゴリズムの設計に焦点を当てる。 前者はSAROSと呼ばれる新しいアルゴリズムを提案し,インタラクションの順序を学習するためのフィードバックの種類を考慮に入れている。 提案手法は, 電力網の故障検出に対する初期アプローチと比較して, 統計的に有意な結果を示す。
  論文  参考訳（メタデータ） (2022-05-13T21:09:41Z)
• Sample-Based Bounds for Coherent Risk Measures: Applications to Policy Synthesis and Verification [32.9142708692264]
  本稿では,リスク認識の検証と政策合成に関するいくつかの問題に対処することを目的とする。 まず,確率変数分布のサブセットを評価するサンプルベース手法を提案する。 第二に、決定空間の大部分を上回る問題に対する解を決定するロボットベースの手法を開発する。
  論文  参考訳（メタデータ） (2022-04-21T01:06:10Z)
• Exploration in two-stage recommender systems [79.50534282841618]
  2段階のレコメンデータシステムは、スケーラビリティと保守性のために業界で広く採用されている。 このセットアップの鍵となる課題は、各ステージの最適性能が最適なグローバルパフォーマンスを暗示していないことである。 そこで本研究では,ランクとノミネーター間の探索戦略を同期させる手法を提案する。
  論文  参考訳（メタデータ） (2020-09-01T16:52:51Z)
• Combining Deep Learning and Optimization for Security-Constrained Optimal Power Flow [94.24763814458686]
  セキュリティに制約のある最適電力フロー(SCOPF)は、電力システムの基本である。 SCOPF問題におけるAPRのモデル化は、複雑な大規模混合整数プログラムをもたらす。 本稿では,ディープラーニングとロバスト最適化を組み合わせた新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-07-14T12:38:21Z)
• Towards Model-Agnostic Post-Hoc Adjustment for Balancing Ranking Fairness and Algorithm Utility [54.179859639868646]
  Bipartiteランキングは、ラベル付きデータから正の個人よりも上位の個人をランク付けするスコアリング機能を学ぶことを目的としている。 学習したスコアリング機能が、異なる保護グループ間で体系的な格差を引き起こすのではないかという懸念が高まっている。 本稿では、二部構成のランキングシナリオにおいて、それらのバランスをとるためのモデル後処理フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-15T10:08:39Z)
• Bottom-Up Temporal Action Localization with Mutual Regularization [107.39785866001868]
  TALの最先端の解決策は、3つの行動指示相のフレームレベルの確率を評価することである。 学習手順を相互に規則化するための2つの規則化用語を導入する。 実験は2つの人気のTALデータセット、THUMOS14とActivityNet1.3で行われている。
  論文  参考訳（メタデータ） (2020-02-18T03:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。