論文の概要: Towards Trustworthy Reranking: A Simple yet Effective Abstention Mechanism
- arxiv url: http://arxiv.org/abs/2402.12997v5
- Date: Wed, 25 Sep 2024 14:37:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-09-27 08:20:05.282716
- Title: Towards Trustworthy Reranking: A Simple yet Effective Abstention Mechanism
- Title(参考訳): 信頼できる再評価に向けて - シンプルだが効果的な回避メカニズム
- Authors: Hippolyte Gisserot-Boukhlef, Manuel Faysse, Emmanuel Malherbe, Céline Hudelot, Pierre Colombo,
- Abstract要約: 実世界の制約に合わせた軽量な禁制機構を提案する。
ブラックボックスシナリオにおける禁忌戦略を評価するためのプロトコルを提案する。
実験複製と禁忌実装のためのオープンソースコードを提供する。
- 参考スコア(独自算出の注目度): 15.197178797284808
- License:
- Abstract: Neural Information Retrieval (NIR) has significantly improved upon heuristic-based Information Retrieval (IR) systems. Yet, failures remain frequent, the models used often being unable to retrieve documents relevant to the user's query. We address this challenge by proposing a lightweight abstention mechanism tailored for real-world constraints, with particular emphasis placed on the reranking phase. We introduce a protocol for evaluating abstention strategies in black-box scenarios (typically encountered when relying on API services), demonstrating their efficacy, and propose a simple yet effective data-driven mechanism. We provide open-source code for experiment replication and abstention implementation, fostering wider adoption and application in diverse contexts.
- Abstract(参考訳): ニューラル情報検索 (NIR) はヒューリスティックベースの情報検索 (IR) システムで大幅に改善されている。
しかし、失敗は頻繁であり、使用されていたモデルは、ユーザのクエリに関連するドキュメントを取得できないことが多い。
我々は、現実世界の制約に合わせた軽量な禁制機構を提案することで、この問題に対処する。
ブラックボックスシナリオ(一般的にAPIサービスに依存している場合に発生する)における禁忌戦略を評価するためのプロトコルを導入し、その有効性を実証し、シンプルで効果的なデータ駆動機構を提案する。
我々は、様々な状況下で広く採用され応用されるように、実験的なレプリケーションと禁忌実装のためのオープンソースコードを提供しています。
関連論文リスト
- HUWSOD: Holistic Self-training for Unified Weakly Supervised Object Detection [66.42229859018775]
我々は,HUWSOD(HuWSOD)と呼ばれる,統一・高容量弱教師付きオブジェクト検出(WSOD)ネットワークを導入する。
HUWSODには、自己管理された提案生成器と、従来のオブジェクト提案を置き換えるために、マルチレートで再構成されたピラミッドを備えたオートエンコーダ提案生成器が組み込まれている。
提案手法は,よく設計されたオフラインオブジェクト提案と大きく異なるが,WSOD訓練には有効であることを示す。
論文 参考訳(メタデータ) (2024-06-27T17:59:49Z) - Pessimistic Causal Reinforcement Learning with Mediators for Confounded Offline Data [17.991833729722288]
我々は新しいポリシー学習アルゴリズム PESsimistic CAusal Learning (PESCAL) を提案する。
我々のキーとなる観察は、システム力学における作用の効果を媒介する補助変数を組み込むことで、Q-関数の代わりに媒介物分布関数の下位境界を学習することは十分であるということである。
提案するアルゴリズムの理論的保証とシミュレーションによる有効性の実証、および主要な配車プラットフォームからのオフラインデータセットを利用した実世界の実験を提供する。
論文 参考訳(メタデータ) (2024-03-18T14:51:19Z) - Enhancing Security in Federated Learning through Adaptive
Consensus-Based Model Update Validation [2.28438857884398]
本稿では,ラベルフリップ攻撃に対して,FL(Federated Learning)システムを構築するための高度なアプローチを提案する。
本稿では,適応的しきい値設定機構と統合されたコンセンサスに基づく検証プロセスを提案する。
以上の結果から,FLシステムのレジリエンスを高め,ラベルフリップ攻撃の顕著な緩和効果が示唆された。
論文 参考訳(メタデータ) (2024-03-05T20:54:56Z) - Single-Reset Divide & Conquer Imitation Learning [49.87201678501027]
デモはDeep Reinforcement Learningアルゴリズムの学習プロセスを高速化するために一般的に使用される。
いくつかのアルゴリズムは1つのデモンストレーションから学習するために開発されている。
論文 参考訳(メタデータ) (2024-02-14T17:59:47Z) - REX: Rapid Exploration and eXploitation for AI Agents [103.68453326880456]
本稿では、REXと呼ばれるAIエージェントのための高速探索およびeXploitationのための改良されたアプローチを提案する。
REXは追加の報酬層を導入し、アッパー信頼境界(UCB)スコアに似た概念を統合し、より堅牢で効率的なAIエージェントのパフォーマンスをもたらす。
論文 参考訳(メタデータ) (2023-07-18T04:26:33Z) - Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。
実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
論文 参考訳(メタデータ) (2023-03-11T11:42:26Z) - Free Lunch for Generating Effective Outlier Supervision [46.37464572099351]
本稿では, ほぼ現実的な外乱監視を実現するための超効率的な手法を提案する。
提案したtextttBayesAug は,従来の方式に比べて偽陽性率を 12.50% 以上削減する。
論文 参考訳(メタデータ) (2023-01-17T01:46:45Z) - Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。
この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。
本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-06-08T04:09:13Z) - Error-based Knockoffs Inference for Controlled Feature Selection [49.99321384855201]
本手法では, ノックオフ特徴量, エラーベース特徴重要度統計量, ステップダウン手順を一体化して, エラーベースのノックオフ推定手法を提案する。
提案手法では回帰モデルを指定する必要はなく,理論的保証で特徴選択を処理できる。
論文 参考訳(メタデータ) (2022-03-09T01:55:59Z) - Active recursive Bayesian inference using R\'enyi information measures [11.1748531496641]
本稿では,統合された推論とクエリ選択ステップを備えたベイズ推論フレームワークを提案する。
提案手法が相互情報などの従来の手法より優れていることを示す。
本稿では,レストランレコメンデーションとブレイン・コンピュータ・インタフェース(BCI)タイピングシステムの2つの応用に関する実証的および実験的性能評価を行う。
論文 参考訳(メタデータ) (2020-04-07T05:52:58Z) - Towards Probabilistic Verification of Machine Unlearning [30.892906429582904]
本稿では,データ削除要求に対する検証機構の設計について研究する形式的枠組みを提案する。
提案手法は,機械学習サービスの精度に最小限の影響を与えるが,未学習に対する信頼性の高い検証を可能にする。
論文 参考訳(メタデータ) (2020-03-09T16:39:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。