論文の概要: Streamlining Conformal Information Retrieval via Score Refinement
- arxiv url: http://arxiv.org/abs/2410.02914v1
- Date: Thu, 03 Oct 2024 19:05:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-07 15:11:03.273522
- Title: Streamlining Conformal Information Retrieval via Score Refinement
- Title(参考訳): スコアリファインメントによるコンフォーマル情報検索
- Authors: Yotam Intrator, Ori Kelner, Regev Cohen, Roman Goldenberg, Ehud Rivlin, Daniel Freedman,
- Abstract要約: 本稿では,単純なモノトーン変換を検索スコアに適用し,より小さな共形集合を実現するスコアリファインメント法を提案する。
BEIRベンチマーク実験により,コンパクトな集合の生成におけるアプローチの有効性が検証された。
- 参考スコア(独自算出の注目度): 11.220373666664468
- License:
- Abstract: Information retrieval (IR) methods, like retrieval augmented generation, are fundamental to modern applications but often lack statistical guarantees. Conformal prediction addresses this by retrieving sets guaranteed to include relevant information, yet existing approaches produce large-sized sets, incurring high computational costs and slow response times. In this work, we introduce a score refinement method that applies a simple monotone transformation to retrieval scores, leading to significantly smaller conformal sets while maintaining their statistical guarantees. Experiments on various BEIR benchmarks validate the effectiveness of our approach in producing compact sets containing relevant information.
- Abstract(参考訳): 情報検索(IR)法は、検索拡張生成のような手法は、現代の応用には基礎的だが、しばしば統計的保証を欠いている。
コンフォーマル予測は、関連する情報を含むことが保証された集合を検索することでこの問題に対処するが、既存のアプローチでは大きな集合を生成し、計算コストが高く、応答時間が遅い。
本研究では, 単純な単調変換を検索スコアに適用し, 統計的保証を維持しつつ, コンフォメーションセットを著しく小さくするスコアリファインメント法を提案する。
各種BEIRベンチマーク実験により, 関連情報を含むコンパクトな集合の生成において, 提案手法の有効性が検証された。
関連論文リスト
- Concurrent Brainstorming & Hypothesis Satisfying: An Iterative Framework
for Enhanced Retrieval-Augmented Generation (R2CBR3H-SR) [0.456877715768796]
本研究では,革新的かつ反復的な検索拡張生成システムを提案する。
本手法は,ベクトル空間駆動型再分類機構と同時ブレーンストーミングを統合し,関連性の高い文書の検索を高速化する。
本研究は、知識集約型アプリケーションにおける資源効率の高い情報抽出と抽象化のための新しいベンチマークを定め、知的検索システムにおける最先端を推し進めるものである。
論文 参考訳(メタデータ) (2024-01-03T17:01:44Z) - Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。
我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文 参考訳(メタデータ) (2023-12-27T09:03:43Z) - Deep Ensembles Meets Quantile Regression: Uncertainty-aware Imputation for Time Series [45.76310830281876]
量子回帰に基づくタスクネットワークのアンサンブルを用いて不確実性を推定する新しい手法であるQuantile Sub-Ensemblesを提案する。
提案手法は,高い損失率に頑健な高精度な計算法を生成するだけでなく,非生成モデルの高速な学習により,計算効率も向上する。
論文 参考訳(メタデータ) (2023-12-03T05:52:30Z) - Large-scale Fully-Unsupervised Re-Identification [78.47108158030213]
大規模未ラベルデータから学ぶための2つの戦略を提案する。
第1の戦略は、近傍関係に違反することなく、それぞれのデータセットサイズを減らすために、局所的な近傍サンプリングを行う。
第2の戦略は、低時間上限の複雑さを持ち、メモリの複雑さを O(n2) から O(kn) に k n で還元する新しい再帰的手法を利用する。
論文 参考訳(メタデータ) (2023-07-26T16:19:19Z) - A robust method for reliability updating with equality information using
sequential adaptive importance sampling [8.254850675268957]
信頼性更新(Reliability update)とは、ベイジアン更新技術と構造的信頼性解析を統合した問題である。
本稿では,逐次重要サンプリングとK平均クラスタリングを組み合わせたRU-SAISという革新的な手法を提案する。
その結果, RU-SAISは既存手法よりも精度が高く, 堅牢な後方故障確率推定が可能であることが示唆された。
論文 参考訳(メタデータ) (2023-03-08T12:55:40Z) - Conformal Frequency Estimation using Discrete Sketched Data with
Coverage for Distinct Queries [35.67445122503686]
本稿では、非常に大きな離散データセットにおいて、問合せ対象の周波数に対する信頼区間を構築するための共形推論手法を開発する。
提案手法は,シミュレーションにおける既存の頻繁主義者やベイズ的な代替手法と比較して,経験的性能が向上したことを示す。
論文 参考訳(メタデータ) (2022-11-09T00:05:29Z) - COSTI: a New Classifier for Sequences of Temporal Intervals [0.0]
時間間隔のシーケンスを直接操作する新しい分類法を開発した。
提案手法は高い精度を保ち、変換データの操作に接続する欠点を回避しつつ、より良い性能が得られる。
論文 参考訳(メタデータ) (2022-04-28T12:55:06Z) - Distributed Dynamic Safe Screening Algorithms for Sparse Regularization [73.85961005970222]
本稿では,分散動的安全スクリーニング(DDSS)手法を提案し,共有メモリアーキテクチャと分散メモリアーキテクチャにそれぞれ適用する。
提案手法は, 線形収束率を低次複雑度で達成し, 有限個の繰り返しにおいてほとんどすべての不活性な特徴をほぼ確実に除去できることを示す。
論文 参考訳(メタデータ) (2022-04-23T02:45:55Z) - Conformalized Frequency Estimation from Sketched Data [6.510507449705344]
非常に大きなデータセットでクエリされたオブジェクトの周波数に対する信頼区間を構築するために、フレキシブルな共形推論法を開発した。
アプローチは完全にデータ適応的であり、人口分布やスケッチアルゴリズムの内部動作に関する知識を一切利用しない。
論文 参考訳(メタデータ) (2022-04-08T19:39:37Z) - Self-Certifying Classification by Linearized Deep Assignment [65.0100925582087]
そこで我々は,PAC-Bayesリスク認定パラダイム内で,グラフ上のメトリックデータを分類するための新しい深層予測器のクラスを提案する。
PAC-Bayesの最近の文献とデータに依存した先行研究に基づいて、この手法は仮説空間上の後続分布の学習を可能にする。
論文 参考訳(メタデータ) (2022-01-26T19:59:14Z) - Risk Minimization from Adaptively Collected Data: Guarantees for
Supervised and Policy Learning [57.88785630755165]
経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。
本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。
政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
論文 参考訳(メタデータ) (2021-06-03T09:50:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。