論文の概要: Probabilistic Relevance Decisions for Semantic Retrieval
- arxiv url: http://arxiv.org/abs/2611.08014v1
- Date: Thu, 05 Nov 2026 13:36:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-07 04:55:13.522079
- Title: Probabilistic Relevance Decisions for Semantic Retrieval
- Title(参考訳): 意味検索における確率的妥当性の決定
- Abstract要約: BGE-M3とTypeSafe Jev NoulとOpenAI Deisions Predicateのスコアを公式のBEIR SciFactテストベンチマークで比較した。
本研究は,正に富んだ100文書プールと全コーパス高密度検索を用いて,300のオフィシャルテストクエリを評価した。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Dense similarity supplies reusable corpus representations, while probabilistic relevance decisions offer query-dependent document scoring. We compare dense-only BGE-M3 with TypeSafe Jev Noul and OpenAI Decisions Predicate scores on the official BEIR SciFact test benchmark. The study evaluates 300 official test queries using identical positive-enriched 100-document pools and full-corpus dense retrieval followed by reranking at candidate depths of 50 and 100. Unlike the controlled pools, neither dense prefix receives positive injection. Jev has the highest observed Recall@5 and nDCG@10 under the evaluated conditions. At depth 50, full-corpus nDCG@10 is 0.6413 for BGE-M3, 0.7545 with OpenAI and 0.7805 with Jev. Extending depth from 50 to 100 increases known-positive candidate recall but produces small, uncertain final-effectiveness changes. All four paired-bootstrap depth intervals include zero. Unique-condition API scoring cost approximately doubles, while compatible cached decisions reduce incremental expenditure. OpenAI returns many exact-zero scores, and secondary exact-tie randomization reveals ranking sensitivity without replacing deterministic primary results. Top-100 latency mixes cached and new execution. Historical hybrid latency is a saved-component sum under different execution environments and timer boundaries. These exploratory, unadjusted analyses support relevance decisions as a complement to dense retrieval within this protocol, without establishing general superiority, probability calibration or equivalence between depths.
- Abstract(参考訳): デンス類似性は再利用可能なコーパス表現を提供し、確率論的関連性決定はクエリ依存の文書スコアを提供する。
BGE-M3とTypeSafe Jev NoulとOpenAI Deisions Predicateのスコアを公式のBEIR SciFactテストベンチマークで比較した。
本研究は, 正に富んだ100文書プールと全コーパス高密度検索を用いて300のオフィシャルテストクエリを評価し, 候補深度50と100に再ランク付けした。
制御されたプールとは異なり、密接な接頭辞は正の注入を受けない。
Jevは評価条件下で最も観測されたRecall@5とnDCG@10である。
深さ50では、BGE-M3では0.6413、OpenAIでは0.7545、Jevでは0.7805である。
深さを50から100まで延長すると、既知の候補リコールが増加するが、小さな、不確実な最終効果の変化が生じる。
4対のブートストラップ深さ間隔は全て0を含む。
ユニークな条件のAPIスコアリングは、約2倍のコストがかかるが、互換性のあるキャッシュ決定により、インクリメンタルな支出が削減される。
OpenAIは多くの正確なゼロスコアを返します。
Top-100レイテンシはキャッシュと新しい実行を混在させる。
歴史的ハイブリッドレイテンシは、異なる実行環境とタイマ境界下での保存-コンポーネント和である。
これらの探索的、調整されていない分析は、一般的な優位性、確率校正、深さ間の等価性を確立することなく、このプロトコル内の密集検索を補完する関係決定を支持する。
関連論文リスト
- Local Budget Benefits, Population Commitment, and Solver Performance: A DGO Case Study with Controlled DE Transfer [1.1476333098478089]
我々は、地方予算価値、人口コミットメント効果、完全政治性能を定義する。
ショートホライゾンは、適格な州に有利な比較を行った。
24 個のボックス化された BBOB 関数では、テスト済みの古典的ポリシーよりも、目標切り離された幾何平均誤差比が JQ100 に有利である。
論文 参考訳(メタデータ) (2026-10-30T00:39:19Z) - FastJEV: Understanding Redundancy for Compact JEV Inference [48.031042955286885]
JEVモデルは、候補者を直接採点することで、マルチモーダルな決定を行う。
JEV評価は、一致するトークン履歴、重複した推論状態を繰り返し、完全なバックボーンを実行することができる。
共有には、後続のブランチの保存状態が必要であるため、履歴の再利用と状態ストレージを共同で管理します。
論文 参考訳(メタデータ) (2026-10-08T07:11:14Z) - Probability Contracts: Accuracy, Coherence, and Decisions Across LLM Interfaces [10.720985236309462]
本稿では,有限世界後部を正確に接続するベンチマーク,イベントアライメントの検証,インタフェースのコヒーレンス,フェール・アウェアな決定評価について紹介する。
1000の世界の4つのモデル-インタフェース構成の中で、ケブはJevよりも集合正準後誤差が低いが、補体と粗い残差が大きい。
Jev の Event と Choice インターフェースは、有効なペアの 32.8% のバイナリアクションを、遅延コスト 0.10 で変更する。
論文 参考訳(メタデータ) (2026-09-27T19:07:58Z) - Correlation-Guided Encoder Selection for Multi-Encoder Large Audio-Language Models [52.59216139491759]
CUES (Correlation-gUided Selection) は、単エンコーダ評価のみから選択中の融合訓練なしで設定された候補をスコアする。
広いトラックAスイートでは、CUESはクロスファミリートリオ(Whisper-medium、mHuBERT-147、Dasheng-base)を選択する。
TrackBテキスト生成では、フォーカスされた音声のみのペア(mHuBERT-147とWavLM-base-plus)で再アンカーする。
論文 参考訳(メタデータ) (2026-09-16T02:41:41Z) - LINE Conversation History Retrieval for Personal Memory RAG: Evaluating Search Representations and Hybrid Retrieval [0.0]
本研究では、あるユーザのLINE会話履歴に関する検索専用ケーススタディを提案する。
我々は358,896のメッセージを22,329の時間的コヒーレントなチャンクに分割し、3つの検索表現を構築した。
一つのアノテータで検証した100個の評価質問に対して,BM25,密度ベクトル検索,線形ハイブリッド検索を比較した。
論文 参考訳(メタデータ) (2026-08-28T00:52:11Z) - RASP-QAOA: Resource-Aware Per-Instance Selection for Exact QAOA Simulation [10.033340735277916]
厳密なQAOAシミュレーションは、グラフ構造、回路深さ、精度、利用可能なメモリ間で有用な領域が著しく異なるいくつかの計算表現にまたがる。
10個のアクションにまたがるインスタンスごとのセレクタであるRASP-QAOAを導入する。
60-request H200の評価では、RASP-QAOAは少なくとも1つの許容可能なアクションが完了し、検証される31の要求すべてで成功する。
論文 参考訳(メタデータ) (2026-08-06T06:41:41Z) - Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。
シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
論文 参考訳(メタデータ) (2026-04-11T10:47:22Z) - Deterministic Fuzzy Triage for Legal Compliance Classification and Evidence Retrieval [0.0]
法律チームはますます、大量の契約上の証拠をトリアージするために機械学習を使用している。
多くのモデルは不透明で非決定論的であり、HIPAAやNERC-CIPのようなフレームワークと整合するのは難しい。
決定論的双対エンコーダと透明なファジィトリアージバンドに基づく簡単な再現可能な代替法について検討する。
論文 参考訳(メタデータ) (2026-03-08T00:31:34Z) - IntRec: Intent-based Retrieval with Contrastive Refinement [42.24292951933703]
IntRecは対話型オブジェクト検索フレームワークで、ユーザーのフィードバックに基づいて予測を洗練する。
中心となるIntent State(IS)は、正のアンカー(確認されたキュー)と負の制約(拒絶された仮説)のための二重メモリセットを維持する。
論文 参考訳(メタデータ) (2026-02-19T18:50:53Z) - Reference-Free Rating of LLM Responses via Latent Information [53.463883683503106]
本研究では,判断モデルに対して,自由テキスト応答にQuattスケールのスコアを割り当てるよう依頼する一般的な実践について検討する。
次に、内部モデル信号からスカラー評価を導出する潜在裁判官を提案し、評価する。
ペアとシングルレーティングのベンチマークの幅広いスイートの中で、潜在メソッドは標準のプロンプトにマッチするか、超えている。
論文 参考訳(メタデータ) (2025-09-29T12:15:52Z) - Reducing Variance in Temporal-Difference Value Estimation via Ensemble
of Deep Networks [109.59988683444986]
MeanQは単純なアンサンブル法であり、ターゲット値をアンサンブル平均として推定する。
本稿では,Atari Learning Environmentベンチマークを用いた実験において,MeanQが顕著なサンプル効率を示すことを示す。
論文 参考訳(メタデータ) (2022-09-16T01:47:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。