論文の概要: Nothing Left Behind: Embedding Retrieval and Language Model Screening for High Recall Evidence Search
- arxiv url: http://arxiv.org/abs/2610.36910v2
- Date: Wed, 28 Oct 2026 09:40:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-30 22:39:27.522891
- Title: Nothing Left Behind: Embedding Retrieval and Language Model Screening for High Recall Evidence Search
- Title(参考訳): 何も残っていない:高速リコールエビデンス検索のための検索と言語モデルスクリーニングの埋め込み
- Abstract要約: ImpactAIは、7,354のランダム化試験に基づいて構築されたエビデンス合成アプリケーションである。
分類学に基づく検索と文の埋め込みに基づく別のニューラル検索を比較した。
中央値では、クエリの検索とスクリーニングには77秒を要し、分類学検索には6秒を要する。
結果は,埋め込みによる証拠の発見,分類ラベルによる分類,各クエリで利用可能な時間に応じた候補数の設定,などが示唆された。
- 参考スコア(独自算出の注目度): 7.370933486458541
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: AI systems that ground their answers from retrieved documents usually need only a few relevant passages, but applications such as systematic reviews and legal discovery need nearly all of them, because their conclusions rest on the full body of evidence. These applications have traditionally searched with curated taxonomies, which can only find what their vocabulary describes. We compare taxonomy-based retrieval with an alternative neural retrieval based on sentence embeddings and followed by language model screening in ImpactAI, an evidence synthesis application built on 7,354 randomized trials. Measured against the studies included in 29 systematic reviews, the share of studies found rises from 45% to 85%, and the screening model agrees with human annotators as well as annotators agree with each other. This gain comes at a cost in speed: at the median, retrieving and screening evidence for a query takes 77 seconds, against 6 seconds for taxonomy retrieval. The results suggest finding evidence with embeddings, organizing it with taxonomy labels, and setting how many candidates to screen according to the time available for each query.
- Abstract(参考訳): 検索された文書から回答を得るAIシステムは、通常、いくつかの関連するパスしか必要としないが、体系的なレビューや法的な発見のような応用には、ほぼすべてが必要である。
これらのアプリケーションは伝統的にキュレートされた分類学で検索され、それらの語彙が示すものしか見つからない。
7,354件のランダム化試験に基づいて構築されたエビデンス合成アプリケーションであるImpactAIにおいて,分類に基づく検索と文埋め込みに基づく代替のニューラル検索を比較した。
29の体系的レビューに含まれる研究に対して測定したところ、調査のシェアは45%から85%に上昇し、スクリーニングモデルはヒトのアノテーターと一致し、アノテーターは互いに一致している。
クエリの中央値の検索とスクリーニングには77秒を要し、分類学検索には6秒を要する。
結果は,埋め込みによる証拠の発見,分類ラベルによる分類,各クエリで利用可能な時間に応じた候補数の設定,などが示唆された。
関連論文リスト
- One Size Does Not Fit All: Exploring Variable Thresholds for Distance-Based Multi-Label Text Classification [1.8165993946919816]
距離に基づく教師なしテキスト分類では、ラベルとテキスト間の意味的類似性を使用してラベルの関連性を決定する。
類似度分布は、モデル、データセット、さらにはラベルセットの間で統計的に有意な差異を示す。
検証セットを用いてラベル固有の閾値を最適化する新しい手法を提案する。
論文 参考訳(メタデータ) (2025-10-13T08:52:14Z) - Chain of Retrieval: Multi-Aspect Iterative Search Expansion and Post-Order Search Aggregation for Full Paper Retrieval [68.71038700559195]
The Chain of Retrieval (COR) is a novel repeaterative framework for full-paper search。
SCIBENCH(SCIBENCH)は、クエリと候補のための全論文の完全なコンテキストとセグメント化されたコンテキストを提供するベンチマークである。
論文 参考訳(メタデータ) (2025-07-14T08:41:53Z) - Exploiting Conjugate Label Information for Multi-Instance Partial-Label Learning [61.00359941983515]
MIPL(Multi-instance partial-label Learning)は、各トレーニングサンプルが1つの真のラベルといくつかの偽陽性を含む候補ラベルセットに関連付けられたマルチインスタンスバッグとして表現されるシナリオに対処する。
ELIMIPLは共役ラベル情報を利用して曖昧性を改善する。
論文 参考訳(メタデータ) (2024-08-26T15:49:31Z) - Large language models can accurately predict searcher preferences [12.134907765184572]
本稿では,ラベルの品質向上のための代替手法を提案する。
実際のユーザーからの注意深いフィードバックが受けられる。これは定義上、高品質のファースト・パーティ・ゴールド・データだ。
大規模な言語モデルは、人間のラベルラーと同じくらいの精度で有効であることがわかった。
論文 参考訳(メタデータ) (2023-09-19T13:55:39Z) - Exploring Structured Semantic Prior for Multi Label Recognition with
Incomplete Labels [60.675714333081466]
不完全なラベルを持つマルチラベル認識(MLR)は非常に難しい。
最近の研究は、視覚言語モデルであるCLIPにおける画像とラベルの対応を探り、不十分なアノテーションを補うことを目指している。
我々は,MLRにおけるラベル管理の欠如を,構造化されたセマンティクスを導出することにより,不完全なラベルで修復することを提唱する。
論文 参考訳(メタデータ) (2023-03-23T12:39:20Z) - MATCH: Metadata-Aware Text Classification in A Large Hierarchy [60.59183151617578]
MATCHはメタデータと階層情報の両方を利用するエンドツーエンドのフレームワークである。
親による各子ラベルのパラメータと出力確率を正規化するさまざまな方法を提案します。
大規模なラベル階層を持つ2つの大規模なテキストデータセットの実験は、MATCHの有効性を示しています。
論文 参考訳(メタデータ) (2021-02-15T05:23:08Z) - Interaction Matching for Long-Tail Multi-Label Classification [57.262792333593644]
既存のマルチラベル分類モデルにおいて,制約に対処するためのエレガントで効果的なアプローチを提案する。
ソフトなn-gram相互作用マッチングを実行することで、ラベルと自然言語記述をマッチングする。
論文 参考訳(メタデータ) (2020-05-18T15:27:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。