論文の概要: Seek: Self-Evaluative Exploration for Knowledge Retrieval
- arxiv url: http://arxiv.org/abs/2609.28980v1
- Date: Thu, 24 Sep 2026 03:47:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 21:10:09.699045
- Title: Seek: Self-Evaluative Exploration for Knowledge Retrieval
- Title(参考訳): Seek: 知識検索のための自己評価探索
- Abstract要約: Seek, Self-Evaluative Exploration for Knowledge Retrievalを紹介します。これは、テスト時に反復的なコーパスインタラクションを通じて、この制限に対処するトレーニング不要のフレームワークです。
TREC Deep Learningでは、Seekマッチはランキング品質でリランカーを訓練し、シングルパスBM25よりも継続的にRecall@100を改善した。
- 参考スコア(独自算出の注目度): 21.59901422714961
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: LLM-based retrievers and rerankers have advanced passage ranking, yet both paradigms interact with the corpus in a single pass and commit to the resulting candidate set, leaving relevant documents permanently unrecoverable once missed. We introduce Seek, Self-Evaluative Exploration for Knowledge Retrieval, a training-free framework that addresses this limitation through iterative corpus interaction at test time. At each round, an LLM generates pseudo-passages conditioned on accumulated relevance feedback, a retriever surfaces fresh candidates, and a dedicated assessor assigns graded relevance judgments that guide subsequent rounds. On TREC Deep Learning, Seek matches trained rerankers in ranking quality while consistently improving Recall@100 over single-pass BM25. On the reasoning-intensive BRIGHT benchmark, Seek with Qwen2.5-7B achieves an 82% relative gain over BM25, surpassing all trained baselines, and Seek with GPT-4.1 reaches 37.4 average nDCG@10, exceeding the strongest baseline by 37%.
- Abstract(参考訳): LLMベースのレトリバーとリランカは高度なパスランキングを持つが、どちらのパラダイムも1回のパスでコーパスと相互作用し、結果の候補セットにコミットする。
Seek, Self-Evaluative Exploration for Knowledge Retrievalを紹介します。これは、テスト時に反復的なコーパスインタラクションを通じて、この制限に対処するトレーニング不要のフレームワークです。
各ラウンドにおいて、LLMは、蓄積された関連性フィードバックに条件付けられた擬似パスを生成し、レトリバーは、新しい候補を表面化し、専用アセスメント器は、その後のラウンドを案内する格付けされた関連性判断を割り当てる。
TREC Deep Learningでは、Seekマッチはランキング品質でリランカーを訓練し、シングルパスBM25よりも継続的にRecall@100を改善した。
推論集約的なBRIGHTベンチマークでは、Qwen2.5-7BのSeekはBM25よりも82%上昇し、すべてのトレーニングされたベースラインを上回り、GPT-4.1のSeekは37.4の平均nDCG@10に達し、最強のベースラインを37%上回っている。
関連論文リスト
- Efficient GPU Retrieval for Semantic Search [11.631441668563802]
本稿では、LinkedInのポリシー整合型検索フレームワークを提案する。
軽量のシングルスロットStage-1スコアラは、ハイリコール候補を生成する。
21Kのホールドアウトクエリでは、この表現は一致した容量ベースラインに対するオフラインの関連性を改善する。
論文 参考訳(メタデータ) (2026-08-29T00:38:27Z) - ABSeeker: Training Long-Horizon Search Agents via Answer-Backtracked Credit Assignment [66.45065414461274]
ロングホライゾン検索エージェントは、最終的な答えを得るために証拠を検索、検索、検証、統合するための複数のシーケンシャルなアクション(ステップ)をしなければならない。
本稿では,長距離検索エージェントを訓練するためのきめ細かい信用割当てフレームワークであるAnswer-Backtracked Credit Assignment (ABC)を提案する。
ABCは、スパース軌跡レベルの結果を、誤動作や冗長な動作を抑えながら、有用な動作(たとえ軌道が失敗しても)を報いるような、密度の高いステップレベルの監視に変換する。
論文 参考訳(メタデータ) (2026-08-05T17:41:31Z) - Beyond Self-Knowledge: Propagating Uncertainty Across Reasoning and Retrieval in LLMs [4.476374205849672]
ブラックボックス言語モデルの言語的信頼度は、検索ルーティングのための実用的な信号として機能する。
6つのQAベンチマーク、3つのモデルファミリー、3つの検索ポリシーで27,000のポリシーインスタンスを評価した。
論文 参考訳(メタデータ) (2026-07-28T11:30:25Z) - ARBOR: Online Process Rewards via a Reusable Rubric Buffer for Search Agents [48.80766702702854]
LLMベースの検索エージェントは、主に結果のみの報酬で訓練され、検索プロセス自体は監督されていない。
この信号は、全てのサンプル軌跡が同じ正当性を共有する結果同質な群に対して退化し、群内の優位性はゼロとなり、勾配は得られない。
ARBOR(Adaptive Buffer for Online Reward)は,クエリ間で共有されるルーリックメモリを維持する再利用可能なプロセス・リワードフレームワークである。
論文 参考訳(メタデータ) (2026-06-02T06:58:54Z) - Step-wise Rubric Rewards for LLM Reasoning [72.17879367869503]
RLVR(Reinforcement Learning with Verifiable Rewards)は、大規模言語モデルの推論を改善するために広く使われている。
正しい回答の18.2%は間違っているが、肯定的な報酬がある。
6つの数学的推論ベンチマークで、SRaRはRaRの平均精度を3.57ポイント改善した。
論文 参考訳(メタデータ) (2026-05-17T07:08:14Z) - Re-Rankers as Relevance Judges [65.37611299805856]
再ランカ・アズ・レバレンス・ジャッジ設定で再ランカを再現する。
TREC-DL 2019〜2023では,220Mから32Bの3家族から8人の再ランカを対象に実験を行い,再ランカに基づく審査員による評価バイアスを分析した。
論文 参考訳(メタデータ) (2026-01-08T00:02:59Z) - RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。
ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。
これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
論文 参考訳(メタデータ) (2025-11-27T07:20:52Z) - Foundational Automatic Evaluators: Scaling Multi-Task Generative Evaluator Training for Reasoning-Centric Domains [97.5573252172065]
自動推論評価器(FARE)のファミリーを,簡易な反復的リジェクションサンプリング制御による微調整手法で訓練する。
FARE-8Bはより大型のRL訓練評価器に挑戦し、FARE-20Bはオープンソース評価器の新しい標準となる。
推論時リランカとして、FARE-20BはMATH上でのニアオークル性能を達成する。
論文 参考訳(メタデータ) (2025-10-20T17:52:06Z) - Fact or Facsimile? Evaluating the Factual Robustness of Modern Retrievers [34.31192184496381]
デンスレトリバーとリランカーは、検索強化世代(RAG)パイプラインの中心である。
我々は,これらのコンポーネントがベースとする大規模言語モデル(LLM)をどの程度の事実的能力で継承するか,あるいは失うかを評価する。
全ての埋め込みモデルにおいて、クエリと正しい完了の間のコサイン類似度スコアは、間違ったものよりも著しく高い。
論文 参考訳(メタデータ) (2025-08-28T04:13:51Z) - Deep Retrieval at CheckThat! 2025: Identifying Scientific Papers from Implicit Social Media Mentions via Hybrid Retrieval and Re-Ranking [4.275139302875217]
CLEF CheckThat! 2025コンペティションのサブタスク4bに対するDeep Retrievalチームの方法論と結果を示す。
本稿では,語彙的精度,意味的一般化,文脈的再ランク付けを併用したハイブリッド検索パイプラインを提案する。
提案手法は, 開発セットで76.46%, 隠されたテストセットで66.43%の平均相反ランクを5 (MRR@5) 達成する。
論文 参考訳(メタデータ) (2025-05-29T08:55:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。