論文の概要: Aligning Dense Retrievers with LLM Utility via DistillationAligning Dense Retrievers with LLM Utility via Distillation

• arxiv url: http://arxiv.org/abs/2604.22722v1
• Date: Fri, 24 Apr 2026 17:18:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-27 15:36:26.541244
• Title: Aligning Dense Retrievers with LLM Utility via DistillationAligning Dense Retrievers with LLM Utility via Distillation
• Title（参考訳）: 蒸留によるLLM有効性を有するDense Retrieverの調整 蒸留によるLLM有用性を有するDense Retrieverの調整
• Authors: Rajinder Sandhu, Di Mu, Cheng Chang, Md Shahriar Tasjid, Himanshu Rai, Maksims Volkovs, Ga Wu,
• Abstract要約: UAE(Utility-Aligned Embeddings)は、検索と生成ユーティリティを統合するためのフレームワークである。 UAEは検索リコール@1を30.59%改善し、MAPを30.16%、Token F1を17.3%改善した。 UAEは、競争性能を維持する効率的なLLM再分類法よりも180倍以上高速である。
• 参考スコア（独自算出の注目度）: 13.439895359551853
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dense vector retrieval is the practical backbone of Retrieval- Augmented Generation (RAG), but similarity search can suffer from precision limitations. Conversely, utility-based approaches leveraging LLM re-ranking often achieve superior performance but are computationally prohibitive and prone to noise inherent in perplexity estimation. We propose Utility-Aligned Embeddings (UAE), a framework designed to merge these advantages into a practical, high-performance retrieval method. We formulate retrieval as a distribution matching problem, training a bi-encoder to imitate a utility distribution derived from perplexity reduction using a Utility-Modulated InfoNCE objective. This approach injects graded utility signals directly into the embedding space without requiring test-time LLM inference. On the QASPER benchmark, UAE improves retrieval Recall@1 by 30.59%, MAP by 30.16% and Token F1 by 17.3% over the strong semantic baseline BGE-Base. Crucially, UAE is over 180x faster than the efficient LLM re-ranking methods preserving competitive performance, demonstrating that aligning retrieval with generative utility yields reliable contexts at scale.
• Abstract（参考訳）: デンスベクトル検索は、検索-拡張生成(RAG)の実践的なバックボーンであるが、類似性検索は精度の限界に悩まされる可能性がある。 逆に、LLMを再ランク付けするユーティリティベースのアプローチは、しばしば優れた性能を達成するが、計算的に禁止され、難易度推定に固有のノイズが生じる。 本稿では,これらの利点を実用的で高性能な検索手法にマージするフレームワークであるUAEを提案する。 我々は,分散マッチング問題として検索を定式化し,ユーティリティ変調InfoNCEの目的を用いて,複雑度低減から導かれるユーティリティ分布を模倣するバイエンコーダを訓練する。 このアプローチは、テスト時間LLM推論を必要とせずに、グレード付きユーティリティ信号を埋め込み空間に直接注入する。 QASPERのベンチマークでは、UAEは検索リコール@1を30.59%改善し、MAPを30.16%、Token F1を17.3%改善した。 重要なことに、UAEは競争性能を維持する効率的なLLM再分類法よりも180倍以上高速であり、検索と生成ユーティリティの整合性は、大規模に信頼性の高いコンテキストをもたらすことを証明している。

関連論文リスト

• iCoRe: An Iterative Correlation-Aware Retriever for Bug Reproduction Test Generation [10.824024745675281]
  iCoReは反復的相関型コンテキスト検索手法である。 本手法はFail-to-Passレートをそれぞれ42.0%,52.8%とする。
  論文  参考訳（メタデータ） (2026-04-21T08:26:30Z)
• AceGRPO: Adaptive Curriculum Enhanced Group Relative Policy Optimization for Autonomous Machine Learning Engineering [52.67783579040657]
  AceGRPOは、エージェントの学習フロンティアにおけるタスクを優先順位付けして学習効率を最大化する機械学習システムである。 我々のトレーニングされたAce-30Bモデルは、MLE-Bench-Lite上で100%有効な応募率を実現し、プロプライエタリなフロンティアモデルの性能にアプローチし、より大きなオープンソースベースラインを上回ります。
  論文  参考訳（メタデータ） (2026-02-08T10:55:03Z)
• Prism: Efficient Test-Time Scaling via Hierarchical Search and Self-Verification for Discrete Diffusion Language Models [96.0074341403456]
  LLM推論を改善するための実用的な方法として、推論時計算が再導入されている。 テスト時間スケーリング(TTS)アルゴリズムの多くは、自動回帰デコーディングに依存している。 そこで我々は,dLLM のための効率的な TTS フレームワーク Prism を提案する。
  論文  参考訳（メタデータ） (2026-02-02T09:14:51Z)
• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• LURE-RAG: Lightweight Utility-driven Reranking for Efficient RAG [15.963908827464296]
  効率的なRAGのための軽量ユーティリティ駆動型リグレードを提案する。 効率的なLambdaベースのリランカでブラックボックスレトリバーを拡張する。 競争力があり、最先端の高密度ニューラルネットワークの97-98%に達する。
  論文  参考訳（メタデータ） (2026-01-27T12:26:31Z)
• Distilling a Small Utility-Based Passage Selector to Enhance Retrieval-Augmented Generation [110.610512800947]
  Retrieval-augmented Generation (RAG)は、取得した情報を組み込むことで、大規模言語モデル(LLM)を強化する。 RAGでは、重要度は実用性に移行し、正確な回答を生成するためのパスの有用性を考慮している。 提案手法は、ランク付けよりもユーティリティベースの選択に重点を置いており、固定しきい値を必要とせずに、特定のクエリに合わせた動的通過選択を可能にする。 本実験は, 実用性に基づく選択により, RAGの柔軟性とコスト効率が向上し, 計算コストが大幅に低減され, 応答品質が向上することを示した。
  論文  参考訳（メタデータ） (2025-07-25T09:32:29Z)
• Efficiency-Effectiveness Reranking FLOPs for LLM-based Rerankers [17.658542084440082]
  大規模言語モデル(LLM)は,情報検索におけるタスクの再分類に応用され,高い性能を実現している。 既存の研究では、遅延、フォワードパス数、入力トークン、出力トークンなどのプロキシメトリクスを使用して、LCMベースのリランカの効率を評価する。 本稿では、PetaFLOP当たりのランキング品質(例えば、NDCGやMRR)と、PetaFLOP当たりのクエリ数(PetaFLOPあたりのクエリ数)を測るRCPを提案する。
  論文  参考訳（メタデータ） (2025-07-08T17:56:28Z)
• Iterative Self-Incentivization Empowers Large Language Models as Agentic Searchers [74.17516978246152]
  大規模言語モデル(LLM)は、従来の手法を進化させるために情報検索に広く統合されている。 エージェント検索フレームワークであるEXSEARCHを提案する。 4つの知識集約ベンチマークの実験では、EXSEARCHはベースラインを大幅に上回っている。
  論文  参考訳（メタデータ） (2025-05-26T15:27:55Z)
• Effective Inference-Free Retrieval for Learned Sparse Representations [19.54810957623511]
  Learned Sparse Retrieval (LSR)は、学習された単語の袋にテキストをエンコードするために訓練済みの言語モデルを利用する効果的なIRアプローチである。 近年,新たな効率的な逆インデックスベース検索エンジンが提案されており,LSRモデルのトレーニングにおいて正規化の役割が変化したのか,という自然な疑問が投げかけられている。 より効率的なLSRエンコーダを生成するために、正規化を緩和できることが示される。
  論文  参考訳（メタデータ） (2025-04-30T09:10:46Z)
• SePer: Measure Retrieval Utility Through The Lens Of Semantic Perplexity Reduction [20.6787276745193]
  本稿では、RAGフレームワーク内の情報ゲインのレンズを通して、検索品質を測定する自動評価手法を提案する。 検索の利便性を,検索後の意味的難易度を低減する程度で定量化する。
  論文  参考訳（メタデータ） (2025-03-03T12:37:34Z)
• FIRST: Faster Improved Listwise Reranking with Single Token Decoding [56.727761901751194]
  まず、第1生成識別子の出力ロジットを活用して、候補のランク付け順序を直接取得する新しいリストワイズLLMリグレードアプローチであるFIRSTを紹介する。 実験結果から、BEIRベンチマークの利得により、FIRSTはロバストなランキング性能を維持しつつ、推論を50%高速化することが示された。 以上の結果から,LLMリランカーはクロスエンコーダに比べて強い蒸留信号を提供できることが示唆された。
  論文  参考訳（メタデータ） (2024-06-21T21:27:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。