論文の概要: One Model Is Enough: Native Retrieval Embeddings from LLM Agent Hidden States

• arxiv url: http://arxiv.org/abs/2603.08429v1
• Date: Mon, 09 Mar 2026 14:25:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-10 15:13:16.204361
• Title: One Model Is Enough: Native Retrieval Embeddings from LLM Agent Hidden States
• Title（参考訳）: LLMのエージェントが隠された状態のネイティブな検索用埋め込みモデル
• Authors: Bo Jiang,
• Abstract要約: 本稿では,隠れ状態を直接埋め込み空間にマッピングする軽量プロジェクションヘッドを提案する。 QReCCの会話型検索ベンチマークの実験では、標準生成コードパイプラインと比較して、Recall@10とMRR@10が競合している。
• 参考スコア（独自算出の注目度）: 5.647839536820347
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLM agents that retrieve external knowledge typically generate a search query as text, then run a separate embedding model to encode it into a vector. This two-model pipeline adds infrastructure complexity and latency, yet is redundant: the LLM already encodes the full conversational context in its hidden states. We propose equipping LLM agents with native retrieval capability by adding a lightweight projection head that maps hidden states directly into the embedding space, eliminating the need for a separate embedding model. Trained with a combination of alignment, contrastive, and rank distillation losses, our method retains 97\% of baseline retrieval quality while enabling the LLM agent to search with its own representations. Experiments on the QReCC conversational search benchmark show competitive Recall@10 and MRR@10 compared to the standard generate-then-encode pipeline, with systematic ablations confirming the contribution of each loss component.
• Abstract（参考訳）: 外部知識を検索するLLMエージェントは通常、テキストとして検索クエリを生成し、別の埋め込みモデルを実行してベクターにエンコードする。 この2モデルパイプラインは、インフラストラクチャの複雑さとレイテンシを増すが、冗長である。 隠れ状態を直接埋め込み空間にマッピングする軽量なプロジェクションヘッドを付加し,別の埋め込みモデルの必要性を排除し,LLMエージェントにネイティブ検索機能を持たせることを提案する。 本手法は,アライメント,コントラスト,ランク蒸留の損失を併用して学習し,ベースライン検索品質の97%を維持しながら,LLMエージェントを独自の表現で検索する。 QReCCの会話検索ベンチマークの実験では、標準生成コードパイプラインと比較して、Recall@10とMRR@10が競合している。

関連論文リスト

• LLM as a Neural Architect: Controlled Generation of Image Captioning Models Under Strict API Contracts [48.83701310501069]
  LLM誘導型ニューラルネットワーク探索パイプラインであるNN-Captionを提案する。 LEMURの分類バックボーンからCNNエンコーダを構成することで、実行可能な画像キャプチャモデルを生成する。 この作業では、プロンプトベースのコード生成と自動評価を統合するパイプラインを提示する。
  論文  参考訳（メタデータ） (2025-12-07T10:47:28Z)
• Hint-Augmented Re-ranking: Efficient Product Search using LLM-Based Query Decomposition [20.966359103135762]
  LLMは,eコマースクエリにおいて最下位の意図を明らかにすることができることを示す。 提案手法では,クエリを検索と同時に生成した属性値ヒントに分解する。 本手法はMAPにおける検索効率を10.9ポイント改善し,ベースライン上のMRRにおいて5.9ポイントのランク付けを行う。
  論文  参考訳（メタデータ） (2025-11-17T23:53:25Z)
• LLM-guided Hierarchical Retrieval [54.73080745446999]
  LATTICEは階層的な検索フレームワークであり、LLMは対数探索の複雑さで大きなコーパスを推論し、ナビゲートすることができる。 LLM誘導探索における中心的な課題は、モデルの関連性判断がノイズが多く、文脈に依存し、階層性に気付かないことである。 我々のフレームワークは、推論集約型BRIGHTベンチマークで最先端のゼロショット性能を実現する。
  論文  参考訳（メタデータ） (2025-10-15T07:05:17Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• Refiner: Restructure Retrieval Content Efficiently to Advance Question-Answering Capabilities [30.1331670544648]
  大規模言語モデル(LLM)はパラメトリックな知識によって制限され、知識集約的なタスクに幻覚をもたらす。 我々は、RAGの検索後のプロセスで機能するエンドツーエンドの抽出・再構成パラダイムである$textitRefiner$を提案する。
  論文  参考訳（メタデータ） (2024-06-17T09:25:10Z)
• PromptReps: Prompting Large Language Models to Generate Dense and Sparse Representations for Zero-Shot Document Retrieval [76.50690734636477]
  本稿では,PmptRepsを提案する。このPmptRepsは,トレーニングを必要とせず,コーパス全体から検索できる機能である。 検索システムは、高密度テキスト埋め込みとスパースバッグ・オブ・ワード表現の両方を利用する。
  論文  参考訳（メタデータ） (2024-04-29T04:51:30Z)
• Description-Based Text Similarity [59.552704474862004]
  我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。 そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-21T17:14:31Z)
• Large Language Models are Strong Zero-Shot Retriever [89.16756291653371]
  ゼロショットシナリオにおける大規模検索に大規模言語モデル(LLM)を適用するための簡単な手法を提案する。 我々の手法であるRetriever(LameR)は,LLM以外のニューラルモデルに基づいて構築された言語モデルである。
  論文  参考訳（メタデータ） (2023-04-27T14:45:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。