論文の概要: In-Context Optimization for Retrieval-Augmented Generation: A Gradient-Descent Perspective

• arxiv url: http://arxiv.org/abs/2605.26356v1
• Date: Mon, 25 May 2026 22:04:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-27 17:51:41.484178
• Title: In-Context Optimization for Retrieval-Augmented Generation: A Gradient-Descent Perspective
• Title（参考訳）: 検索拡張ジェネレーションのインコンテキスト最適化:グラディエント・ディフレッシュな視点
• Authors: Mingchen Li, Jiatan Huang, Chuxu Zhang, Liang Zhao, Hong Yu,
• Abstract要約: テキスト内最適化プロセスとしてのRAGについて検討する。 1つの線形自己アテンション層は、統一線形化RAG目的に対して1つの勾配-退化ステップを実装可能であることを示す。 我々は、このビューをROG LLMの軽量な方法に変換する。
• 参考スコア（独自算出の注目度）: 39.37659538213411
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-context learning has recently been linked to implicit gradient descent in linear self-attention models, suggesting that context can induce a forward-pass update. Retrieval-augmented generation (RAG) also relies on context, but retrieved documents are usually treated as static evidence rather than signals for adaptation. We study RAG as an in-context optimization process. First, we show that one linear self-attention layer can implement one gradient-descent step on a unified linearized RAG objective covering both projection-based and dot-product retrieval interfaces. This gives an exact regime where retrieval-augmented prediction and in-context optimization coincide. We use this result not as a literal model of LLM computation, but as a guide for adapting the interaction between queries and retrieved evidence. We then test the boundary of this correspondence: it remains stable under controlled linear extensions, but becomes feature-distribution dependent under nonlinear architectures. Finally, we turn this view into a lightweight method for frozen RAG LLMs. The method keeps the retriever and backbone fixed, and predicts a context-conditioned update to a generator-side evidence-use interface. Across seven QA benchmarks, two retrievers, and two frozen LLM backbones, this forward-only update improves a shared-interface baseline, transfers to held-out tasks, and approaches test-time gradient adaptation at much lower per-query cost.
• Abstract（参考訳）: 文脈学習は、最近、線形自己注意モデルにおける暗黙の勾配降下と関連付けられており、文脈が前方通過更新を誘発する可能性があることを示唆している。 Retrieval-augmented Generation (RAG) もコンテキストに依存しているが、検索された文書は通常、適応のための信号ではなく静的な証拠として扱われる。 テキスト内最適化プロセスとしてのRAGについて検討する。 まず, 1 つの線形自己アテンション層が, 投影型とドット型の両方の検索インタフェースをカバーする統一線形化 RAG の目的に対して, 1 つの勾配-ディフレッシュステップを実装可能であることを示す。 これにより、検索拡張予測とコンテキスト内最適化が一致した正確な状態が得られる。 この結果は LLM 計算のリテラルモデルとしてではなく,クエリと検索されたエビデンス間の相互作用に適応するためのガイドとして用いられる。 制御された線形拡張の下では安定だが、非線形アーキテクチャでは特徴分布に依存する。 最後に、このビューをROG LLMの軽量な方法に変換する。 このメソッドは、レトリバーとバックボーンを固定し、ジェネレータ側のエビデンス・ユースインターフェースに対するコンテキスト条件の更新を予測する。 7つのQAベンチマーク、2つのレトリバー、2つの凍結LDMバックボーンにまたがって、このフォワードオンリーのアップデートは、共有インターフェースベースラインを改善し、保留タスクに転送し、クエリ毎のコストよりもはるかに低いテスト時間勾配適応にアプローチする。

関連論文リスト

• Retrieve-then-Adapt: Retrieval-Augmented Test-Time Adaptation for Sequential Recommendation [17.159956938670174]
  逐次レコメンデーション(SR)モデルは、推論中にリアルタイムの選好シフトに適応するのに苦労することが多い。 提案するRetrieve-then-Adapt(ReAd)は,ユーザ嗜好信号を抽出して,SRモデルをテスト分布に動的に適用する新しいフレームワークである。 5つのベンチマークデータセットにわたる大規模な実験は、ReAdが既存のSRメソッドを一貫して上回っていることを示している。
  論文  参考訳（メタデータ） (2026-04-07T03:24:56Z)
• Optimizing RAG Rerankers with LLM Feedback via Reinforcement Learning [47.963236269307735]
  リランカはRetrieval-Augmented Generationの検索結果の精錬において重要な役割を果たす。 現在のリグレードモデルは通常、ダウンストリーム生成プロセスから切り離された静的な人間アノテートされた関連ラベルに独立して最適化される。 本稿では,LLMの生成品質と直接整合する強化学習フレームワークであるReRanking Preference Optimization(RRPO)を紹介する。
  論文  参考訳（メタデータ） (2026-04-02T14:19:47Z)
• ReCALL: Recalibrating Capability Degradation for MLLM-based Composed Image Retrieval [64.14282916266998]
  Composed Image Retrievalは、参照画像と修正テキストからなるハイブリッドクエリに基づいてターゲット画像を取得することを目的としている。 本稿では,診断・生成・再定義パイプラインに従うモデルに依存しないフレームワークであるReCALLを提案する。 CIRRとFashionIQの実験では、ReCALLは継続的に劣化した機能を再検討し、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2026-02-02T04:52:54Z)
• RouteRAG: Efficient Retrieval-Augmented Generation from Text and Graph via Reinforcement Learning [69.87510139069218]
  Retrieval-Augmented Generation (RAG)は、非パラメトリック知識をLarge Language Models (LLM)に統合する 強化学習(RL)による多ターン推論へのテキストベースRAGの進歩 LLMがマルチターンおよび適応的なグラフテキストハイブリッドRAGを実現するためのRLベースのフレームワークであるモデルを導入する。
  論文  参考訳（メタデータ） (2025-12-10T10:05:31Z)
• LTRR: Learning To Rank Retrievers for LLMs [53.285436927963865]
  ルーティングベースのRAGシステムは、単一リトリバーベースのシステムよりも優れていることを示す。 パフォーマンス向上は、特にAnswer Correctness(AC)メトリックでトレーニングされたモデルで顕著である。 SIGIR 2025 LiveRAG チャレンジの一環として,提案システムを用いて提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2025-06-16T17:53:18Z)
• Maximally-Informative Retrieval for State Space Model Generation [59.954191072042526]
  テスト時に特定のクエリに対するモデル不確実性を最小化するために、Retrieval In-Context Optimization (RICO)を導入する。 文書検索に外部に依存した従来の検索強化生成(RAG)とは異なり,本手法はモデルから直接のフィードバックを利用する。 モデル勾配を用いた標準のトップ$kの検索は、最適化手順を近似し、残余損失への接続を提供することを示す。
  論文  参考訳（メタデータ） (2025-06-13T18:08:54Z)
• Direct Retrieval-augmented Optimization: Synergizing Knowledge Selection and Language Models [83.8639566087953]
  本稿では,2つの主要コンポーネントのエンドツーエンドトレーニングを可能にするDROという,直接検索拡張最適化フレームワークを提案する。 DROは、 (i) 文書置換推定と (ii) 再重み付けされ、段階的に改善されたRAGコンポーネントの2つのフェーズの間で交代する。 理論解析により,DROは強化学習における政策段階的な手法に類似していることが明らかとなった。
  論文  参考訳（メタデータ） (2025-05-05T23:54:53Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
  大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。 この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
  論文  参考訳（メタデータ） (2024-03-31T08:58:54Z)
• Prompt Generate Train (PGT): Few-shot Domain Adaption of Retrieval Augmented Generation Models for Open Book Question-Answering [0.0]
  そこで本稿では,テキスト文書のプロプライエタリなコレクション上で,オープンブック質問応答のための生成的質問応答モデルを効率的に開発する枠組みを提案する。 このフレームワークは、教師付き微調整および強化学習を用いて、レトリバー拡張生成(RAG)モデルを対象領域に適応させる。
  論文  参考訳（メタデータ） (2023-07-12T04:44:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。