論文の概要: Reinforcing Compositional Retrieval: Retrieving Step-by-Step for Composing Informative Contexts

• arxiv url: http://arxiv.org/abs/2504.11420v1
• Date: Tue, 15 Apr 2025 17:35:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-16 22:10:29.361882
• Title: Reinforcing Compositional Retrieval: Retrieving Step-by-Step for Composing Informative Contexts
• Title（参考訳）: 構成検索の強化:不定形文脈の構成のためのステップバイステップの検索
• Authors: Quanyu Long, Jianda Chen, Zhengyuan Liu, Nancy F. Chen, Wenya Wang, Sinno Jialin Pan,
• Abstract要約: 大規模言語モデル(LLM)は、多くのタスクにまたがる顕著な機能を示してきたが、複雑なタスクを扱うために外部のコンテキストに依存していることが多い。 我々は、このプロセスをマルコフ決定プロセス(MDP)としてモデル化するトリエンコーダシーケンシャルレトリバーを提案する。 提案手法は,サンプル間の依存関係を明示的にモデル化することの重要性を強調し,ベースラインを一貫して大幅に上回ることを示す。
• 参考スコア（独自算出の注目度）: 67.67746334493302
• License:
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities across numerous tasks, yet they often rely on external context to handle complex tasks. While retrieval-augmented frameworks traditionally focus on selecting top-ranked documents in a single pass, many real-world scenarios demand compositional retrieval, where multiple sources must be combined in a coordinated manner. In this work, we propose a tri-encoder sequential retriever that models this process as a Markov Decision Process (MDP), decomposing the probability of retrieving a set of elements into a sequence of conditional probabilities and allowing each retrieval step to be conditioned on previously selected examples. We train the retriever in two stages: first, we efficiently construct supervised sequential data for initial policy training; we then refine the policy to align with the LLM's preferences using a reward grounded in the structural correspondence of generated programs. Experimental results show that our method consistently and significantly outperforms baselines, underscoring the importance of explicitly modeling inter-example dependencies. These findings highlight the potential of compositional retrieval for tasks requiring multiple pieces of evidence or examples.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多くのタスクにまたがる顕著な機能を示してきたが、複雑なタスクを扱うために外部のコンテキストに依存していることが多い。 検索強化されたフレームワークは、伝統的に1つのパスで上位のドキュメントを選択することに重点を置いているが、現実のシナリオの多くは、複数のソースを協調的に組み合わせなければならない構成的検索を要求する。 本研究では,この過程をマルコフ決定過程 (MDP) としてモデル化し,要素の集合を条件付き確率列に分解し,各検索ステップを予め選択した例で条件付けできる3エンコーダシーケンシャルレトリバーを提案する。 まず、初期政策訓練のための教師付きシーケンシャルデータを効率的に構築し、次に、生成されたプログラムの構造的対応に基づく報酬を用いて、LCMの嗜好に合うようにポリシーを洗練する。 実験結果から,本手法はベースラインを一貫して大幅に上回り,サンプル間の依存関係を明示的にモデル化することの重要性が示唆された。 これらの知見は,複数のエビデンスや事例を必要とする課題に対する構成的検索の可能性を強調した。

関連論文リスト

• Re-ranking the Context for Multimodal Retrieval Augmented Generation [28.63893944806149]
  Retrieval-augmented Generation (RAG)は、文脈内で応答を生成するために外部知識を組み込むことで、大きな言語モデル(LLM)を強化する。 RAGシステムは固有の課題に直面している: (i) 検索プロセスはユーザクエリ(画像、文書など)への無関係なエントリを選択することができ、 (ii) 視覚言語モデルや GPT-4o のようなマルチモーダル言語モデルは、RAG出力を生成するためにこれらのエントリを処理する際に幻覚を与える。 より高度な関連性尺度を用いることで、知識ベースからより関連性の高い項目を選択して排除することにより、検索プロセスを強化することができることを示す。
  論文  参考訳（メタデータ） (2025-01-08T18:58:22Z)
• Bridging Search and Recommendation in Generative Retrieval: Does One Task Help the Other? [9.215695600542249]
  検索とレコメンデーションのための生成的検索は、アイテムを検索する上で有望なパラダイムである。 これらの生成システムは、様々な情報検索タスクを単一のモデルにまとめる上で重要な役割を果たす。 本稿では,このような統合されたアプローチが,IRタスクの検索・推薦においてタスク固有モデルより優れているかどうかを考察する。
  論文  参考訳（メタデータ） (2024-10-22T08:49:43Z)
• Generative Retrieval Meets Multi-Graded Relevance [104.75244721442756]
  GRADed Generative Retrieval (GR$2$)というフレームワークを紹介します。 GR$2$は2つの重要なコンポーネントに焦点を当てている。 マルチグレードとバイナリの関連性を持つデータセットの実験は,GR$2$の有効性を示した。
  論文  参考訳（メタデータ） (2024-09-27T02:55:53Z)
• ACE: A Generative Cross-Modal Retrieval Framework with Coarse-To-Fine Semantic Modeling [53.97609687516371]
  我々は、エンドツーエンドのクロスモーダル検索のための先駆的なジェネリッククロスモーダル rEtrieval framework (ACE) を提案する。 ACEは、クロスモーダル検索における最先端のパフォーマンスを達成し、Recall@1の強いベースラインを平均15.27%上回る。
  論文  参考訳（メタデータ） (2024-06-25T12:47:04Z)
• Learning to Retrieve Iteratively for In-Context Learning [56.40100968649039]
  イテレーティブ検索は、ポリシー最適化によるイテレーティブな意思決定を可能にする、新しいフレームワークである。 テキスト内学習例を構成するための反復型検索器をインスタンス化し,様々な意味解析タスクに適用する。 ステートエンコーディングのためのパラメータを4M追加するだけで、オフザシェルフの高密度レトリバーをステートフル反復レトリバーに変換する。
  論文  参考訳（メタデータ） (2024-06-20T21:07:55Z)
• Retrieval as Attention: End-to-end Learning of Retrieval and Reading within a Single Transformer [80.50327229467993]
  学習した1つのモデルが競合検索とQA性能の両方を達成可能であることを示す。 エンドツーエンド適応は、教師なし設定と教師なし設定の両方において、ドメイン外のデータセットのパフォーマンスを大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2022-12-05T04:51:21Z)
• ReSel: N-ary Relation Extraction from Scientific Text and Tables by Learning to Retrieve and Select [53.071352033539526]
  学術論文からN-ary関係を抽出する問題について考察する。 提案手法であるReSelは,このタスクを2段階のプロシージャに分解する。 3つの科学的情報抽出データセットに対する実験により、ReSelは最先端のベースラインを大きく上回っていることがわかった。
  論文  参考訳（メタデータ） (2022-10-26T02:28:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。