論文の概要: TongSearch-QR: Reinforced Query Reasoning for Retrieval

• arxiv url: http://arxiv.org/abs/2506.11603v2
• Date: Mon, 16 Jun 2025 03:35:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 13:01:17.503436
• Title: TongSearch-QR: Reinforced Query Reasoning for Retrieval
• Title（参考訳）: TongSearch-QR: Reinforceed Query Reasoning for Retrieval
• Authors: Xubo Qin, Jun Bai, Jiaqi Li, Zixia Jia, Zilong Zheng,
• Abstract要約: TongSearch QRは、クエリ推論と推論集約検索における書き換えのための、小規模言語モデルのファミリーである。 半ルールに基づく新たな報酬関数により、より小さな言語モデルを実現する強化学習アプローチを採用する。 BRIGHTベンチマークの実験結果によると、BM25をリトリーバーとして、TongSearch QR-7BとTongSearch QR-1.5Bモデルの両方が既存のベースラインを大幅に上回っている。
• 参考スコア（独自算出の注目度）: 22.833651162995615
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Traditional information retrieval (IR) methods excel at textual and semantic matching but struggle in reasoning-intensive retrieval tasks that require multi-hop inference or complex semantic understanding between queries and documents. One promising solution is to explicitly rewrite or augment queries using large language models (LLMs) to elicit reasoning-relevant content prior to retrieval. However, the widespread use of large-scale language models like GPT-4 or LLaMA3-70B remains impractical due to their high inference cost and limited deployability in real-world systems. In this work, we introduce TongSearch QR (Previously Known as "TongSearch Reasoner"), a family of small-scale language models for query reasoning and rewriting in reasoning-intensive retrieval. With a novel semi-rule-based reward function, we employ reinforcement learning approaches enabling smaller language models, e,g, Qwen2.5-7B-Instruct and Qwen2.5-1.5B-Instruct, to achieve query reasoning performance rivaling large-scale language models without their prohibitive inference costs. Experiment results on BRIGHT benchmark show that with BM25 as retrievers, both TongSearch QR-7B and TongSearch QR-1.5B models significantly outperform existing baselines, including prompt-based query reasoners and some latest dense retrievers trained for reasoning-intensive retrieval tasks, offering superior adaptability for real-world deployment.
• Abstract（参考訳）: 従来の情報検索(IR)手法は、テキストとセマンティックマッチングにおいて優れているが、マルチホップ推論やクエリとドキュメント間の複雑なセマンティック理解を必要とする推論集約的な検索タスクに苦慮している。 1つの有望な解決策は、大きな言語モデル(LLM)を使用してクエリを明示的に書き直したり、拡張したりして、検索に先立って推論関連コンテンツを引き出すことである。 しかし、GPT-4やLLaMA3-70Bのような大規模言語モデルの普及は、推論コストが高く、実際のシステムでのデプロイが制限されているため、依然として現実的ではない。 本研究では,クエリ推論と推論集約検索のための小型言語モデルであるTongSearch QR(以前はTongSearch Reasonerと呼ばれていた)を紹介する。 新たな半ルール型報酬関数を用いて,より小さな言語モデル,例えばQwen2.5-7B-インストラクトとQwen2.5-1.5B-インストラクトを実現する強化学習手法を用いて,大規模言語モデルと競合するクエリ推論性能を実現する。 TongSearch QR-7B と TongSearch QR-1.5B は、BRIGHT ベンチマークの結果、BM25 をリトリーバーとして使用することにより、既存のベースラインを大幅に上回っている。

関連論文リスト

• ReSearch: Learning to Reason with Search for LLMs via Reinforcement Learning [37.183397387416065]
  本稿では,強化学習を通じてLLMをReason with Searchに学習するフレームワークであるReSearchを提案する。 提案手法では,検索操作を推論チェーンの不可欠な要素として扱う。 分析によると、ReSearchは自然にリフレクションや自己訂正のような高度な推論機能を引き出す。
  論文  参考訳（メタデータ） (2025-03-25T09:00:58Z)
• Pseudo Relevance Feedback is Enough to Close the Gap Between Small and Large Dense Retrieval Models [29.934928091542375]
  大規模言語モデル (LLM) のバックボーンに高密度レトリバーを拡張させることは, 検索効率を向上させる主要な戦略である。 本稿では,機能ベースの擬似関連フィードバック(PRF)フレームワークであるPromptPRFを紹介する。
  論文  参考訳（メタデータ） (2025-03-19T04:30:20Z)
• CodeXEmbed: A Generalist Embedding Model Family for Multiligual and Multi-task Code Retrieval [103.116634967815]
  CodeXEmbedは400Mから7Bパラメータの大規模なコード埋め込みモデルのファミリーである。 我々の新しいトレーニングパイプラインは、複数のプログラミング言語を統合し、様々なコード関連タスクを共通の検索フレームワークに変換する。 私たちの7Bモデルは、コード検索において新しい最先端(SOTA)を設定し、以前の主要なモデルであるVoyage-CodeをCoIRベンチマークで20%以上上回っています。
  論文  参考訳（メタデータ） (2024-11-19T16:54:45Z)
• BRIGHT: A Realistic and Challenging Benchmark for Reasoning-Intensive Retrieval [54.54576644403115]
  BRIGHTは、関係する文書を検索するために、集中的推論を必要とする最初のテキスト検索ベンチマークである。 私たちのデータセットは、経済学、心理学、数学、コーディングなど、さまざまな領域にまたがる1,384の現実世界のクエリで構成されています。 クエリに関する明示的な推論を取り入れることで、検索性能が最大12.2ポイント向上することを示す。
  論文  参考訳（メタデータ） (2024-07-16T17:58:27Z)
• Enhancing Retrieval Processes for Language Generation with Augmented Queries [0.0]
  本研究は,実事実に基づく正確な応答をモデルに誘導するRAG(Retrieval-Augmented Generation)を通じてこの問題に対処することに焦点を当てる。 スケーラビリティの問題を克服するために、BERTやOrca2といった洗練された言語モデルとユーザクエリを結びつけることを検討する。 実験結果から,RAGによる初期言語モデルの性能向上が示唆された。
  論文  参考訳（メタデータ） (2024-02-06T13:19:53Z)
• Retrieval-Generation Synergy Augmented Large Language Models [30.53260173572783]
  本稿では,反復的な検索・生成協調フレームワークを提案する。 シングルホップQAとマルチホップQAタスクを含む4つの質問応答データセットの実験を行った。
  論文  参考訳（メタデータ） (2023-10-08T12:50:57Z)
• UniKGQA: Unified Retrieval and Reasoning for Solving Multi-hop Question Answering Over Knowledge Graph [89.98762327725112]
  KGQA(Multi-hop Question Answering over Knowledge Graph)は、自然言語の質問で言及されているトピックエンティティから、複数のホップを持つ回答エンティティを見つけることを目的としている。 我々は、モデルアーキテクチャとパラメータ学習の両方において、検索と推論を統合することで、マルチホップKGQAタスクの新しいアプローチであるUniKGQAを提案する。
  論文  参考訳（メタデータ） (2022-12-02T04:08:09Z)
• UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
  大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。 事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。 本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
  論文  参考訳（メタデータ） (2022-05-23T11:01:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。