Fugu-MT 論文翻訳(概要): O1 Embedder: Let Retrievers Think Before Action

論文の概要: O1 Embedder: Let Retrievers Think Before Action

arxiv url: http://arxiv.org/abs/2502.07555v1
Date: Tue, 11 Feb 2025 13:48:10 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-12 14:08:09.889940
Title: O1 Embedder: Let Retrievers Think Before Action
Title（参考訳）: O1 Embedder:リトリバーがアクション前に考える
Authors: Ruin Yan, Zheng Liu, Defu Lian,
Abstract要約: 我々は,対象文書の検索に先立って,入力クエリに有用な思考を生成するO1 Embedderを提案する。私たちのアプローチは、12の一般的なデータセットで大幅に改善される包括的な実験によって評価されます。これらの結果は、O1 Embedderの顕著な精度と一般化性を強調し、次世代IR基盤モデルの開発への道を開いた。
参考スコア（独自算出の注目度）: 28.583031173137428
License:
Abstract: The growing power of large language models (LLMs) has revolutionized how people access and utilize information. Notably, the LLMs excel at performing fine-grained data representation, which facilitates precise retrieval of information. They also generate high-quality answers based on external references, enabling the production of useful knowledge. The recent introduction of reasoning models, like OpenAI O1 and DeepSeek R1, marks another leap forward, highlighting LLMs' ability to think progressively before delivering final answers. This breakthrough significantly improves the ability to address complex tasks, e.g., coding and math proofs. Inspired by this progress, we aim to develop similar capabilities for retrieval models, which hold great promise for tackling critical challenges in the field, including multi-task retrieval, zero-shot retrieval, and tasks requiring intensive reasoning of complex relationships. With this motivation, we propose a novel approach called O1 Embedder, which generates useful thoughts for the input query before making retrieval for the target documents. To realize this objective, we conquer two technical difficulties. First, we design a data synthesis workflow, creating training signals for O1 Embedder by generating initial thoughts from an LLM-expert and subsequently refining them using a retrieval committee. Second, we optimize the training process, enabling a pre-trained model to be jointly fine-tuned to generate retrieval thoughts via behavior cloning and perform dense retrieval through contrastive learning. Our approach is evaluated by comprehensive experiments, where substantial improvements are achieved across 12 popular datasets, spanning both in-domain and out-of-domain scenarios. These results highlight O1 Embedder's remarkable accuracy and generalizability, paving the way for the development of next-generation IR foundation models.
Abstract（参考訳）: 大規模言語モデル(LLM)の力の増大は、人々が情報にアクセスし活用する方法に革命をもたらした。特に、LLMはきめ細かいデータ表現に優れており、情報の正確な検索が容易である。また、外部参照に基づいて高品質な回答を生成し、有用な知識の生成を可能にします。 OpenAI O1やDeepSeek R1のような最近の推論モデルの導入は、LLMが最終回答を出す前に徐々に考える能力を強調し、また一歩前進している。このブレークスルーは、例えばコーディングや数学の証明といった複雑なタスクに対処する能力を大幅に改善する。この進歩に触発されて,マルチタスク検索,ゼロショット検索,複雑な関係の深い推論を必要とするタスクなど,この分野における重要な課題に対処するための大きな約束を掲げる,検索モデルに類似した機能を開発することを目的としている。そこで本研究では,O1 Embedderという新しい手法を提案する。この手法は,対象文書の検索に先立って,入力クエリに有用な思考を生成する。この目的を達成するために、我々は2つの技術的困難を克服する。まず,データ合成ワークフローを設計し,O1 Embedder の学習信号を LLM-Expert から生成し,検索委員会を用いて修正する。第二に、トレーニングプロセスの最適化により、事前学習したモデルを協調的に微調整し、行動クローニングによる検索思考を生成し、コントラスト学習による高密度検索を行う。このアプローチは、ドメイン内シナリオとドメイン外シナリオの両方にまたがって、12の一般的なデータセットで大幅に改善される、包括的な実験によって評価されます。これらの結果は、O1 Embedderの顕著な精度と一般化性を強調し、次世代IR基盤モデルの開発への道を開いた。

関連論文リスト

Enhancing LLM Reasoning with Reward-guided Tree Search [95.06503095273395]
o1のような推論アプローチは困難で、研究者はこのオープンな研究領域を前進させようとさまざまな試みを行ってきた。本稿では,報酬誘導木探索アルゴリズムを用いて,LLMの推論能力を高めるための予備的な検討を行う。
論文参考訳（メタデータ） (2024-11-18T16:15:17Z)
Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
論文参考訳（メタデータ） (2024-10-22T06:43:28Z)
RUIE: Retrieval-based Unified Information Extraction using Large Language Model [6.788855739199981]
統一された情報抽出は、構造化されていないテキストから構造化された情報を抽出することを目的としている。本稿では,タスクの効率的な一般化にコンテキスト内学習を活用するフレームワークRUIE(Retrieval-based Unified Information extract)を提案する。
論文参考訳（メタデータ） (2024-09-18T03:20:04Z)
Enhancing Knowledge Retrieval with In-Context Learning and Semantic Search through Generative AI [3.9773527114058855]
本稿では,大規模言語モデルの生成能力とベクトルデータベースの高速かつ正確な検索能力を組み合わせた新しい手法を提案する。開発したGTR(Generative Text Retrieval)は,非構造化データと構造化データの両方に適用可能である。改良されたモデルであるGenerative Tabular Text Retrieval (GTR-T) は、大規模データベースクエリの効率を実証した。
論文参考訳（メタデータ） (2024-06-13T23:08:06Z)
MindStar: Enhancing Math Reasoning in Pre-trained LLMs at Inference Time [51.5039731721706]
MindStarは、大言語モデルの純粋に推論に基づく探索手法である。推論タスクを探索問題として定式化し、最適な推論経路を特定するための2つの探索アイデアを提案する。 Llama-2-13BやMistral-7Bのようなオープンソースモデルの推論能力を大幅に向上させ、GPT-3.5やGrok-1に匹敵する性能を実現している。
論文参考訳（メタデータ） (2024-05-25T15:07:33Z)
RQ-RAG: Learning to Refine Queries for Retrieval Augmented Generation [42.82192656794179]
大きな言語モデル(LLM)は優れた能力を示すが、不正確なあるいは幻覚反応を引き起こす傾向がある。この制限は、膨大な事前トレーニングデータセットに依存することに起因するため、目に見えないシナリオでのエラーの影響を受けやすい。 Retrieval-Augmented Generation (RAG) は、外部の関連文書を応答生成プロセスに組み込むことによって、この問題に対処する。
論文参考訳（メタデータ） (2024-03-31T08:58:54Z)
Back to Basics: A Simple Recipe for Improving Out-of-Domain Retrieval in Dense Encoders [63.28408887247742]
得られたモデルにおいて,より優れた一般化能力を得るために,トレーニング手順の改善が可能であるかを検討する。我々は、高密度エンコーダをトレーニングするための簡単なレシピを推奨する: LoRAのようなパラメータ効率のよいMSMARCOのトレーニング。
論文参考訳（メタデータ） (2023-11-16T10:42:58Z)
AugTriever: Unsupervised Dense Retrieval and Domain Adaptation by Scalable Data Augmentation [44.93777271276723]
擬似クエリドキュメントペアを作成することにより,アノテーションフリーでスケーラブルなトレーニングを可能にする2つのアプローチを提案する。クエリ抽出方法は、元のドキュメントから有能なスパンを選択して擬似クエリを生成する。転送クエリ生成方法は、要約などの他のNLPタスクのために訓練された生成モデルを使用して、擬似クエリを生成する。
論文参考訳（メタデータ） (2022-12-17T10:43:25Z)
CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
論文参考訳（メタデータ） (2022-08-16T10:22:49Z)
Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
論文参考訳（メタデータ） (2020-11-19T18:47:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。