論文の概要: Multi-task retriever fine-tuning for domain-specific and efficient RAG

• arxiv url: http://arxiv.org/abs/2501.04652v1
• Date: Wed, 08 Jan 2025 18:05:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-09 14:56:57.791042
• Title: Multi-task retriever fine-tuning for domain-specific and efficient RAG
• Title（参考訳）: ドメイン固有かつ効率的なRAGのためのマルチタスクレトリバー微調整
• Authors: Patrice Béchard, Orlando Marquez Ayala,
• Abstract要約: 大規模言語モデル(LLM)をデプロイする際,RAG(Retrieval-Augmented Generation)がユビキタスになった しかし、現実のRAGアプリケーションを構築する際には、現実的な問題が発生する。 本稿では,このエンコーダを実世界の企業利用事例において,目に見えない検索タスクに一般化する方法について述べる。
• 参考スコア（独自算出の注目度）: 0.040964539027092926
• License:
• Abstract: Retrieval-Augmented Generation (RAG) has become ubiquitous when deploying Large Language Models (LLMs), as it can address typical limitations such as generating hallucinated or outdated information. However, when building real-world RAG applications, practical issues arise. First, the retrieved information is generally domain-specific. Since it is computationally expensive to fine-tune LLMs, it is more feasible to fine-tune the retriever to improve the quality of the data included in the LLM input. Second, as more applications are deployed in the same real-world system, one cannot afford to deploy separate retrievers. Moreover, these RAG applications normally retrieve different kinds of data. Our solution is to instruction fine-tune a small retriever encoder on a variety of domain-specific tasks to allow us to deploy one encoder that can serve many use cases, thereby achieving low-cost, scalability, and speed. We show how this encoder generalizes to out-of-domain settings as well as to an unseen retrieval task on real-world enterprise use cases.
• Abstract（参考訳）: Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) をデプロイする際、幻覚情報や古い情報を生成するといった典型的な制限に対処できるため、ユビキタスになりつつある。 しかし、現実のRAGアプリケーションを構築する際には、現実的な問題が発生する。 まず、検索された情報は一般にドメイン固有である。 LLMの精細化には計算コストがかかるため、精細化してLLM入力に含まれるデータの品質を向上させることが可能である。 第二に、多くのアプリケーションが同じ現実世界のシステムにデプロイされるので、別々のレトリバーをデプロイする余裕はありません。 さらに、これらのRAGアプリケーションは、通常、異なる種類のデータを取得する。 我々のソリューションは、さまざまなドメイン固有のタスクに対して小さなレトリバーエンコーダに微調整をし、多くのユースケースに対応可能な1つのエンコーダをデプロイすることで、低コスト、スケーラビリティ、スピードを実現することです。 このエンコーダは、ドメイン外の設定や、実世界のエンタープライズユースケースにおける見当たらない検索タスクにどのように一般化されるかを示す。

関連論文リスト

• Reinforcement Learning for Long-Horizon Interactive LLM Agents [56.9860859585028]
  インタラクティブデジタルエージェント(IDA)は、ステートフルなデジタル環境のAPIを利用して、ユーザの要求に応じてタスクを実行する。 対象環境で直接IDAを訓練する強化学習(RL)手法を提案する。 我々は、近似ポリシー最適化のデータおよびメモリ効率の亜種である LOOP を導出する。
  論文  参考訳（メタデータ） (2025-02-03T18:35:42Z)
• How Well Do LLMs Generate Code for Different Application Domains? Benchmark and Evaluation [38.9008464420423]
  MultiCodeBenchは、12のソフトウェア開発ドメインと15のプログラミング言語をカバーする2,400のプログラミングタスクで構成されている。 静的解析に基づく依存関係解析ツールを構築し,各タスクの真理における依存関係を抽出する。 我々は、異なるアプリケーション領域にまたがるLLMのコード生成性能を明らかにし、下流の開発者の実践的な洞察を提供する。
  論文  参考訳（メタデータ） (2024-12-24T17:56:08Z)
• Invar-RAG: Invariant LLM-aligned Retrieval for Better Generation [43.630437906898635]
  Invar-RAGと呼ばれる2段階ファインチューニングアーキテクチャを提案する。 検索段階では、LORAに基づく表現学習を統合してLLMベースの検索器を構築する。 生成段階では、抽出した情報に基づいて回答を生成する際のLCM精度を向上させるための精細調整法が用いられる。
  論文  参考訳（メタデータ） (2024-11-11T14:25:37Z)
• Embodied-RAG: General Non-parametric Embodied Memory for Retrieval and Generation [69.01029651113386]
  Embodied-RAGは、非パラメトリックメモリシステムによるエンボディエージェントのモデルを強化するフレームワークである。 コアとなるEmbodied-RAGのメモリはセマンティックフォレストとして構成され、言語記述を様々なレベルで詳細に保存する。 Embodied-RAGがRAGをロボット領域に効果的にブリッジし、250以上の説明とナビゲーションクエリをうまく処理できることを実証する。
  論文  参考訳（メタデータ） (2024-09-26T21:44:11Z)
• DOMAINEVAL: An Auto-Constructed Benchmark for Multi-Domain Code Generation [48.11754113512047]
  この研究には、コード生成ベンチマークデータセットであるDOMAINEVALが含まれており、6つの人気のあるドメインを含んでいる。 私たちのパイプラインは完全に自動化され、コードリポジトリから研究対象のフォーマットへのプッシュボットの構築が可能になります。 本研究のコントリビューションには、コード生成ベンチマークデータセットであるDOMAINEVAL、コードベンチマークを構築するための完全自動化パイプライン、DOMAINEVALのパフォーマンスに基づいたコード生成タスクにおけるLLMの制限の識別が含まれている。
  論文  参考訳（メタデータ） (2024-08-23T16:33:58Z)
• R-Eval: A Unified Toolkit for Evaluating Domain Knowledge of Retrieval Augmented Large Language Models [51.468732121824125]
  大規模言語モデルは一般的なNLPタスクにおいて顕著な成功を収めてきたが、ドメイン固有の問題には不足する可能性がある。 既存の評価ツールは、ドメイン知識の深さを掘り下げることなく、いくつかのベースラインを提供し、様々なドメインで評価するのみである。 本稿では、R-Evalツールキット(R-Evalツールキット)を導入し、異なるRAGの評価を合理化することによるALLMの評価の課題に対処する。
  論文  参考訳（メタデータ） (2024-06-17T15:59:49Z)
• Multi-Head RAG: Solving Multi-Aspect Problems with LLMs [13.638439488923671]
  検索拡張生成(RAG)は大規模言語モデル(LLM)の能力を向上させる 既存のRAGソリューションは、実質的に異なる内容の複数のドキュメントを取得する必要がある可能性のあるクエリに焦点を当てていない。 本稿では,このギャップをシンプルかつ強力なアイデアで解決する新しい手法として,MRAG(Multi-Head RAG)を提案する。
  論文  参考訳（メタデータ） (2024-06-07T16:59:38Z)
• T-RAG: Lessons from the LLM Trenches [7.545277950323593]
  アプリケーションエリアは、民間企業文書に対する質問応答です。 Retrieval-Augmented Generationは、LLMベースのアプリケーションを構築するための最も顕著なフレームワークである。 Tree-RAG (T-RAG) と呼ばれるシステムは、エンティティ階層を表現するためにツリー構造を使用する。
  論文  参考訳（メタデータ） (2024-02-12T08:45:08Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• Knowledge Plugins: Enhancing Large Language Models for Domain-Specific Recommendations [50.81844184210381]
  本稿では,大規模言語モデルをDOmain固有のKnowledgEで拡張し,実践的アプリケーション,すなわちDOKEの性能を向上させるためのパラダイムを提案する。 このパラダイムはドメイン知識抽出器に依存し,1)タスクに効果的な知識を準備すること,2)特定のサンプルごとに知識を選択すること,3)LLMで理解可能な方法で知識を表現すること,の3つのステップで動作する。
  論文  参考訳（メタデータ） (2023-11-16T07:09:38Z)
• UDAPDR: Unsupervised Domain Adaptation via LLM Prompting and Distillation of Rerankers [42.84866455416052]
  我々は,大規模言語モデル(LLM)を用いて大量の合成クエリを安価に生成する手法を開発し,動機づける。 この手法により、長テール領域におけるゼロショット精度が向上し、標準のリグレード法よりもかなり低レイテンシを実現することを示す。
  論文  参考訳（メタデータ） (2023-03-01T20:21:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。