論文の概要: LoRA-Augmented Generation (LAG) for Knowledge-Intensive Language Tasks
- arxiv url: http://arxiv.org/abs/2507.05346v1
- Date: Mon, 07 Jul 2025 18:00:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-09 16:34:37.278595
- Title: LoRA-Augmented Generation (LAG) for Knowledge-Intensive Language Tasks
- Title（参考訳）: 知識集約型言語タスクのためのLAG(LoRA-Augmented Generation)
- Authors: William Fleshman, Benjamin Van Durme,
- Abstract要約: 大規模知識ライブラリとタスク固有のLoRAアダプタを活用するために,LAG(LoRA-Augmented Generation)を提案する。
我々は,各種知識集約タスクにおけるRAGの評価を行い,既存のデータフリー手法よりも優れた性能を実現する。
- 参考スコア（独自算出の注目度）: 37.969478059005574
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The proliferation of fine-tuned language model experts for specific tasks and domains signals the need for efficient selection and combination methods. We propose LoRA-Augmented Generation (LAG) for leveraging large libraries of knowledge and task-specific LoRA adapters. LAG requires no additional training or access to data, and efficiently filters, retrieves, and applies experts on a per-token and layer basis. We evaluate LAG on various knowledge-intensive tasks, achieving superior performance over existing data-free methods. We explore scenarios where additional data is available, demonstrating LAG's compatibility with alternative solutions such as retrieval-augmented generation (RAG).
- Abstract（参考訳）: 特定のタスクやドメインに対する微調整言語モデルのエキスパートの急増は、効率的な選択と組み合わせ方法の必要性を示唆している。
大規模知識ライブラリとタスク固有のLoRAアダプタを活用するために,LAG(LoRA-Augmented Generation)を提案する。
LAGは、追加のトレーニングやデータへのアクセスを必要とせず、各トークンとレイヤごとに専門家をフィルタリング、検索、適用する。
我々は,各種知識集約タスクにおけるRAGの評価を行い,既存のデータフリー手法よりも優れた性能を実現する。
検索強化生成(RAG)などの代替ソリューションとのLAGの互換性を実証し、追加データが利用可能であるシナリオについて検討する。
関連論文リスト
- ImpRAG: Retrieval-Augmented Generation with Implicit Queries [49.510101132093396]
ImpRAGは、検索と生成を統一モデルに統合するクエリフリーなRAGシステムである。
我々は、ImpRAGが、多様な形式を持つ未確認タスクの正確なマッチスコアを3.6-11.5改善したことを示す。
論文 参考訳（メタデータ） (2025-06-02T21:38:21Z) - Detecting Knowledge Boundary of Vision Large Language Models by Sampling-Based Inference [78.08901120841833]
視覚大言語モデル(VLLM)の知識境界を検出する手法を提案する。
本稿では,VLLMの知識境界の表現に成功し,性能の維持や改善を図りながら不差別な検索を抑えることができることを示す。
論文 参考訳（メタデータ） (2025-02-25T09:32:08Z) - LaRA: Benchmarking Retrieval-Augmented Generation and Long-Context LLMs -- No Silver Bullet for LC or RAG Routing [70.35888047551643]
本稿では,RAGとLC LLMを厳格に比較するための新しいベンチマークであるLaRAを提案する。
LaRAは4つのQAタスクカテゴリと3種類の自然発生長文の2326のテストケースを含んでいる。
RAGとLCの最適選択は,モデルのパラメータサイズ,長文機能,コンテキスト長,タスクタイプ,取得したチャンクの特性など,複雑な相互作用に依存する。
論文 参考訳（メタデータ） (2025-02-14T08:04:22Z) - Open-RAG: Enhanced Retrieval-Augmented Reasoning with Open-Source Large Language Models [23.68266151581951]
Retrieval-Augmented Generation (RAG) は,Large Language Models (LLMs) の実際の精度を高めることが示されている。
既存の手法は、抽出された証拠を効果的に活用する際の限定的な推論能力に悩まされることが多い。
我々は,オープンソースLLMを用いたRAGにおける推論能力の向上を目的とした,新しいフレームワークであるOpen-RAGを紹介する。
論文 参考訳（メタデータ） (2024-10-02T17:37:18Z) - MemoRAG: Boosting Long Context Processing with Global Memory-Enhanced Retrieval Augmentation [60.04380907045708]
Retrieval-Augmented Generation (RAG)は、この問題に対処するための有望な戦略と考えられている。
我々は,グローバルメモリ拡張検索による新しいRAGフレームワークであるMemoRAGを提案する。
MemoRAGは、様々な長期コンテキスト評価タスクにおいて優れたパフォーマンスを達成する。
論文 参考訳（メタデータ） (2024-09-09T13:20:31Z) - WeKnow-RAG: An Adaptive Approach for Retrieval-Augmented Generation Integrating Web Search and Knowledge Graphs [10.380692079063467]
本稿では,Web検索と知識グラフを統合したWeKnow-RAGを提案する。
まず,知識グラフの構造化表現と高次ベクトル検索の柔軟性を組み合わせることで,LLM応答の精度と信頼性を向上させる。
提案手法は,情報検索の効率と精度を効果的にバランスさせ,全体の検索プロセスを改善する。
論文 参考訳（メタデータ） (2024-08-14T15:19:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。