論文の概要: Hallucinations and Truth: A Comprehensive Accuracy Evaluation of RAG, LoRA and DoRA

• arxiv url: http://arxiv.org/abs/2502.10497v1
• Date: Fri, 14 Feb 2025 17:38:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:16:20.149536
• Title: Hallucinations and Truth: A Comprehensive Accuracy Evaluation of RAG, LoRA and DoRA
• Title（参考訳）: 幻覚と真実:RAG, LoRA, DoRAの総合的精度評価
• Authors: Mohammad Baqar, Rajat Khanda,
• Abstract要約: 生成AIの最近の進歩により、自然言語処理(NLP)システムの効率性と適応性が大幅に向上した。 本稿では,RAG,LoRA,DoRAを大規模に評価し,2万のFAQクエリに基づいてモデル微調整と生成性能を評価する。 DoRAは高い精度(90.1%)、関連スコア(0.88)、最低レイテンシ(クエリ毎110ms)を達成し、現実のドメイン固有の生成AIアプリケーションにおいてLoRAとRAGの両方を上回っている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Recent advancements in Generative AI have significantly improved the efficiency and adaptability of natural language processing (NLP) systems, particularly through Retrieval-Augmented Generation (RAG), Low-Rank Adaptation (LoRA), and Weight-Decomposed Low-Rank Adaptation (DoRA). RAG integrates external knowledge to enhance factual consistency in generative outputs, while LoRA enables parameter-efficient fine-tuning of large language models (LLMs). DoRA further refines this process by optimizing fine-tuning through adaptive parameter ranking and domain-aware weight adjustments, improving learning efficiency while maintaining inference performance. This paper presents a large-scale empirical evaluation of RAG, LoRA, and DoRA, with model fine-tuning and generation performance assessed on 20,000 FAQ-based queries, while the knowledge base spans 400,000 entries. The study analyzes key performance metrics such as accuracy, relevance, and inference latency. Experimental results demonstrate that DoRA achieves the highest accuracy (90.1%), relevance score (0.88), and lowest latency (110 ms per query), outperforming both LoRA and RAG in real-world, domain-specific generative AI applications. Furthermore, this study examines the trade-offs between fine-tuning efficiency, computational cost, and real-time adaptability across different models. Findings highlight RAG's effectiveness in knowledge grounding, LoRA's cost-efficient domain adaptation, and DoRA's ability to balance fine-tuning efficiency with model precision. These insights provide practical guidance for deploying AI-driven generative systems in accuracy-critical domains such as healthcare, finance, and legal services, ensuring scalability, reliability, and optimal performance in dynamic environments.
• Abstract（参考訳）: 生成AIの最近の進歩は、自然言語処理(NLP)システムの効率と適応性を大幅に向上させており、特にRetrieval-Augmented Generation(RAG)、Low-Rank Adaptation(LoRA)、Weight-Decomposed Low-Rank Adaptation(DoRA)によって改善されている。 RAGは外部知識を統合して生成出力の事実整合性を高める一方、LoRAは大規模言語モデル(LLM)のパラメータ効率の高い微調整を可能にする。 さらにDoRAは、適応パラメータランキングとドメイン認識重み調整による微調整を最適化し、推論性能を維持しながら学習効率を向上させることにより、このプロセスを洗練する。 本稿では,RAG,LoRA,DoRAを大規模に評価し,2万のFAQクエリに基づいてモデル微調整および生成性能を評価し,知識ベースは40万のエントリにまたがる。 この研究は、正確性、妥当性、推論遅延といった重要なパフォーマンス指標を分析している。 実験の結果、DoRAは高い精度(90.1%)、関連度スコア(0.88)、低レイテンシ(クエリ毎110ms)を達成し、実世界のドメイン固有の生成AIアプリケーションにおいてLoRAとRAGの両方を上回っていることが示された。 さらに, 各種モデル間の微調整効率, 計算コスト, リアルタイム適応性のトレードオフについて検討した。 発見は、知識基盤化におけるRAGの有効性、LoRAのコスト効率の高いドメイン適応、そしてモデル精度と微調整効率のバランスをとるDoRAの能力を強調している。 これらの洞察は、医療、金融、法務サービスといった正確でクリティカルな領域にAI駆動の生成システムをデプロイし、動的環境におけるスケーラビリティ、信頼性、最適なパフォーマンスを確保するための実践的なガイダンスを提供する。

関連論文リスト

• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• GoRA: Gradient-driven Adaptive Low Rank Adaptation [11.937225965088963]
  Low-Rank Adaptation (LoRA) は、大規模言語モデルを効率的に微調整するための重要な手法である。 そこで,GoRA (Gradient-driven Adaptive Low Rank Adaptation) を導入する。 GoRAは、LoRAの高ユーザビリティと効率を保ちながら、パフォーマンスを著しく向上させる。
  論文  参考訳（メタデータ） (2025-02-13T10:33:58Z)
• HRP: High-Rank Preheating for Superior LoRA Initialization [58.3319586613105]
  微調整低域適応(LoRA)のための高域予熱法(HRP)の提案 HRPはLoRAの様々なモデルやタスクにおける一般化の有効性を大幅に向上させる。
  論文  参考訳（メタデータ） (2025-02-11T17:59:35Z)
• DeepRAG: Thinking to Retrieval Step by Step for Large Language Models [92.87532210660456]
  我々はマルコフ決定過程(MDP)として検索強化推論をモデル化するDeepRAGを提案する。 クエリを反復的に分解することで、DeepRAGは外部知識を取得するか、あるいは各ステップでパラメトリック推論に依存するかを動的に決定する。 実験の結果、DeepRAGは解答精度を21.99%向上させ、検索強化推論の最適化の有効性を示した。
  論文  参考訳（メタデータ） (2025-02-03T08:22:45Z)
• Dynamic Adaptation of LoRA Fine-Tuning for Efficient and Task-Specific Optimization of Large Language Models [0.7421845364041001]
  本稿では,大規模言語モデル-動的LoRAのためのファインチューニング手法を提案する。 効率と性能を改善するために動的適応機構を追加します。 動的LoRAの効率は、ベンチマークデータセットの実験で検証された。
  論文  参考訳（メタデータ） (2025-01-24T18:54:14Z)
• The Efficiency vs. Accuracy Trade-off: Optimizing RAG-Enhanced LLM Recommender Systems Using Multi-Head Early Exit [46.37267466656765]
  本稿では,Retrieval-Augmented Generation(RAG)と革新的なマルチヘッドアーリーエグジットアーキテクチャを組み合わせた最適化フレームワークを提案する。 我々の実験は、信頼性の高いレコメンデーション配信に必要な精度を犠牲にすることなく、このアーキテクチャがいかに効果的に時間を削減するかを実証している。
  論文  参考訳（メタデータ） (2025-01-04T03:26:46Z)
• Optimizing Large Language Models with an Enhanced LoRA Fine-Tuning Algorithm for Efficiency and Robustness in NLP Tasks [1.236974227340167]
  そこで本研究では,改良されたLoRAファインチューニングアルゴリズムに基づく大規模言語モデル最適化手法を提案する。 低ランク適応戦略によって大きな言語モデルを微調整し、計算資源の消費を大幅に削減する。 改良されたLoRAアルゴリズムでは、従来のモデルと比較して精度、F1スコア、MCCが大幅に改善されている。
  論文  参考訳（メタデータ） (2024-12-25T01:10:25Z)
• GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
  微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。 隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
  論文  参考訳（メタデータ） (2024-12-12T13:04:54Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Leveraging the Domain Adaptation of Retrieval Augmented Generation Models for Question Answering and Reducing Hallucination [3.879723687090678]
  Retrieval Augmented Generation Modelは、質問回答のような下流アプリケーションに非常に効果的である。 最近、RAG-end2endモデルはアーキテクチャをさらに最適化し、ドメイン適応における顕著なパフォーマンス改善を実現した。 本稿では,ドメイン適応による多様なRAGおよびRAG様アーキテクチャの性能について検討する。
  論文  参考訳（メタデータ） (2024-10-23T11:32:46Z)
• Sparse Low-rank Adaptation of Pre-trained Language Models [79.74094517030035]
  本稿では,適応過程における固有ランクの動的調整を可能にする疎低ランク適応(SoRA)を提案する。 提案手法は,LoRAを高いランクで初期化すると同時に,一時的に増大するパラメータを効率的に利用することにより,LoRAの表現力を向上する。 実験の結果,SoRAは70%の保持パラメータと70%のトレーニング時間でも,他のベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-11-20T11:56:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。