論文の概要: Assessment of RAG and Fine-Tuning for Industrial Question-Answering-Applications

• arxiv url: http://arxiv.org/abs/2605.09533v1
• Date: Sun, 10 May 2026 13:35:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.299821
• Title: Assessment of RAG and Fine-Tuning for Industrial Question-Answering-Applications
• Title（参考訳）: インダストリアル質問に対するRAGとファインチューニングの評価
• Authors: Jakob Sturm, Josef Pichlmeier, Christian Bernhard, Maka Karalashvili, Johannes Klepsch, Georg Groh, Andre Luckow,
• Abstract要約: 本研究では,自動車産業に特化した2つの閉じたデータセットに対するRAGとFTの影響について検討した。 我々の研究結果によると、プレミアムモデルは最初から最高の性能を発揮するが、オープンソースモデルはRAGで拡張すると同等の品質が得られる。
• 参考スコア（独自算出の注目度）: 2.497641182907452
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) are increasingly employed in enterprise question-answering (QA) systems, requiring adaptation to domain-specific knowledge. Among the most prevalent methods for incorporating such knowledge are Retrieval-Augmented Generation (RAG) and fine-tuning (FT). Yet, from a cost-accuracy trade-off perspective, it remains unclear which approach best suits industry scenarios. This study examines the impact of RAG and FT on two closed datasets specific to the automotive industry, assessing answer quality and operational costs. We extend the Cost-of-Pass framework proposed by Erol et al. (arXiv:2504.13359) to jointly assess output quality, generation cost, and user interaction cost. Our findings reveal that while premium models perform best out of the box, open-source models can achieve comparable quality when enhanced with RAG. Overall, RAG emerges as the most effective and cost-efficient adaptation method for both closed- and open-source models.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、企業質問応答システム(QA)にますます採用され、ドメイン固有の知識に適応する必要がある。 このような知識を組み込む最も一般的な方法は、検索型拡張生成(RAG)と微調整(FT)である。 しかし、コスト-正確性の観点から見れば、どのアプローチが業界シナリオに最も適しているかは不明だ。 本研究では,自動車業界特有の2つの閉データセットに対するRAGとFTの影響について検討し,回答の品質と運用コストを評価する。 我々は,Erolらによって提案されたコスト・オブ・パス(arXiv:2504.13359)フレームワークを拡張し,出力品質,生成コスト,ユーザインタラクションコストを共同評価する。 我々の研究結果によると、プレミアムモデルは最初から最高の性能を発揮するが、オープンソースモデルはRAGで拡張すると同等の品質が得られる。 全体として、RAGはクローズド・オープンソースモデルとオープンソースモデルの両方に対して最も効果的で費用効率のよい適応法として現れる。

関連論文リスト

• Meta-Router: Bridging Gold-standard and Preference-based Evaluations in Large Language Model Routing [15.724480880994259]
  大規模言語モデル(LLM)ルータは、クエリ毎に候補のプールから最も適切なモデルを選択する。 クラウドソーシングやLSM-as-a-judgeシステムを通じて収集された嗜好ベースのデータは、より安価でスケーラブルだが、応答の真の品質を反映することにはバイアスが伴うことが多い。 我々は、好みデータバイアスを補正し、2つのデータソース間の不均衡に対処し、ルーティングの堅牢性と効率を改善する統合因果ルータトレーニングフレームワークを開発する。
  論文  参考訳（メタデータ） (2025-09-29T21:44:00Z)
• A Comparative Benchmark of Large Language Models for Labelling Wind Turbine Maintenance Logs [0.0]
  本稿では,複雑な産業記録を分類する作業において,LLM(Large Language Models)をベンチマークするためのフレームワークを提案する。 透明性を促進し、さらなる研究を促進するため、このフレームワークはオープンソースツールとして公開されている。 明確なパフォーマンス階層を定量化し、ベンチマーク標準と高い整合性を示すトップモデルを特定します。
  論文  参考訳（メタデータ） (2025-09-08T15:48:17Z)
• Divide-Then-Align: Honest Alignment based on the Knowledge Boundary of RAG [51.120170062795566]
  本稿では,問合せが知識境界外にある場合の"I don't know"で応答する機能を備えたRAGシステムを実現するためのDTAを提案する。 DTAは適切な棄権と精度のバランスをとり、検索強化システムの信頼性と信頼性を高める。
  論文  参考訳（メタデータ） (2025-05-27T08:21:21Z)
• Unanswerability Evaluation for Retrieval Augmented Generation [74.3022365715597]
  UAEval4RAGは、RAGシステムが解答不能なクエリを効果的に処理できるかどうかを評価するために設計されたフレームワークである。 我々は、6つの未解決カテゴリを持つ分類を定義し、UAEval4RAGは、多様で挑戦的なクエリを自動的に合成する。
  論文  参考訳（メタデータ） (2024-12-16T19:11:55Z)
• KBAlign: Efficient Self Adaptation on Specific Knowledge Bases [73.34893326181046]
  本稿では,効率的なモデル適応によりRAGシステムを強化する自己教師型フレームワークKBAlignを提案する。 私たちのキーとなる洞察は、2つの革新的なメカニズムを通じて、モデルの本質的な能力を知識の整合性に活用することです。 KBAlign は GPT-4 による適応によって得られる性能向上の90%を達成できることを示した。
  論文  参考訳（メタデータ） (2024-11-22T08:21:03Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [66.93260816493553]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に焦点をあてて,完全性,幻覚,不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• Cost-efficient Knowledge-based Question Answering with Large Language Models [28.816821631082856]
  知識に基づく質問応答(KBQA)は、ドメイン知識を必要とする多くのシナリオで広く使われている。 大規模言語モデル(LLM)はKBQAに機会をもたらすが、そのコストは著しく高く、事前トレーニング中にドメイン固有の知識が欠如している。 我々は,KBQA と LLM のコスト効率を向上する新しい戦略である Coke を提案する。
  論文  参考訳（メタデータ） (2024-05-27T16:37:34Z)
• Enhancing Q&A with Domain-Specific Fine-Tuning and Iterative Reasoning: A Comparative Study [0.3932300766934226]
  本稿では,大規模言語モデル(LLM)と検索拡張生成(RAG)を用いた質問応答システム(Q&A)の性能に及ぼすドメイン固有モデル微調整と推論機構の影響について検討する。 FinanceBench SECのファイナンシャルファイリングデータセットを用いて、RAGでは、微調整の埋め込みモデルと微調整のLDMを組み合わせることで、ジェネリックモデルよりも精度が高いことを観察する。 本稿では,Q&AAIの主要な技術コンポーネントを抽出する構造化された技術設計空間を提案する。
  論文  参考訳（メタデータ） (2024-04-17T23:00:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。