Fugu-MT 論文翻訳(概要): Enhancing Q&A with Domain-Specific Fine-Tuning and Iterative Reasoning: A Comparative Study

論文の概要: Enhancing Q&A with Domain-Specific Fine-Tuning and Iterative Reasoning: A Comparative Study

arxiv url: http://arxiv.org/abs/2404.11792v1
Date: Wed, 17 Apr 2024 23:00:03 GMT
ステータス: 処理完了
システム内更新日: 2024-04-19 13:20:47.887454
Title: Enhancing Q&A with Domain-Specific Fine-Tuning and Iterative Reasoning: A Comparative Study
Title（参考訳）: ドメイン特化ファインチューニングと反復推論によるQ&Aの促進:比較研究
Authors: Zooey Nguyen, Anthony Annunziata, Vinh Luong, Sang Dinh, Quynh Le, Anh Hai Ha, Chanh Le, Hong An Phan, Shruti Raghavan, Christopher Nguyen,
Abstract要約: 本稿では,大規模言語モデル(LLM)と検索拡張生成(RAG)を用いた質問応答システム(Q&A)の性能に及ぼすドメイン固有モデル微調整と推論機構の影響について検討する。 FinanceBench SECのファイナンシャルファイリングデータセットを用いて、RAGでは、微調整の埋め込みモデルと微調整のLDMを組み合わせることで、ジェネリックモデルよりも精度が高いことを観察する。本稿では,Q&AAIの主要な技術コンポーネントを抽出する構造化された技術設計空間を提案する。
参考スコア（独自算出の注目度）: 0.3932300766934226
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper investigates the impact of domain-specific model fine-tuning and of reasoning mechanisms on the performance of question-answering (Q&A) systems powered by large language models (LLMs) and Retrieval-Augmented Generation (RAG). Using the FinanceBench SEC financial filings dataset, we observe that, for RAG, combining a fine-tuned embedding model with a fine-tuned LLM achieves better accuracy than generic models, with relatively greater gains attributable to fine-tuned embedding models. Additionally, employing reasoning iterations on top of RAG delivers an even bigger jump in performance, enabling the Q&A systems to get closer to human-expert quality. We discuss the implications of such findings, propose a structured technical design space capturing major technical components of Q&A AI, and provide recommendations for making high-impact technical choices for such components. We plan to follow up on this work with actionable guides for AI teams and further investigations into the impact of domain-specific augmentation in RAG and into agentic AI capabilities such as advanced planning and reasoning.
Abstract（参考訳）: 本稿では,大規模言語モデル (LLM) と検索拡張生成 (RAG) を用いた質問応答(Q&A) システムの性能に及ぼすドメイン固有モデル微調整と推論機構の影響について検討する。 FinanceBench SECのファイナンシャルファイリングデータセットを用いて、RAGでは、微調整の埋め込みモデルと微調整のLLMを組み合わせることで、汎用モデルよりも精度が向上し、微調整の埋め込みモデルに起因する利得が比較的大きいことが観察された。さらに、RAGの上に推論イテレーションを採用することで、パフォーマンスがさらに大きく向上し、Q&Aシステムが人間の専門的な品質に近づくことができます。本稿では,その意義を考察し,Q&AAIの主要な技術コンポーネントを抽出する構造化技術設計空間を提案する。我々は、AIチームのための実行可能なガイドと、RAGにおけるドメイン固有の拡張の影響と、高度な計画や推論などのエージェントAI機能への影響に関するさらなる調査で、この作業を続行する予定です。

関連論文リスト

Enhancing Question Answering Precision with Optimized Vector Retrieval and Instructions [1.2425910171551517]
質問応答 (QA) は情報検索 (IR) と言語モデルの重要な応用である。本稿では、最適化されたベクトル検索と命令手法を統合することにより、QAタスク性能を改善するための革新的なアプローチを提案する。
論文参考訳（メタデータ） (2024-11-01T21:14:04Z)
Aggregated Knowledge Model: Enhancing Domain-Specific QA with Fine-Tuned and Retrieval-Augmented Generation Models [0.0]
本稿では,クローズドドメイン質問応答システム(QA)の新たなアプローチを提案する。ローレンス・バークレー国立研究所(LBL)科学情報技術(ScienceIT)ドメインの特定のニーズに焦点を当てている。
論文参考訳（メタデータ） (2024-10-24T00:49:46Z)
Leveraging the Domain Adaptation of Retrieval Augmented Generation Models for Question Answering and Reducing Hallucination [3.879723687090678]
Retrieval Augmented Generation Modelは、質問回答のような下流アプリケーションに非常に効果的である。最近、RAG-end2endモデルはアーキテクチャをさらに最適化し、ドメイン適応における顕著なパフォーマンス改善を実現した。本稿では,ドメイン適応による多様なRAGおよびRAG様アーキテクチャの性能について検討する。
論文参考訳（メタデータ） (2024-10-23T11:32:46Z)
On the Modeling Capabilities of Large Language Models for Sequential Decision Making [52.128546842746246]
大規模な事前訓練されたモデルでは、推論や計画タスクのパフォーマンスがますます向上している。我々は、直接的または間接的に、意思決定ポリシーを作成する能力を評価する。未知の力学を持つ環境において、合成データを用いた微調整LDMが報酬モデリング能力を大幅に向上させる方法について検討する。
論文参考訳（メタデータ） (2024-10-08T03:12:57Z)
Reward-RAG: Enhancing RAG with Reward Driven Supervision [43.66966457772646]
本稿では、Reward-Driven Supervisionを通じて、Retrieval-Augmented Generation(RAG)モデルを強化するために設計された新しいアプローチであるReward-RAGを紹介する。従来のRAG手法とは異なり,本手法ではCriticGPTを用いて検索情報を特定の領域に適応させ,専用報酬モデルを訓練する。この報酬モデルは、RAGを微調整するための合成データセットを生成し、その出力を人間の好みとより密に一致させる。
論文参考訳（メタデータ） (2024-10-03T15:26:50Z)
A Knowledge-Centric Benchmarking Framework and Empirical Study for Retrieval-Augmented Generation [4.359511178431438]
Retrieval-Augmented Generation (RAG)は、検索機構を統合することで生成モデルを強化する。その利点にもかかわらず、RAGは特に現実世界のクエリを効果的に処理する上で、大きな課題に直面している。本稿では,これらの課題に対処する新しいRAGベンチマークを提案する。
論文参考訳（メタデータ） (2024-09-03T03:31:37Z)
KaPQA: Knowledge-Augmented Product Question-Answering [59.096607961704656]
我々はAdobe AcrobatとPhotoshop製品に焦点を当てた2つのQAデータセットを紹介した。また、製品QAタスクにおけるモデルの性能を高めるために、新しい知識駆動型RAG-QAフレームワークを提案する。
論文参考訳（メタデータ） (2024-07-22T22:14:56Z)
GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
論文参考訳（メタデータ） (2024-06-01T08:01:05Z)
Levels of AGI for Operationalizing Progress on the Path to AGI [64.59151650272477]
本稿では,人工知能(AGI)モデルとその前駆体の性能と動作を分類する枠組みを提案する。このフレームワークは、AGIのパフォーマンス、一般性、自律性のレベルを導入し、モデルを比較し、リスクを評価し、AGIへの道筋に沿って進捗を測定する共通の言語を提供する。
論文参考訳（メタデータ） (2023-11-04T17:44:58Z)
Refined Mechanism Design for Approximately Structured Priors via Active Regression [50.71772232237571]
我々は、大量の商品を戦略的入札者に販売する収益を最大化する販売業者の問題を考える。この設定の最適かつほぼ最適のメカニズムは、特徴付けや計算が難しいことで有名である。
論文参考訳（メタデータ） (2023-10-11T20:34:17Z)
Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
論文参考訳（メタデータ） (2021-06-14T20:48:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。