論文の概要: Enhancing Q&A with Domain-Specific Fine-Tuning and Iterative Reasoning: A Comparative Study
- arxiv url: http://arxiv.org/abs/2404.11792v1
- Date: Wed, 17 Apr 2024 23:00:03 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-19 13:20:47.887454
- Title: Enhancing Q&A with Domain-Specific Fine-Tuning and Iterative Reasoning: A Comparative Study
- Title(参考訳): ドメイン特化ファインチューニングと反復推論によるQ&Aの促進:比較研究
- Authors: Zooey Nguyen, Anthony Annunziata, Vinh Luong, Sang Dinh, Quynh Le, Anh Hai Ha, Chanh Le, Hong An Phan, Shruti Raghavan, Christopher Nguyen,
- Abstract要約: 本稿では,大規模言語モデル(LLM)と検索拡張生成(RAG)を用いた質問応答システム(Q&A)の性能に及ぼすドメイン固有モデル微調整と推論機構の影響について検討する。
FinanceBench SECのファイナンシャルファイリングデータセットを用いて、RAGでは、微調整の埋め込みモデルと微調整のLDMを組み合わせることで、ジェネリックモデルよりも精度が高いことを観察する。
本稿では,Q&AAIの主要な技術コンポーネントを抽出する構造化された技術設計空間を提案する。
- 参考スコア(独自算出の注目度): 0.3932300766934226
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper investigates the impact of domain-specific model fine-tuning and of reasoning mechanisms on the performance of question-answering (Q&A) systems powered by large language models (LLMs) and Retrieval-Augmented Generation (RAG). Using the FinanceBench SEC financial filings dataset, we observe that, for RAG, combining a fine-tuned embedding model with a fine-tuned LLM achieves better accuracy than generic models, with relatively greater gains attributable to fine-tuned embedding models. Additionally, employing reasoning iterations on top of RAG delivers an even bigger jump in performance, enabling the Q&A systems to get closer to human-expert quality. We discuss the implications of such findings, propose a structured technical design space capturing major technical components of Q&A AI, and provide recommendations for making high-impact technical choices for such components. We plan to follow up on this work with actionable guides for AI teams and further investigations into the impact of domain-specific augmentation in RAG and into agentic AI capabilities such as advanced planning and reasoning.
- Abstract(参考訳): 本稿では,大規模言語モデル (LLM) と検索拡張生成 (RAG) を用いた質問応答(Q&A) システムの性能に及ぼすドメイン固有モデル微調整と推論機構の影響について検討する。
FinanceBench SECのファイナンシャルファイリングデータセットを用いて、RAGでは、微調整の埋め込みモデルと微調整のLLMを組み合わせることで、汎用モデルよりも精度が向上し、微調整の埋め込みモデルに起因する利得が比較的大きいことが観察された。
さらに、RAGの上に推論イテレーションを採用することで、パフォーマンスがさらに大きく向上し、Q&Aシステムが人間の専門的な品質に近づくことができます。
本稿では,その意義を考察し,Q&AAIの主要な技術コンポーネントを抽出する構造化技術設計空間を提案する。
我々は、AIチームのための実行可能なガイドと、RAGにおけるドメイン固有の拡張の影響と、高度な計画や推論などのエージェントAI機能への影響に関するさらなる調査で、この作業を続行する予定です。
関連論文リスト
- Enhancing the Efficiency and Accuracy of Underlying Asset Reviews in Structured Finance: The Application of Multi-agent Framework [3.022596401099308]
AIは、ローンアプリケーションと銀行のステートメント間の情報の検証を効果的に自動化できることを示します。
この研究は、手動エラーを最小限に抑え、デューディリジェンスを合理化するAIの可能性を強調し、財務文書分析とリスク管理におけるAIの幅広い応用を示唆している。
論文 参考訳(メタデータ) (2024-05-07T13:09:49Z) - Mitigating Reward Hacking via Information-Theoretic Reward Modeling [70.26019860948114]
本稿では,報酬モデリングのための汎用的で堅牢なフレームワークであるInfoRMを提案する。
我々は,潜伏空間における過最適化と外れ値の相関を同定し,報酬過最適化を検出するための有望なツールとしてInfoRMを確立した。
論文 参考訳(メタデータ) (2024-02-14T17:49:07Z) - From RAG to QA-RAG: Integrating Generative AI for Pharmaceutical
Regulatory Compliance Process [0.0]
製薬業界における規制の遵守は、複雑で明るいガイドラインを通じてナビゲートする必要がある。
これらの課題に対処するため,本研究では,生成型AIと検索型拡張生成(RAG)手法を紹介する。
本稿では,QA-RAGの構造と性能評価について詳述し,規制コンプライアンス領域の可能性を強調した。
論文 参考訳(メタデータ) (2024-01-26T08:23:29Z) - Fine-tuning Strategies for Domain Specific Question Answering under Low
Annotation Budget Constraints [4.273966905160028]
低予算環境でQAモデルを微調整する最善の戦略は、事前訓練された言語モデル(PLM)を、ターゲットデータセットとSQuADデータセットからなるデータセットで微調整することです。
本実験は,QAシステムを低予算で微調整する方法に関する最初の調査の1つであり,QA実践者にとって最も実践的な関心事である。
論文 参考訳(メタデータ) (2024-01-17T12:21:20Z) - Levels of AGI: Operationalizing Progress on the Path to AGI [67.02053749878078]
このフレームワークは、AGIパフォーマンス、一般性、自律性のレベルを導入します。
このフレームワークが、自動運転のレベルと同等の方法で有効になることを願っています。
論文 参考訳(メタデータ) (2023-11-04T17:44:58Z) - Data-Centric Long-Tailed Image Recognition [49.90107582624604]
ロングテールモデルは高品質なデータに対する強い需要を示している。
データ中心のアプローチは、モデルパフォーマンスを改善するために、データの量と品質の両方を強化することを目的としています。
現在、情報強化の有効性を説明するメカニズムに関する研究が不足している。
論文 参考訳(メタデータ) (2023-11-03T06:34:37Z) - An Integrative Paradigm for Enhanced Stroke Prediction: Synergizing
XGBoost and xDeepFM Algorithms [1.064427783926208]
本稿では,XGBoostとxDeepFMアルゴリズムのパワーを組み合わせたアンサンブルモデルを提案する。
本研究の目的は,既存のストローク予測モデルの改良であり,精度とロバスト性の向上である。
論文 参考訳(メタデータ) (2023-10-25T07:55:02Z) - Refined Mechanism Design for Approximately Structured Priors via Active
Regression [50.71772232237571]
我々は、大量の商品を戦略的入札者に販売する収益を最大化する販売業者の問題を考える。
この設定の最適かつほぼ最適のメカニズムは、特徴付けや計算が難しいことで有名である。
論文 参考訳(メタデータ) (2023-10-11T20:34:17Z) - Human Parity on CommonsenseQA: Augmenting Self-Attention with External
Attention [66.93307963324834]
本稿では,外部の知識や状況に配慮した外部アテンション機構を備えたトランスフォーマーアーキテクチャの強化を提案する。
提案した外部注意機構は,既存のAIシステムの性能を大幅に向上させることができる。
提案システムは、オープンなCommonsenseQA研究ベンチマークにおいて、89.4%の精度で人間に匹敵する88.9%の精度で人間に匹敵する。
論文 参考訳(メタデータ) (2021-12-06T18:59:02Z) - AEFE: Automatic Embedded Feature Engineering for Categorical Features [4.310748698480341]
本稿では,カスタムパラダイム機能構築や複数機能選択など,さまざまなコンポーネントから構成されるカテゴリ機能を表現するための自動機能エンジニアリングフレームワークを提案する。
いくつかの典型的なeコマースデータセットで実施された実験は、我々の手法が古典的な機械学習モデルや最先端のディープラーニングモデルよりも優れていることを示している。
論文 参考訳(メタデータ) (2021-10-19T07:22:59Z) - Counterfactual Explanations as Interventions in Latent Space [62.997667081978825]
反現実的な説明は、望ましい結果を達成するために変更が必要な機能のセットをエンドユーザに提供することを目的としています。
現在のアプローチでは、提案された説明を達成するために必要な行動の実現可能性を考慮することはめったにない。
本稿では,非現実的説明を生成する手法として,潜時空間における干渉としての対実的説明(CEILS)を提案する。
論文 参考訳(メタデータ) (2021-06-14T20:48:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。