論文の概要: Aggregated Knowledge Model: Enhancing Domain-Specific QA with Fine-Tuned and Retrieval-Augmented Generation Models

• arxiv url: http://arxiv.org/abs/2410.18344v1
• Date: Thu, 24 Oct 2024 00:49:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-25 12:51:54.536937
• Title: Aggregated Knowledge Model: Enhancing Domain-Specific QA with Fine-Tuned and Retrieval-Augmented Generation Models
• Title（参考訳）: Aggregated Knowledge Model: ドメイン特化QAを微調整および再検索型生成モデルで強化する
• Authors: Fengchen Liu, Jordan Jung, Wei Feinstein, Jeff DAmbrogia, Gary Jung,
• Abstract要約: 本稿では,クローズドドメイン質問応答システム(QA)の新たなアプローチを提案する。 ローレンス・バークレー国立研究所(LBL)科学情報技術(ScienceIT)ドメインの特定のニーズに焦点を当てている。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This paper introduces a novel approach to enhancing closed-domain Question Answering (QA) systems, focusing on the specific needs of the Lawrence Berkeley National Laboratory (LBL) Science Information Technology (ScienceIT) domain. Utilizing a rich dataset derived from the ScienceIT documentation, our study embarks on a detailed comparison of two fine-tuned large language models and five retrieval-augmented generation (RAG) models. Through data processing techniques, we transform the documentation into structured context-question-answer triples, leveraging the latest Large Language Models (AWS Bedrock, GCP PaLM2, Meta LLaMA2, OpenAI GPT-4, Google Gemini-Pro) for data-driven insights. Additionally, we introduce the Aggregated Knowledge Model (AKM), which synthesizes responses from the seven models mentioned above using K-means clustering to select the most representative answers. The evaluation of these models across multiple metrics offers a comprehensive look into their effectiveness and suitability for the LBL ScienceIT environment. The results demonstrate the potential benefits of integrating fine-tuning and retrieval-augmented strategies, highlighting significant performance improvements achieved with the AKM. The insights gained from this study can be applied to develop specialized QA systems tailored to specific domains.
• Abstract（参考訳）: 本稿では,ローレンス・バークレー国立研究所(LBL)科学情報技術(ScienceIT)分野の具体的なニーズに着目し,クローズドドメイン質問応答(QA)システムを強化するための新しいアプローチを提案する。 本研究では,ScienceITドキュメントから得られたリッチデータセットを用いて,2つの微調整された大言語モデルと5つの検索拡張生成(RAG)モデルとの詳細な比較を行った。 データ処理技術を通じて、ドキュメントを構造化されたコンテキストクエリー回答トリプルに変換し、最新のLarge Language Model(AWS Bedrock、GCP PaLM2、Meta LLaMA2、OpenAI GPT-4、Google Gemini-Pro)をデータ駆動的な洞察に活用します。 さらに、上述した7つのモデルからの応答をK平均クラスタリングを用いて合成し、最も代表的な回答を選択するAKM(Aggregated Knowledge Model)を提案する。 複数のメトリクスにわたるこれらのモデルの評価は、LBL ScienceIT環境におけるそれらの有効性と適合性について包括的に考察する。 その結果,AKMで達成した大幅な性能向上を強調し,微調整戦略と検索戦略の統合による潜在的なメリットが示された。 本研究から得られた知見は、特定のドメインに適した専門的なQAシステムの開発に応用できる。

関連論文リスト

• Towards Optimizing a Retrieval Augmented Generation using Large Language Model on Academic Data [4.322454918650575]
  本研究では,大規模技術大学における各種研究プログラムを対象としたデータ検索に焦点を当てた。 オープンソース(Llama2、Mistralなど)とクローズドソース(GPT-3.5、GPT-4など)の統合を探ることで、ドメイン固有のコンテキストにおけるRAGフレームワークの適用と最適化に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2024-11-13T08:43:37Z)
• Language Models are Graph Learners [70.14063765424012]
  言語モデル(LM)は、グラフニューラルネットワーク(GNN)やグラフトランスフォーマー(GT)など、ドメイン固有のモデルの優位性に挑戦している。 本稿では,ノード分類タスクにおける最先端のGNNに匹敵する性能を実現するために,既製のLMを有効活用する手法を提案する。
  論文  参考訳（メタデータ） (2024-10-03T08:27:54Z)
• Are Large Language Models Good Classifiers? A Study on Edit Intent Classification in Scientific Document Revisions [62.12545440385489]
  大規模言語モデル(LLM)は、テキスト生成の大幅な進歩をもたらしたが、分類タスクの強化の可能性はまだ未検討である。 生成と符号化の両方のアプローチを含む分類のための微調整LDMを徹底的に研究するためのフレームワークを提案する。 我々はこのフレームワークを編集意図分類(EIC)においてインスタンス化する。
  論文  参考訳（メタデータ） (2024-10-02T20:48:28Z)
• Meta Knowledge for Retrieval Augmented Large Language Models [0.0]
  大規模言語モデル(LLM)のための新しいデータ中心型RAGワークフローを提案する。 提案手法は,各文書にメタデータと合成質問文(QA)を生成することに依存する。 合成質問マッチングによる拡張クエリの使用は、従来のRAGパイプラインよりも大幅に優れていることを示す。
  論文  参考訳（メタデータ） (2024-08-16T20:55:21Z)
• Large Language Model Enhanced Knowledge Representation Learning: A Survey [15.602891714371342]
  言語モデルと知識表現学習(KRL)の統合は、人工知能(AI)分野における大きな進歩を示している。 LLMによるKRLの強化に関する研究が増えているにもかかわらず、これらの強化されたモデルのプロセスを分析する徹底的な調査は、顕著に欠落している。 3つの異なるトランスフォーマーアーキテクチャに基づいてこれらのモデルを分類し、様々なKRL下流タスクからの実験データを解析し、それぞれのアプローチの長所と短所を評価することで、この問題に対処する。
  論文  参考訳（メタデータ） (2024-07-01T03:37:35Z)
• Contextualization Distillation from Large Language Model for Knowledge Graph Completion [51.126166442122546]
  我々は、差別的かつ生成的なKGCフレームワークと互換性のあるプラグイン・アンド・プレイ方式であるContextualization Distillation戦略を導入する。 提案手法は,大規模言語モデルに対して,コンパクトで構造的な三重項を文脈に富んだセグメントに変換するように指示することから始まる。 多様なデータセットとKGC技術にわたる総合的な評価は、我々のアプローチの有効性と適応性を強調している。
  論文  参考訳（メタデータ） (2024-01-28T08:56:49Z)
• Accelerated materials language processing enabled by GPT [5.518792725397679]
  我々は材料言語処理のための生成変換器(GPT)対応パイプラインを開発した。 まず、関連する文書をスクリーニングするためのGPT対応文書分類手法を開発する。 第二に、NERタスクでは、エンティティ中心のプロンプトを設計し、そのほとんどを学習することで、パフォーマンスが改善された。 最後に,GPT対応抽出QAモデルを開発し,性能の向上とアノテーションの自動修正の可能性を示す。
  論文  参考訳（メタデータ） (2023-08-18T07:31:13Z)
• LLMs for Knowledge Graph Construction and Reasoning: Recent Capabilities and Future Opportunities [66.36633042421387]
  知識グラフ(KG)の構築と推論のための大規模言語モデル(LLM)の評価。 我々は,LLMと外部ソースを用いたマルチエージェントベースのアプローチであるAutoKGを提案し,KGの構築と推論を行う。
  論文  参考訳（メタデータ） (2023-05-22T15:56:44Z)
• Guiding Generative Language Models for Data Augmentation in Few-Shot Text Classification [59.698811329287174]
  我々は、GPT-2を用いて、分類性能を向上させるために、人工訓練インスタンスを生成する。 実験の結果,少数のラベルインスタンスでGPT-2を微調整すると,一貫した分類精度が向上することがわかった。
  論文  参考訳（メタデータ） (2021-11-17T12:10:03Z)
• Few-Shot Named Entity Recognition: A Comprehensive Study [92.40991050806544]
  マルチショット設定のモデル一般化能力を向上させるための3つの手法を検討する。 ラベル付きデータの比率の異なる10の公開nerデータセットについて経験的比較を行う。 マルチショットとトレーニングフリーの両方の設定で最新の結果を作成します。
  論文  参考訳（メタデータ） (2020-12-29T23:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。