論文の概要: A New Pipeline For Generating Instruction Dataset via RAG and Self Fine-Tuning
- arxiv url: http://arxiv.org/abs/2408.05911v1
- Date: Mon, 12 Aug 2024 03:52:11 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-13 14:55:41.212409
- Title: A New Pipeline For Generating Instruction Dataset via RAG and Self Fine-Tuning
- Title（参考訳）: RAGとセルフファインチューニングによるインストラクションデータセット生成のための新しいパイプライン
- Authors: Chih-Wei Song, Yu-Kai Lee, Yin-Te Tsai,
- Abstract要約: 本研究では,特定のドメインを微調整するための高品質な命令データセットを構築するパイプラインを提案する。
ドメイン固有の文書を取り込み、パイプラインは関連性のある適切な命令を生成する。
ケーススタディでは、専門知識と患者情報の繊細な取り扱いを必要とする領域である精神医学の領域にこのアプローチを適用した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rapid development of large language models in recent years, there has been an increasing demand for domain-specific Agents that can cater to the unique needs of enterprises and organizations. Unlike general models, which strive for broad coverage, these specialized Agents rely on focused datasets tailored to their intended applications. This research proposes a pipeline that leverages the power of LLMs and the Retrieval-Augmented Generation related framework to construct high-quality instruction datasets for fine-tuning on specific domains using custom document collections. By ingesting domain-specific documents, the pipeline generates relevant and contextually appropriate instructions, thus effectively creating a comprehensive dataset for fine-tuning LLMs on the target domain. This approach overcomes the limitations of traditional dataset creation methods, which often rely on manual curation or web-scraping techniques that may introduce noise and irrelevant data. Notably, our pipeline offers a dynamic solution that can quickly adapt to updates or modifications in the domain-specific document collection, eliminating the need for complete retraining. Additionally, it addresses the challenge of data scarcity by enabling the generation of instruction datasets from a limited set of initial documents, rendering it suitable for unpopular or specialized domains where comprehensive datasets are scarce. As a case study, we apply this approach to the domain of psychiatry, a field requiring specialized knowledge and sensitive handling of patient information. The resulting fine-tuned LLM demonstrates showcases the viability of the proposed approach and underscores its potential for widespread adoption across various industries and domains where tailored, accurate, and contextually relevant language models are indispensable.
- Abstract（参考訳）: 近年の大規模言語モデルの急速な発展に伴い、企業や組織のユニークなニーズに対応できるドメイン固有エージェントへの需要が高まっている。
広範にカバーしようとする一般的なモデルとは異なり、これらの特殊なエージェントは、意図したアプリケーションに合わせた、集中したデータセットに依存している。
本研究では、LLMとRetrieval-Augmented Generation関連フレームワークのパワーを活用して、カスタム文書コレクションを使用して特定のドメインを微調整するための高品質な命令データセットを構築するパイプラインを提案する。
ドメイン固有のドキュメントを取り込み、パイプラインは関連性があり、コンテキスト的に適切な命令を生成し、それによって、ターゲットドメイン上の微調整 LLM のための包括的なデータセットを効果的に作成する。
このアプローチは、手作業によるキュレーションやWebスクラッピング技術に依存することが多く、ノイズや無関係なデータを導入する、従来のデータセット作成メソッドの制限を克服する。
特に、私たちのパイプラインは、ドメイン固有のドキュメントコレクションのアップデートや修正に迅速に適応できる動的なソリューションを提供しています。
さらに、限られた初期文書から命令データセットを生成することで、データ不足の課題に対処し、包括的なデータセットが不足している不人気または専門のドメインに適合する。
ケーススタディでは、専門知識と患者情報の繊細な取り扱いを必要とする領域である精神医学の領域にこのアプローチを適用した。
結果として得られた微調整 LLM は,提案手法の可能性を実証し,適合性,正確性,文脈に関係のある言語モデルが不可欠である様々な産業や領域で広く採用される可能性を示している。
関連論文リスト
- Exploring User Retrieval Integration towards Large Language Models for Cross-Domain Sequential Recommendation [66.72195610471624]
Cross-Domain Sequential Recommendationは、異なるドメイン間でユーザのシーケンシャルな好みをマイニングし、転送することを目的としている。
本稿では,ユーザ検索手法を探索し,CDSRの性能向上を目的とした URLLM という新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-06-05T09:19:54Z) - ProgGen: Generating Named Entity Recognition Datasets Step-by-step with Self-Reflexive Large Language Models [25.68491572293656]
大規模言語モデルは、名前付きエンティティ認識のような構造化された知識抽出タスクにおいて不足する。
本稿では,より優れたNERデータセットを生成するため,LCMを質素なNER能力で活用するための革新的で費用効率のよい戦略について検討する。
論文 参考訳（メタデータ） (2024-03-17T06:12:43Z) - Dial-insight: Fine-tuning Large Language Models with High-Quality Domain-Specific Data Preventing Capability Collapse [4.98050508891467]
高品質なデータを得るために設計された生産プロンプトを構築するための2段階のアプローチを提案する。
この方法は、幅広いタスクを包含し、多種多様な表現を示す多様なプロンプトの生成を含む。
生成したラベルデータの整合性を確保するため,コスト効率,多次元品質評価フレームワークを導入する。
論文 参考訳（メタデータ） (2024-03-14T08:27:32Z) - LLM Based Multi-Agent Generation of Semi-structured Documents from
Semantic Templates in the Public Administration Domain [2.3999111269325266]
大きな言語モデル(LLM)により、ユーザ要求を満たすカスタマイズされたテキスト出力が作成できるようになった。
所望の構造に適合した新しい文書を生成するために,LLMと迅速なエンジニアリングシステム,マルチエージェントシステムを組み合わせた新しい手法を提案する。
論文 参考訳（メタデータ） (2024-02-21T13:54:53Z) - Explore-Instruct: Enhancing Domain-Specific Instruction Coverage through
Active Exploration [64.58185031596169]
Explore-Instructは、ドメイン固有の命令チューニングで使用されるデータカバレッジを強化する新しいアプローチである。
データ中心分析は、ドメイン固有の命令カバレッジを改善するために提案手法の有効性を検証する。
我々の発見は、特にドメイン固有の文脈において、命令カバレッジを改善するための有望な機会を提供する。
論文 参考訳（メタデータ） (2023-10-13T15:03:15Z) - Fine-tuning Large Enterprise Language Models via Ontological Reasoning [5.12835891233968]
大きな言語モデル(LLM)はタスク固有のトレーニングデータのおかげで、さまざまな目標に適応するためのテクニックとして微調整を利用する。
LLMファインチューニングのためのタスクとドメイン固有のコーパスを構築するために、存在論的推論の力を利用する新しいニューロシンボリックアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-06-19T06:48:45Z) - An Iterative Optimizing Framework for Radiology Report Summarization with ChatGPT [80.33783969507458]
放射線医学報告の「印象」セクションは、放射線医と他の医師とのコミュニケーションにとって重要な基盤である。
近年の研究では、大規模医療用テキストデータを用いた印象自動生成の有望な成果が得られている。
これらのモデルは、しばしば大量の医療用テキストデータを必要とし、一般化性能が劣る。
論文 参考訳（メタデータ） (2023-04-17T17:13:42Z) - Domain-incremental Cardiac Image Segmentation with Style-oriented Replay
and Domain-sensitive Feature Whitening [67.6394526631557]
M&Mは、各受信データセットから漸進的に学習し、時間が経つにつれて改善された機能で漸進的に更新する必要がある。
医学的シナリオでは、データのプライバシのため、過去のデータへのアクセスや保存が一般的に許可されないため、これは特に困難である。
本稿では,まず過去のドメイン入力を復元し,モデル最適化中に定期的に再生する新しいドメイン増分学習フレームワークを提案する。
論文 参考訳（メタデータ） (2022-11-09T13:07:36Z) - A Multi-Format Transfer Learning Model for Event Argument Extraction via
Variational Information Bottleneck [68.61583160269664]
イベント引数抽出(EAE)は、テキストから所定の役割を持つ引数を抽出することを目的としている。
変動情報のボトルネックを考慮したマルチフォーマット変換学習モデルを提案する。
3つのベンチマークデータセットに対して広範な実験を行い、EAE上での新たな最先端性能を得る。
論文 参考訳（メタデータ） (2022-08-27T13:52:01Z) - Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。
自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。
我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
論文 参考訳（メタデータ） (2020-10-03T03:18:52Z) - Data Techniques For Online End-to-end Speech Recognition [17.621967685914587]
ドメイン内データに制限があるため、多くの場合、新しいユースケースのためのASRシステムを短時間で構築する必要がある。
最近開発されたエンドツーエンドのメソッドは、モデリングパイプラインを大いに単純化するが、それでもデータ空間の問題に悩まされている。
本稿では,オンラインASRシステムをエンド・ツー・エンドで構築するための簡単な実装手法について検討する。
論文 参考訳（メタデータ） (2020-01-24T22:59:46Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。