論文の概要: ELTEX: A Framework for Domain-Driven Synthetic Data Generation

• arxiv url: http://arxiv.org/abs/2503.15055v1
• Date: Wed, 19 Mar 2025 09:46:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-20 15:24:12.164355
• Title: ELTEX: A Framework for Domain-Driven Synthetic Data Generation
• Title（参考訳）: ELTEX: ドメイン駆動の合成データ生成フレームワーク
• Authors: Arina Razmyslovich, Kseniia Murasheva, Sofia Sedlova, Julien Capitaine, Eugene Dmitriev,
• Abstract要約: 特殊なドメインで高品質な合成トレーニングデータを生成するためのフレームワークである ELTEX を提案する。 ブロックチェーン関連サイバー攻撃検出におけるELTEXの有効性を示す。 我々の研究は、ドメイン駆動の合成データ生成が、リソース効率の良いモデルと特定のドメインにおけるより大きなアーキテクチャの間の性能ギャップを効果的に橋渡しできることを実証している。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present ELTEX (Efficient LLM Token Extraction), a domain-driven framework for generating high-quality synthetic training data in specialized domains. While Large Language Models (LLMs) have shown impressive general capabilities, their performance in specialized domains like cybersecurity remains limited by the scarcity of domain-specific training data. ELTEX addresses this challenge by systematically integrating explicit domain indicator extraction with dynamic prompting to preserve critical domain knowledge throughout the generation process. We demonstrate ELTEX's effectiveness in the context of blockchain-related cyberattack detection, where we fine-tune Gemma-2B using various combinations of real and ELTEX-generated data. Our results show that the ELTEX-enhanced model achieves performance competitive with GPT-4 across both standard classification metrics and uncertainty calibration, while requiring significantly fewer computational resources. We release a curated synthetic dataset of social media texts for cyberattack detection in blockchain. Our work demonstrates that domain-driven synthetic data generation can effectively bridge the performance gap between resource-efficient models and larger architectures in specialized domains.
• Abstract（参考訳）: ELTEX (Efficient LLM Token extract) は、特殊なドメインで高品質な合成トレーニングデータを生成するためのドメイン駆動フレームワークである。 大きな言語モデル(LLM)は目覚ましい汎用能力を示しているが、サイバーセキュリティのような専門分野のパフォーマンスは、ドメイン固有のトレーニングデータの不足によって制限されている。 ELTEXはこの課題に対処するため、明示的なドメインインジケータ抽出を動的プロンプトと体系的に統合し、生成プロセスを通じて重要なドメイン知識を保存する。 ブロックチェーン関連のサイバー攻撃検出において,ELTEXの有効性を実証し,実データとELTEX生成データの組み合わせを用いてGemma-2Bを微調整する。 以上の結果から, ELTEX強化モデルは標準分類基準と不確実性校正の両方でGPT-4と競合する性能を実現し, 計算資源は大幅に削減された。 ブロックチェーンにおけるサイバー攻撃検出のための、ソーシャルメディアテキストのキュレートされた合成データセットをリリースする。 我々の研究は、ドメイン駆動の合成データ生成が、リソース効率の良いモデルと特定のドメインにおけるより大きなアーキテクチャの間の性能ギャップを効果的に橋渡しできることを実証している。

関連論文リスト

• Data-Constrained Synthesis of Training Data for De-Identification [0.0]
  臨床領域に適応する大言語モデル(LLM)について検討した。 我々は,個人識別可能な情報にタグを付加した人工的な臨床テキストを生成する。 合成コーパスは合成NERモデルの訓練に使用される。
  論文  参考訳（メタデータ） (2025-02-20T16:09:27Z)
• Clear Minds Think Alike: What Makes LLM Fine-tuning Robust? A Study of Token Perplexity [61.48338027901318]
  LLM生成データによる微調整により,目標タスク性能が向上し,ドメイン外劣化の低減が図られる。 LLM生成トレーニングデータによって与えられる優れたOODロバスト性について、これが最初の力学的説明である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Generate to Discriminate: Expert Routing for Continual Learning [59.71853576559306]
  Generate to Discriminate (G2D) は、合成データを利用してドメイン識別器を訓練する連続学習手法である。 我々は、G2Dが視覚と言語の両方におけるタスクにおいて、競争力のあるドメイン・インクリメンタル・ラーニング手法より優れていることを観察する。
  論文  参考訳（メタデータ） (2024-12-22T13:16:28Z)
• Synthesizing Post-Training Data for LLMs through Multi-Agent Simulation [51.20656279478878]
  MATRIXは、様々なテキストベースのシナリオを自動的に生成するマルチエージェントシミュレータである。 制御可能でリアルなデータ合成のためのMATRIX-Genを紹介する。 AlpacaEval 2 と Arena-Hard のベンチマークでは、Llama-3-8B-Base が、MATRIX-Gen によって合成されたデータセット上で、たった 20K の命令応答ペアで、Meta の Llama-3-8B-Instruct モデルより優れています。
  論文  参考訳（メタデータ） (2024-10-18T08:01:39Z)
• UniGen: A Unified Framework for Textual Dataset Generation Using Large Language Models [88.16197692794707]
  UniGenは、多様で正確で高度に制御可能なデータセットを作成するように設計された包括的なフレームワークである。 データ多様性を強化するため、UniGenは属性誘導生成モジュールとグループチェック機能を備えている。 大規模な実験は、UniGenによって生成されたデータの優れた品質を示す。
  論文  参考訳（メタデータ） (2024-06-27T07:56:44Z)
• ProgGen: Generating Named Entity Recognition Datasets Step-by-step with Self-Reflexive Large Language Models [25.68491572293656]
  大規模言語モデルは、名前付きエンティティ認識のような構造化された知識抽出タスクにおいて不足する。 本稿では,より優れたNERデータセットを生成するため,LCMを質素なNER能力で活用するための革新的で費用効率のよい戦略について検討する。
  論文  参考訳（メタデータ） (2024-03-17T06:12:43Z)
• Generative adversarial networks for data-scarce spectral applications [0.0]
  合成スペクトルデータ生成分野におけるGANの応用について報告する。 CWGANは,低データ方式の性能向上を図り,サロゲートモデルとして機能することを示す。
  論文  参考訳（メタデータ） (2023-07-14T16:27:24Z)
• A Hybrid End-to-End Spatio-Temporal Attention Neural Network with Graph-Smooth Signals for EEG Emotion Recognition [1.6328866317851187]
  本稿では,ネットワーク・テンポラルエンコーディングと繰り返しアテンションブロックのハイブリッド構造を用いて,解釈可能な表現を取得するディープニューラルネットワークを提案する。 提案したアーキテクチャは、公開されているDEAPデータセット上での感情分類の最先端結果を上回ることを実証する。
  論文  参考訳（メタデータ） (2023-07-06T15:35:14Z)
• One-Shot Domain Adaptive and Generalizable Semantic Segmentation with Class-Aware Cross-Domain Transformers [96.51828911883456]
  セマンティックセグメンテーションのための教師なしのsim-to-realドメイン適応(UDA)は、シミュレーションデータに基づいて訓練されたモデルの実世界のテスト性能を改善することを目的としている。 従来のUDAは、適応のためのトレーニング中に利用可能なラベルのない実世界のサンプルが豊富にあると仮定することが多い。 実世界のデータサンプルが1つしか利用できない,一発の教師なしシム・トゥ・リアル・ドメイン適応(OSUDA)と一般化問題について検討する。
  論文  参考訳（メタデータ） (2022-12-14T15:54:15Z)
• FairGen: Fair Synthetic Data Generation [0.3149883354098941]
  本稿では,GANアーキテクチャに依存しないより公平な合成データを生成するパイプラインを提案する。 合成データを生成する場合、ほとんどのGANはトレーニングデータに存在するバイアスを増幅するが、これらのバイアスを誘発するサンプルを除去することで、GANは本質的に真の情報的サンプルに重点を置いている、と我々は主張する。
  論文  参考訳（メタデータ） (2022-10-24T08:13:47Z)
• Unsupervised Domain Adaptive Learning via Synthetic Data for Person Re-identification [101.1886788396803]
  人物再識別(re-ID)は、ビデオ監視に広く応用されているため、ますます注目を集めている。 残念なことに、主流のディープラーニング手法では、モデルをトレーニングするために大量のラベル付きデータが必要です。 本稿では,コンピュータゲーム内で合成されたre-IDサンプルを自動的に生成するデータコレクタを開発し,同時にアノテートするデータラベラを構築した。
  論文  参考訳（メタデータ） (2021-09-12T15:51:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。