論文の概要: Data-Constrained Synthesis of Training Data for De-Identification

• arxiv url: http://arxiv.org/abs/2502.14677v2
• Date: Fri, 21 Feb 2025 16:58:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-24 15:11:45.118116
• Title: Data-Constrained Synthesis of Training Data for De-Identification
• Title（参考訳）: 復号化のためのデータ制約付きトレーニングデータの合成
• Authors: Thomas Vakili, Aron Henriksson, Hercules Dalianis,
• Abstract要約: 臨床領域に適応する大言語モデル(LLM)について検討した。 我々は,個人識別可能な情報にタグを付加した人工的な臨床テキストを生成する。 合成コーパスは合成NERモデルの訓練に使用される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Many sensitive domains -- such as the clinical domain -- lack widely available datasets due to privacy risks. The increasing generative capabilities of large language models (LLMs) have made synthetic datasets a viable path forward. In this study, we domain-adapt LLMs to the clinical domain and generate synthetic clinical texts that are machine-annotated with tags for personally identifiable information using capable encoder-based NER models. The synthetic corpora are then used to train synthetic NER models. The results show that training NER models using synthetic corpora incurs only a small drop in predictive performance. The limits of this process are investigated in a systematic ablation study -- using both Swedish and Spanish data. Our analysis shows that smaller datasets can be sufficient for domain-adapting LLMs for data synthesis. Instead, the effectiveness of this process is almost entirely contingent on the performance of the machine-annotating NER models trained using the original data.
• Abstract（参考訳）: 臨床ドメインのような多くの機密ドメインは、プライバシーリスクのために広く利用可能なデータセットを欠いている。 大規模言語モデル(LLM)の生成能力の増大は、合成データセットを前進可能な経路にしている。 本研究では,臨床領域にLLMを適用し,有能なエンコーダベースNERモデルを用いた個人識別情報にタグを付加した合成臨床テキストを生成する。 合成コーパスは合成NERモデルの訓練に使用される。 その結果, 合成コーパスを用いたNERモデルのトレーニングでは, 予測性能がわずかに低下することがわかった。 このプロセスの限界は、スウェーデンとスペインのデータの両方を用いて、体系的なアブレーション研究で調査されている。 分析の結果,データ合成のためのドメイン適応型LLMには,より小さなデータセットで十分であることが示唆された。 代わりに、このプロセスの有効性は、オリジナルのデータを使って訓練された機械注釈のNERモデルの性能にほぼ一致している。

関連論文リスト

• Prototype-Guided Diffusion for Digital Pathology: Achieving Foundation Model Performance with Minimal Clinical Data [6.318463500874778]
  本研究では,高忠実度合成病理データを大規模に生成するプロトタイプ誘導拡散モデルを提案する。 我々のアプローチは、生成したデータの生物学的、診断学的に有意義な変動を保証します。 我々は、大規模な実世界のデータセットでトレーニングされたモデルよりも60倍-760倍少ないデータを使用しても、我々の合成データセットでトレーニングされた自己教師機能によって競争性能が向上することを示した。
  論文  参考訳（メタデータ） (2025-04-15T21:17:39Z)
• Scaling Laws of Synthetic Data for Language Models [132.67350443447611]
  プレトレーニングコーパスを多種多様な高品質な合成データセットに変換するスケーラブルなフレームワークであるSynthLLMを紹介した。 提案手法は,グラフアルゴリズムを用いて複数の文書にまたがるハイレベルな概念を自動的に抽出し,再結合することで実現している。
  論文  参考訳（メタデータ） (2025-03-25T11:07:12Z)
• Creating Artificial Students that Never Existed: Leveraging Large Language Models and CTGANs for Synthetic Data Generation [2.4374097382908477]
  総合的なデータを利用して、学習分析モデルを提供するための人工的な学生を創出できるかどうかを検討する。 本研究は,学生データに類似した高品質な合成データセットを作成する上で,これらの手法の強い可能性を示すものである。
  論文  参考訳（メタデータ） (2025-01-03T12:52:51Z)
• Efficacy of Synthetic Data as a Benchmark [3.2968976262860408]
  大規模言語モデル(LLM)による合成データ生成の有効性について検討する。 実験の結果, 単純なタスクに対して, 合成データは様々な手法の性能を効果的に捉えることができるが, 名前付きエンティティ認識のような複雑なタスクでは不十分であることがわかった。 我々は、ベンチマークデータの生成とタスクの実行の両方に同じLLMを使用した場合のバイアスを評価するバイアス係数と呼ばれる新しい指標を提案する。
  論文  参考訳（メタデータ） (2024-09-18T13:20:23Z)
• Unveiling the Flaws: Exploring Imperfections in Synthetic Data and Mitigation Strategies for Large Language Models [89.88010750772413]
  大規模言語モデル(LLM)の学習における高品質なデータ不足問題に対する解決法として,合成データを提案する。 我々の研究は、Q-A(Q-A)ペア、一般的な合成データに関連するこれらの特定の欠陥を掘り下げ、これらの欠陥を軽減するための未学習技術に基づく方法を提案する。 我々の研究は、より堅牢で効率的なLLMトレーニングを促進することを目的として、合成データの効果的な利用に関する重要な洞察を得た。
  論文  参考訳（メタデータ） (2024-06-18T08:38:59Z)
• Reimagining Synthetic Tabular Data Generation through Data-Centric AI: A Comprehensive Benchmark [56.8042116967334]
  合成データは、機械学習モデルのトレーニングの代替となる。 合成データが現実世界データの複雑なニュアンスを反映することを保証することは、難しい作業です。 本稿では,データ中心型AI技術の統合による合成データ生成プロセスのガイドの可能性について検討する。
  論文  参考訳（メタデータ） (2023-10-25T20:32:02Z)
• Let's Synthesize Step by Step: Iterative Dataset Synthesis with Large Language Models by Extrapolating Errors from Small Models [69.76066070227452]
  ※データ合成*はラベル付きデータの少ない小さなモデルをトレーニングするための有望な方法です。 本稿では,この分散ギャップを縮めるデータ合成フレームワークであるStep* (**S3**) による合成ステップを提案する。 提案手法は,合成データセットと実データとのギャップを小さくすることで,小型モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-20T17:14:25Z)
• Synthetic Data Generation with Large Language Models for Text Classification: Potential and Limitations [21.583825474908334]
  本研究では,合成データに基づいて学習したモデルの性能が,分類の主観性によってどう変化するかを検討する。 その結果,主観性は,タスクレベルとインスタンスレベルの両方において,合成データに基づいて訓練されたモデルの性能と負の相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2023-10-11T19:51:13Z)
• Does Synthetic Data Make Large Language Models More Efficient? [0.0]
  本稿では,NLPにおける合成データ生成のニュアンスについて考察する。 データ拡張の可能性や構造化品種の導入など、その利点を強調します。 テンプレートベースの合成データが現代の変圧器モデルの性能に与える影響を実証する。
  論文  参考訳（メタデータ） (2023-10-11T19:16:09Z)
• TSGM: A Flexible Framework for Generative Modeling of Synthetic Time Series [61.436361263605114]
  時系列データは、研究者と産業組織間のデータの共有を妨げるため、しばしば不足または非常に敏感である。 本稿では,合成時系列の生成モデリングのためのオープンソースフレームワークである時系列生成モデリング(TSGM)を紹介する。
  論文  参考訳（メタデータ） (2023-05-19T10:11:21Z)
• Synthetic data, real errors: how (not) to publish and use synthetic data [86.65594304109567]
  生成過程が下流MLタスクにどのように影響するかを示す。 本稿では、生成プロセスモデルパラメータの後方分布を近似するために、Deep Generative Ensemble (DGE)を導入する。
  論文  参考訳（メタデータ） (2023-05-16T07:30:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。