論文の概要: Embedding-Driven Diversity Sampling to Improve Few-Shot Synthetic Data Generation

• arxiv url: http://arxiv.org/abs/2501.11199v1
• Date: Mon, 20 Jan 2025 00:16:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:23:15.864302
• Title: Embedding-Driven Diversity Sampling to Improve Few-Shot Synthetic Data Generation
• Title（参考訳）: 埋め込み型多様性サンプリングによるFew-Shot合成データ生成の改善
• Authors: Ivan Lopez, Fateme Nateghi Haredasht, Kaitlin Caoili, Jonathan H Chen, Akshay Chaudhari,
• Abstract要約: そこで本研究では,少数の臨床論文から多様性を抽出し,大規模言語モデルを数発のプロンプトでガイドする埋め込み型アプローチを提案する。 われわれは,コサイン類似性とチューリング試験を用いて,実際の臨床テキストとより密に一致した合成ノートを作成した。
• 参考スコア（独自算出の注目度）: 4.684310901243605
• License:
• Abstract: Accurate classification of clinical text often requires fine-tuning pre-trained language models, a process that is costly and time-consuming due to the need for high-quality data and expert annotators. Synthetic data generation offers an alternative, though pre-trained models may not capture the syntactic diversity of clinical notes. We propose an embedding-driven approach that uses diversity sampling from a small set of real clinical notes to guide large language models in few-shot prompting, generating synthetic text that better reflects clinical syntax. We evaluated this method using the CheXpert dataset on a classification task, comparing it to random few-shot and zero-shot approaches. Using cosine similarity and a Turing test, our approach produced synthetic notes that more closely align with real clinical text. Our pipeline reduced the data needed to reach the 0.85 AUC cutoff by 40% for AUROC and 30% for AUPRC, while augmenting models with synthetic data improved AUROC by 57% and AUPRC by 68%. Additionally, our synthetic data was 0.9 times as effective as real data, a 60% improvement in value.
• Abstract（参考訳）: 臨床テキストの正確な分類は、しばしば、高品質なデータと専門家アノテータを必要とするため、コストと時間を要する、微調整された事前訓練された言語モデルを必要とする。 合成データ生成は代替手段を提供するが、事前訓練されたモデルは臨床ノートの構文的多様性を捉えない可能性がある。 そこで本研究では,少数の臨床論文から多様性を抽出し,臨床構文を反映した合成テキストを生成する手法を提案する。 分類タスクにおいて,CheXpertデータセットを用いてこの手法を評価し,ランダムな数ショットとゼロショットのアプローチと比較した。 われわれは,コサイン類似性とチューリング試験を用いて,実際の臨床テキストとより密に一致した合成ノートを作成した。 パイプラインはAUROCを40%,AUPRCを30%削減し,AUROCを57%,AUPRCを68%向上させた。 さらに,我々の合成データは実データに比べて0.9倍有効であり,60%の値改善があった。

関連論文リスト

• Can Medical Vision-Language Pre-training Succeed with Purely Synthetic Data? [8.775988650381397]
  医療ビジョン言語による事前トレーニングモデルのトレーニングには、ペアで高品質な画像テキストデータを備えたデータセットが必要である。 近年の大規模言語モデルの進歩により,大規模合成画像テキストペアの生成が可能になった。 多様な高品質な合成データセットを構築するための自動パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-10-17T13:11:07Z)
• Enhancing Clinical Documentation with Synthetic Data: Leveraging Generative Models for Improved Accuracy [0.0]
  本稿では, 合成データ生成技術を活用した新たな臨床文書作成手法を提案する。 本稿では,GAN (Generative Adrial Networks) やVAE (variantal Autoencoders) など,最先端の生成モデルを組み合わせた方法論を提案する。 実世界のデータによく似た高品質な合成文字を生成する上で,本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-06-03T15:49:03Z)
• Improving Text Embeddings with Large Language Models [59.930513259982725]
  合成データと1k以下のトレーニングステップのみを用いて,高品質なテキスト埋め込みを実現するための,新しい簡易な手法を提案する。 我々は、93言語にまたがる数十万のテキスト埋め込みタスクのための多様な合成データを生成するために、プロプライエタリなLLMを活用している。 実験により,ラベル付きデータを使わずに,高度に競争力のあるテキスト埋め込みベンチマークにおいて高い性能が得られることが示された。
  論文  参考訳（メタデータ） (2023-12-31T02:13:18Z)
• Synthetically Enhanced: Unveiling Synthetic Data's Potential in Medical Imaging Research [4.475998415951477]
  Generative AIは、合成画像を生成するための有望なアプローチを提供し、データセットの多様性を向上する。 本研究では, 医用画像研究の性能と一般化性に及ぼす合成データ補充の影響について検討した。
  論文  参考訳（メタデータ） (2023-11-15T21:58:01Z)
• TarGEN: Targeted Data Generation with Large Language Models [51.87504111286201]
  TarGENは、高品質な合成データセットを生成するための、多段階のプロンプト戦略である。 我々は,LLMが不正確なラベル付きインスタンスを修正できるようにする自己補正法により,TarGENを増強する。 合成データセットを元のデータセットと比較した包括的な分析により、データセットの複雑さと多様性の類似または高いレベルが明らかになる。
  論文  参考訳（メタデータ） (2023-10-27T03:32:17Z)
• Let's Synthesize Step by Step: Iterative Dataset Synthesis with Large Language Models by Extrapolating Errors from Small Models [69.76066070227452]
  ※データ合成*はラベル付きデータの少ない小さなモデルをトレーニングするための有望な方法です。 本稿では,この分散ギャップを縮めるデータ合成フレームワークであるStep* (**S3**) による合成ステップを提案する。 提案手法は,合成データセットと実データとのギャップを小さくすることで,小型モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-10-20T17:14:25Z)
• PathLDM: Text conditioned Latent Diffusion Model for Histopathology [62.970593674481414]
  そこで我々は,高品質な病理像を生成するためのテキスト条件付き遅延拡散モデルPathLDMを紹介した。 提案手法は画像とテキストデータを融合して生成プロセスを強化する。 我々は,TCGA-BRCAデータセット上でのテキスト・ツー・イメージ生成において,SoTA FIDスコア7.64を達成し,FID30.1と最も近いテキスト・コンディショナブル・コンペティタを著しく上回った。
  論文  参考訳（メタデータ） (2023-09-01T22:08:32Z)
• Synthetic Augmentation with Large-scale Unconditional Pre-training [4.162192894410251]
  アノテーション付きデータへの依存性を低減するため,HistoDiffusionという合成拡張手法を提案する。 HistoDiffusionは、大規模にラベル付けされていないデータセットで事前トレーニングし、その後、拡張トレーニングのために小さなラベル付きデータセットに適用することができる。 本手法は,3つの病理組織学的データセットを事前学習し,大腸癌の病理組織学的データセット(CRC)を事前学習データセットから除外して評価する。
  論文  参考訳（メタデータ） (2023-08-08T03:34:04Z)
• BeCAPTCHA-Type: Biometric Keystroke Data Generation for Improved Bot Detection [63.447493500066045]
  本研究では,キーストローク生体データ合成のためのデータ駆動学習モデルを提案する。 提案手法は,ユニバーサルモデルとユーザ依存モデルに基づく2つの統計的手法と比較する。 実験フレームワークでは16万件の被験者から1億3600万件のキーストロークイベントのデータセットについて検討している。
  論文  参考訳（メタデータ） (2022-07-27T09:26:15Z)
• Medical Scientific Table-to-Text Generation with Human-in-the-Loop under the Data Sparsity Constraint [11.720364723821993]
  効率的なテーブル・ツー・テキスト要約システムは、このデータをレポートにまとめる手作業を大幅に減らすことができる。 しかし、実際には、この問題は、正確で信頼性の高い出力を生成するための最先端の自然言語生成モデルの、データポーカリティ、データポーサリティ、および機能不全によって大きく妨げられている。 本稿では, 自動補正, コピー機構, 合成データ拡張によって強化された新しい2段階アーキテクチャを用いて, テーブル・ツー・テキスト・アプローチを提案し, それらの課題に対処する。
  論文  参考訳（メタデータ） (2022-05-24T21:10:57Z)
• Bootstrapping Your Own Positive Sample: Contrastive Learning With Electronic Health Record Data [62.29031007761901]
  本稿では,新しいコントラスト型正規化臨床分類モデルを提案する。 EHRデータに特化した2つのユニークなポジティブサンプリング戦略を紹介します。 私たちのフレームワークは、現実世界のCOVID-19 EHRデータの死亡リスクを予測するために、競争の激しい実験結果をもたらします。
  論文  参考訳（メタデータ） (2021-04-07T06:02:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。