論文の概要: Measuring Diversity in Synthetic Datasets

• arxiv url: http://arxiv.org/abs/2502.08512v1
• Date: Wed, 12 Feb 2025 15:46:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-13 13:50:13.327179
• Title: Measuring Diversity in Synthetic Datasets
• Title（参考訳）: 合成データセットにおける多様性の測定
• Authors: Yuchang Zhu, Huizhe Zhang, Bingzhe Wu, Jintang Li, Zibin Zheng, Peilin Zhao, Liang Chen, Yatao Bian,
• Abstract要約: 大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクのための合成データセットを生成するために広く採用されている。 これらの合成データセットの多様性を正確に測定する - 堅牢なモデルのパフォーマンスに不可欠な側面は、大きな課題である。 分類の観点から,合成データセットの多様性を測定する新しい手法であるDCScoreを紹介する。
• 参考スコア（独自算出の注目度）: 59.511610956067415
• License:
• Abstract: Large language models (LLMs) are widely adopted to generate synthetic datasets for various natural language processing (NLP) tasks, such as text classification and summarization. However, accurately measuring the diversity of these synthetic datasets-an aspect crucial for robust model performance-remains a significant challenge. In this paper, we introduce DCScore, a novel method for measuring synthetic dataset diversity from a classification perspective. Specifically, DCScore formulates diversity evaluation as a sample classification task, leveraging mutual relationships among samples. We further provide theoretical verification of the diversity-related axioms satisfied by DCScore, highlighting its role as a principled diversity evaluation method. Experimental results on synthetic datasets reveal that DCScore enjoys a stronger correlation with multiple diversity pseudo-truths of evaluated datasets, underscoring its effectiveness. Moreover, both empirical and theoretical evidence demonstrate that DCScore substantially reduces computational costs compared to existing approaches. Code is available at: https://github.com/BlueWhaleLab/DCScore.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、テキスト分類や要約など、様々な自然言語処理(NLP)タスクのための合成データセットを生成するために広く採用されている。 しかし、これらの合成データセットの多様性を正確に測定することは、堅牢なモデル性能に不可欠な側面であり、重要な課題である。 本稿では,分類の観点から,合成データセットの多様性を測定する新しい手法であるDCScoreを紹介する。 特に、DCScoreは、サンプル分類タスクとして多様性評価を定式化し、サンプル間の相互関係を活用している。 さらに,DCScoreが満たした多様性関連公理の理論的検証を行い,その原理的多様性評価手法としての役割を強調した。 合成データセットの実験結果から、DCScoreは評価データセットの複数の多様性疑似真実と強い相関を保ち、その効果を裏付けることが明らかとなった。 さらに、DCScoreが既存の手法に比べて計算コストを大幅に削減することを示す実証的証拠と理論的証拠の両方がある。 コードは、https://github.com/BlueWhaleLab/DCScoreで入手できる。

関連論文リスト

• CorrSynth -- A Correlated Sampling Method for Diverse Dataset Generation from LLMs [5.89889361990138]
  大規模言語モデル(LLM)は、ゼロショットプロンプトと少数ショットプロンプトを使用して、多様なタスクにおいて顕著な性能を示した。 本研究では,下流の課題に対して,学生モデルが訓練されるような,多様性の高いデータセットを生成するという課題に取り組む。 復号時間誘導に基づくアプローチの経路を考慮し、相関したサンプリング戦略を用いて、入力プロンプトにより多様で忠実なデータを生成するCorr Synthを提案する。
  論文  参考訳（メタデータ） (2024-11-13T12:09:23Z)
• On the Diversity of Synthetic Data and its Impact on Training Large Language Models [34.00031258223175]
  大規模言語モデル(LLM)は、多種多様な高品質な事前学習データの必要性を強調している。 合成データは、データの不足とアクセシビリティの課題に対する、実行可能なソリューションとして現れます。 本研究では, 事前学習および微調整段階における合成データ多様性の下流効果について検討した。
  論文  参考訳（メタデータ） (2024-10-19T22:14:07Z)
• Diversity-Driven Synthesis: Enhancing Dataset Distillation through Directed Weight Adjustment [39.137060714048175]
  多様性の向上は、データセットを合成するための並列化可能であるが孤立したアプローチを改善することができる、と我々は主張する。 本稿では,動的かつ指向的な重み調整技術を用いて合成過程を変調する新しい手法を提案する。 提案手法は,合成データの各バッチが,元のデータセットの大規模かつ多様なサブセットの特徴を反映していることを保証する。
  論文  参考訳（メタデータ） (2024-09-26T08:03:19Z)
• Synthetic Oversampling: Theory and A Practical Approach Using LLMs to Address Data Imbalance [16.047084318753377]
  不均衡な分類と急激な相関は、データサイエンスと機械学習における一般的な課題である。 近年の進歩は、大規模言語モデルの柔軟性と生成能力を生かして合成サンプルを生成することを提案した。 本稿では,不均衡な分類とスプリアス相関に対処する上で,合成試料の役割を体系的に研究する新たな理論基盤を開発する。
  論文  参考訳（メタデータ） (2024-06-05T21:24:26Z)
• Tackling Diverse Minorities in Imbalanced Classification [80.78227787608714]
  不均衡データセットは、様々な現実世界のアプリケーションで一般的に見られ、分類器の訓練において重要な課題が提示されている。 マイノリティクラスとマイノリティクラスの両方のデータサンプルを混合することにより、反復的に合成サンプルを生成することを提案する。 提案するフレームワークの有効性を,7つの公開ベンチマークデータセットを用いて広範な実験により実証する。
  論文  参考訳（メタデータ） (2023-08-28T18:48:34Z)
• Large Language Model as Attributed Training Data Generator: A Tale of Diversity and Bias [92.41919689753051]
  大規模言語モデル(LLM)は、最近、様々な自然言語処理(NLP)タスクのためのトレーニングデータジェネレータとして活用されている。 本稿では,多様な属性を持つプロンプトを用いたトレーニングデータ生成について検討する。 属性付きプロンプトは、結果のモデルの性能の観点から、単純なクラス条件プロンプトより優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-28T03:31:31Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Evaluating and Improving Factuality in Multimodal Abstractive Summarization [91.46015013816083]
  そこで我々は,CLIPBERTScoreを提案する。 ゼロショットにおけるこの2つの指標の単純な組み合わせは、文書要約のための既存の事実度指標よりも高い相関性が得られることを示す。 本分析は,CLIPBERTScoreとそのコンポーネントの信頼性と高い相関性を示す。
  論文  参考訳（メタデータ） (2022-11-04T16:50:40Z)
• CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
  本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。 このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。 提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
  論文  参考訳（メタデータ） (2022-03-03T05:58:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。