論文の概要: Measuring Data Diversity with Embeddings: A Taxonomy and Benchmark for Diversity Measures

• arxiv url: http://arxiv.org/abs/2610.24888v1
• Date: Sat, 17 Oct 2026 22:09:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-22 15:34:11.471772
• Title: Measuring Data Diversity with Embeddings: A Taxonomy and Benchmark for Diversity Measures
• Title（参考訳）: 埋め込みによるデータ多様性の測定:多様性対策の分類とベンチマーク
• Abstract要約: 既存の埋め込みベースの多様性尺度は、それらがどのように計算されるかによって大きく異なり、同じデータに対してかなり異なる多様性スコアを得ることができる。 本稿では,21の多様性尺度を組込み,その基礎となる計算に基づいて4つの分類群に分類する。 第二に、EmbDivBenchは、これらの測度を、シミュレートされたテキストデータと自然なテキストデータの両方において、概念的に異なる3つの構成要素(多様性、バランス、相違)に沿って評価するベンチマークである。
• 参考スコア（独自算出の注目度）: 4.523845018606141
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Diversity is a critical property of text corpora, with direct implications for training data curation, test set design, and model generalization. However, its measurement remains fragmented and poorly understood. Existing embedding-based diversity measures vary widely in how they are computed and can yield substantially different diversity scores on the same data, yet no systematic comparison of their empirical behaviour exists. We make two contributions toward addressing this gap. First, we present a taxonomy of 21 embedding-based diversity measures, organizing them into four families based on their underlying computations. Second, we introduce EmbDivBench, a benchmark that evaluates these measures along three conceptually distinct components (variety, balance and disparity) on both simulated and natural text data. Although Mean Pairwise Distance is the most commonly used measure, our experiments show that it is outperformed by several alternatives on the three diversity components, with Graph Entropy being the best choice overall. Lastly, we distil these findings into practical recommendations for diversity measure selection.
• Abstract（参考訳）: 多様性はテキストコーパスの重要な性質であり、データキュレーションのトレーニング、テストセットの設計、モデル一般化に直接的な意味を持つ。 しかし、その測定は断片化され、あまり理解されていない。 既存の埋め込みベースの多様性尺度は計算方法によって大きく異なり、同じデータ上でかなり異なる多様性スコアを得ることができるが、その経験的振る舞いの体系的な比較は存在しない。 このギャップに対処するために、私たちは2つの貢献をしています。 まず,21の組込み型多様性尺度を分類し,その基礎となる計算に基づいて4つのファミリーに分類する。 第二に、EmbDivBenchは、これらの測度を、シミュレートされたテキストデータと自然なテキストデータの両方において、概念的に異なる3つの構成要素(多様性、バランス、相違)に沿って評価するベンチマークである。 平均ペアワイズ距離(Mean Pairwise Distance)が最も一般的に使用される尺度であるが、我々の実験は、グラフエントロピーが全体として最良の選択肢である3つの多様性コンポーネントにおいて、いくつかの選択肢によって性能が向上していることを示している。 最後に,これらの知見を多様性尺度選択のための実践的勧告に取り入れる。

関連論文リスト

• Evaluating the Diversity of AI-Generated Content with Diversity Profiles [37.17952750848635]
  我々は、AI生成コンテンツの多様性評価は、本質的に1つの数に減らされた場合、不特定であると主張している。 パラメータ化された多様性ファミリーを,しきい値,尺度,指数,命令の範囲で評価する多様性プロファイルを提案する。 全体として、ダイバーシティプロファイルは、AI生成コンテンツの多様性を比較するための、より透明で解像度対応のフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-08-18T12:57:03Z)
• emb-diversity: A Tool for Embedding-Based Measurement of Data Diversity [4.597270663382362]
  広範にわたる包括的埋め込み型多様性測定ツールを提供する。 我々は、その可能性を示すいくつかのユースケース: データセットのスタイリスティック、セマンティック、言語、話者の多様性を測定する。
  論文  参考訳（メタデータ） (2026-07-22T07:33:55Z)
• Measuring Data Diversity for Instruction Tuning: A Systematic Analysis and A Reliable Metric [48.81957145701228]
  サンプルレベルの「ノーベルティ」に基づく新しい多様性指標であるNovellSumを提案する。 シミュレーションデータと実世界のデータの両方の実験により、NovellSumは正確に多様性の変動を捉え、命令調整されたモデルの性能と0.97の相関を達成している。
  論文  参考訳（メタデータ） (2025-02-24T14:20:22Z)
• Improving Demonstration Diversity by Human-Free Fusing for Text-to-SQL [51.48239006107272]
  本稿では,テキスト・ツー・ダイバーシティ研究における実証の多様性を計測し,改善する方法について論じる。 我々は,高多様性のデモンストレーションプールを構築するために,デモ(Fused)のために反復的に融合することを提案する。 本手法は,複数の主流データセットにラベルを付けることなく,平均3.2%と5.0%の改善を実現する。
  論文  参考訳（メタデータ） (2024-02-16T13:13:18Z)
• Contributing Dimension Structure of Deep Feature for Coreset Selection [26.759457501199822]
  Coreset selectionは、効率的な学習のための重要なトレーニングサンプルのサブセットを選択することを目指している。 サンプル選択は、パフォーマンス向上におけるサンプルの表現と、オーバーフィッティングを回避するためのサンプルの多様性の役割である。 既存の手法は典型的には類似度の測定値に基づいてデータの表現と多様性を計測する。
  論文  参考訳（メタデータ） (2024-01-29T14:47:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。