論文の概要: emb-diversity: A Tool for Embedding-Based Measurement of Data Diversity
- arxiv url: http://arxiv.org/abs/2607.19848v1
- Date: Wed, 22 Jul 2026 07:33:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-23 18:51:38.014697
- Title: emb-diversity: A Tool for Embedding-Based Measurement of Data Diversity
- Title（参考訳）: emb-diversity: データの多様性を埋め込みで測定するツール
- Abstract要約: 広範にわたる包括的埋め込み型多様性測定ツールを提供する。
我々は、その可能性を示すいくつかのユースケース: データセットのスタイリスティック、セマンティック、言語、話者の多様性を測定する。
- 参考スコア（独自算出の注目度）: 4.597270663382362
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: There is growing evidence that data diversity is crucial for developing fair and robust NLP models. However, current approaches to measure diversity remain inconsistent and fragmented: While there exist a number of tools for measuring the lexical diversity of texts, researchers lack standardized tools for quantifying diversity based on embeddings. Embedding-based diversity measures are highly flexible: They work with any embedding model and any data that can be embedded, and are thus applicable to many notions of diversity. With emb-diversity, we provide a comprehensive embedding-based diversity measurement tool, spanning a broad range of measures. We demonstrate its potential for several use cases: measuring the stylistic, semantic, language and speaker diversity of datasets. https://github.com/nlpsoc/emb-diversity/
- Abstract（参考訳）: 公正で堅牢なNLPモデルを開発する上で、データの多様性が不可欠であるという証拠が増えている。
テキストの語彙的多様性を測定するための多くのツールがあるが、研究者は埋め込みに基づく多様性の定量化のための標準化されたツールを欠いている。
埋め込みベースの多様性測定は、非常に柔軟である: 埋め込みモデルや埋め込み可能なデータを扱うため、多様性の多くの概念に適用できる。
Emb-diversityでは,包括的埋め込みに基づく多様性測定ツールを提供し,幅広い測度にまたがる。
我々は、その可能性を示すいくつかのユースケース: データセットのスタイリスティック、セマンティック、言語、話者の多様性を測定する。
https://github.com/nlpsoc/emb-diversity/
関連論文リスト
- Expanding Horizons of Level Diversity via Multi-objective Evolutionary Learning [10.755666953578336]
本稿では,生成モデルの訓練において,多次元の多様性を考慮し,レベル多様性の地平を広げることを目的とする。
モデルトレーニングを多目的学習問題として定式化し、各多様性指標を個別の目的として扱う。
モデル学習プロセスを通して複数の多様性指標を同時に最適化する多目的進化学習フレームワークを提案する。
論文 参考訳（メタデータ） (2025-09-29T06:43:33Z) - Evaluating the Evaluation of Diversity in Commonsense Generation [28.654890118684957]
我々は,コモンセンス生成のための多様性指標の体系的メタ評価を行う。
形式に基づく多様性指標は文集合の多様性を常に過大評価する傾向がある。
コンテンツに基づく多様性評価の指標が、フォームベースの指標よりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2025-05-31T11:18:26Z) - Evaluating the Diversity and Quality of LLM Generated Content [72.84945252821908]
品質閾値を満たす出力間の効果的な意味的多様性を測定するための枠組みを導入する。
嗜好調整モデルでは語彙的および構文的多様性が低下するが、SFTやベースモデルよりも効果的な意味的多様性が得られる。
これらの発見は、多種多様な高品質な出力を必要とするアプリケーションに重要な意味を持つ。
論文 参考訳（メタデータ） (2025-04-16T23:02:23Z) - Measuring Data Diversity for Instruction Tuning: A Systematic Analysis and A Reliable Metric [48.81957145701228]
サンプルレベルの「ノーベルティ」に基づく新しい多様性指標であるNovellSumを提案する。
シミュレーションデータと実世界のデータの両方の実験により、NovellSumは正確に多様性の変動を捉え、命令調整されたモデルの性能と0.97の相関を達成している。
論文 参考訳（メタデータ） (2025-02-24T14:20:22Z) - Formalising lexical and syntactic diversity for data sampling in French [0.7947120571256026]
ランダムサンプリングに対する多様性は著しく増大する。
様々な種類の多様性(語彙と構文の多様性)が、高価な構文の多様性をサンプリングする目的と相関しているかどうかを考察する。
これは、任意に選択された測度が、データセットの多様性に関連する特性を捉えていないことを示している。
論文 参考訳（メタデータ） (2025-01-14T10:47:33Z) - Improving Demonstration Diversity by Human-Free Fusing for Text-to-SQL [51.48239006107272]
本稿では,テキスト・ツー・ダイバーシティ研究における実証の多様性を計測し,改善する方法について論じる。
我々は,高多様性のデモンストレーションプールを構築するために,デモ(Fused)のために反復的に融合することを提案する。
本手法は,複数の主流データセットにラベルを付けることなく,平均3.2%と5.0%の改善を実現する。
論文 参考訳（メタデータ） (2024-02-16T13:13:18Z) - Exploring Diversity in Back Translation for Low-Resource Machine
Translation [85.03257601325183]
バックトランスフォーメーションは、ニューラルマシントランスフォーメーションシステムの性能を改善するために最も広く使われている手法の1つである。
近年の研究では、生成された翻訳の「多様性」を増大させることにより、この手法の有効性を高めることを目指している。
この研究は、トレーニングデータの多様性を理解し、それを語彙的多様性と構文的多様性に分割する、より微妙なフレームワークを推し進めている。
論文 参考訳（メタデータ） (2022-06-01T15:21:16Z) - Random Network Distillation as a Diversity Metric for Both Image and
Text Generation [62.13444904851029]
我々は、どんな種類のデータにも、どんな種類のデータにも、自然にも適用できる新しい多様性指標を開発した。
私たちはこのメトリクスを画像とテキストの両方で検証し、デプロイします。
論文 参考訳（メタデータ） (2020-10-13T22:03:52Z) - Evaluating the Evaluation of Diversity in Natural Language Generation [43.05127848086264]
本稿では,自然言語生成システムにおける多様性指標を評価するためのフレームワークを提案する。
当社のフレームワークは,NLGシステムの改善に向けた重要なステップである,さまざまな多様性指標の理解を促進することができる。
論文 参考訳（メタデータ） (2020-04-06T20:44:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。