論文の概要: Fidelity-Diversity Metrics for Text

• arxiv url: http://arxiv.org/abs/2607.04563v1
• Date: Mon, 06 Jul 2026 00:31:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.98136
• Title: Fidelity-Diversity Metrics for Text
• Title（参考訳）: テキストの忠実度-多様性メトリクス
• Authors: Amanda Wang, Tudor Manole, Florentina Bunea, John Thickstun,
• Abstract要約: 生成モデルの精度とリコールを測定して,メトリクスのペアを開発する。 これらの指標は、不足する候補テキストの多様性の欠如から忠実性の欠如を解消できることを示す。 さらなる実験では、合成GSM8K型数学データセットの多様性欠陥を検出する。
• 参考スコア（独自算出の注目度）: 9.592420576478261
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As language modeling technology matures, there is an increasing research focus on the composition and curation of datasets used to train these models. For instance, practitioners commonly seek to augment high-quality datasets with additional text to enhance the performance of models trained on that data. However, informed decisions about data augmentation require more nuanced assessments about data quality. We build on work measuring the precision and recall of generative models to develop a pair of metrics that quantify (1) fidelity, capturing how closely candidate text resembles reference data, and (2) diversity, capturing how well it covers the modes of the reference dataset. Our metrics are based on optimal transport divergence functionals between discrete text summaries. In experiments on M2D2 text datasets, we show that these metrics are able to disentangle a lack of fidelity from a lack of diversity in deficient candidate text. In further experiments, our metrics detect diversity deficits in synthetic GSM8K-style math datasets, which correlate with degradations in downstream accuracy of language models finetuned on this synthetic data.
• Abstract（参考訳）: 言語モデリング技術が成熟するにつれて、これらのモデルのトレーニングに使用されるデータセットの構成とキュレーションに焦点が当てられている。 例えば、実践者は一般的に、そのデータに基づいてトレーニングされたモデルのパフォーマンスを向上させるために、テキストを追加して高品質なデータセットを拡張しようとしています。 しかし、データ拡張に関する情報的な決定は、データ品質に関するより微妙な評価を必要とする。 本研究では,(1)忠実度を定量化し,候補テキストが参照データにどの程度近いかを把握し,(2)多様性を計測し,参照データセットのモードをどの程度うまくカバーするかを計測する指標のペアを開発するために,生成モデルの精度とリコールを測定する作業を構築した。 このメトリクスは、離散テキスト要約間の最適なトランスポート分散関数に基づいている。 M2D2テキストデータセットの実験では、これらの指標は、不足する候補テキストの多様性の欠如から忠実性の欠如を解消できることを示した。 さらなる実験では、合成GSM8K型数学データセットの多様性欠陥を検出し、この合成データに基づいて微調整された言語モデルの下流精度の低下と相関する。

関連論文リスト

• Measuring Data Diversity for Instruction Tuning: A Systematic Analysis and A Reliable Metric [48.81957145701228]
  サンプルレベルの「ノーベルティ」に基づく新しい多様性指標であるNovellSumを提案する。 シミュレーションデータと実世界のデータの両方の実験により、NovellSumは正確に多様性の変動を捉え、命令調整されたモデルの性能と0.97の相関を達成している。
  論文  参考訳（メタデータ） (2025-02-24T14:20:22Z)
• Survey on Abstractive Text Summarization: Dataset, Models, and Metrics [0.8184895397419141]
  トランスフォーマーモデルは、それらの注意機構、一般的な知識に基づく事前訓練、下流タスクの微調整によって区別される。 本研究は,テキスト要約モデルにおける技術の現状を,抽象的要約アプローチに特化して検討する。
  論文  参考訳（メタデータ） (2024-12-22T21:18:40Z)
• Scaling Parameter-Constrained Language Models with Quality Data [32.35610029333478]
  言語モデリングにおける法則のスケーリングは、伝統的にデータセットのサイズとモデルパラメータの関数としてトレーニング損失を定量化する。 我々は,従来のスケーリング法則の理解を,元の定式化におけるデータ品質の微視的なビューを提供することによって拡張する。
  論文  参考訳（メタデータ） (2024-10-04T02:07:17Z)
• Text2Data: Low-Resource Data Generation with Textual Control [100.5970757736845]
  Text2Dataは、ラベルのないデータを使って基盤となるデータ配布を理解する新しいアプローチである。 制御性を確保し、破滅的な忘れを効果的に防止する、制約最適化に基づく新たな学習目標を通じて微調整を行う。
  論文  参考訳（メタデータ） (2024-02-08T03:41:39Z)
• Exploiting Representation Bias for Data Distillation in Abstractive Text Summarization [25.467836837575742]
  深層モデルでは入力空間の多様性を捉えることができないことを示す。 モデルのサンプル空間の多様性を学習するために、クラスタリング技術を使用します。 余分なデータポイントをフィルタリングしてモデルをより堅牢にし、データ空腹を減らすためのメトリクスを考案しました。
  論文  参考訳（メタデータ） (2023-12-10T22:30:03Z)
• TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual Environments [84.6017003787244]
  本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。 既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
  論文  参考訳（メタデータ） (2022-08-16T20:46:08Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation [14.92157586545743]
  本稿では,因果推論の領域において,モデルをより堅牢にするための多くの手法を提案する。 少数の追加生成データポイントがなくても、パフォーマンスと両方のデータセットの統計的に有意な改善を示します。
  論文  参考訳（メタデータ） (2021-01-13T09:55:29Z)
• Improving Zero and Few-Shot Abstractive Summarization with Intermediate Fine-tuning and Data Augmentation [101.26235068460551]
  大規模テキストコーパス上での自己教師対象による事前学習モデルは、英語テキスト要約タスクにおける最先端のパフォーマンスを達成する。 モデルは通常、数十万のデータポイントで微調整されるが、これは新しいニッチなドメインに要約を適用する際に、実現不可能な要件である。 我々は、教師なし、データセット固有の方法で要約のための訓練済みモデルを微調整するための、WikiTransferと呼ばれる新しい一般化可能な手法を紹介した。
  論文  参考訳（メタデータ） (2020-10-24T08:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。