論文の概要: PLDiv: Measuring Dataset Diversity and Semantic Collapse via Persistence Landscapes
- arxiv url: http://arxiv.org/abs/2610.14031v1
- Date: Wed, 30 Sep 2026 23:49:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-18 21:02:54.472594
- Title: PLDiv: Measuring Dataset Diversity and Semantic Collapse via Persistence Landscapes
- Title(参考訳): PLDiv:永続景観によるデータセットの多様性とセマンティック崩壊の測定
- Abstract要約: PLDivは、データセットの構造的構造を定量化する永続化ランドスケープから派生した多様性指標である。
PLDivは評価されたベースラインに対して競争力を発揮し、セマンティック崩壊時に多様性ラベルと強く整合する。
合成データ監視、データセットの構築、データ拡張、生成モデル評価における応用を効果的にサポートする。
- 参考スコア(独自算出の注目度): 7.515263297601519
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Modern data pipelines increasingly combine human-created and human-curated data with AI-generated data for model training and evaluation. As datasets grow, they often add semantically redundant samples rather than expanding semantic coverage, which deteriorates the quality of the whole dataset. Existing diversity metrics primarily summarize lexical variation, entropy, or pairwise similarity, but provide limited characterization of the shape of the underlying data distribution. In this paper, we propose PLDiv, a diversity metric derived from persistence landscapes that quantifies the structural organization of a dataset from its geometric representation. PLDiv summarizes how data neighborhoods evolve as nearby samples progressively connect, producing an interpretable scalar measure of structural diversity without requiring task-specific supervision. Whether measuring intrinsic diversity in text generations or image embeddings, or detecting semantic collapse in instruction datasets and reasoning trajectories, PLDiv performs competitively against evaluated baselines and aligns strongly with diversity labels during semantic collapse. Consequently, it effectively supports applications in synthetic data monitoring, dataset construction, data augmentation, and generative model evaluation.
- Abstract(参考訳): 現代のデータパイプラインは、モデルトレーニングと評価のために、人造データと人造データとAI生成データを組み合わせる傾向にある。
データセットが大きくなると、セマンティックカバレッジを拡張するのではなく、セマンティックに冗長なサンプルを追加し、データセット全体の品質を低下させる。
既存の多様性指標は、主に語彙の変化、エントロピー、またはペアの類似性を要約するが、基礎となるデータ分布の形状の限定的な特徴を与える。
本稿では、その幾何学的表現からデータセットの構造的構造を定量化する、永続化ランドスケープから派生した多様性指標であるPDDivを提案する。
PLDivは、近隣のサンプルが徐々に接続し、タスク固有の監督を必要とせずに、構造的な多様性の解釈可能なスカラー尺度を生成するように、データの近傍がどのように進化するかを要約している。
テキスト生成や画像埋め込みにおける本質的な多様性の測定や、命令データセットのセマンティック崩壊の検出、推論の軌跡の検出など、PLDivは評価ベースラインに対して競争力を発揮し、セマンティック崩壊の間、多様性ラベルと強く連携する。
その結果、合成データ監視、データセット構築、データ拡張、生成モデル評価における応用を効果的にサポートする。
関連論文リスト
- Critical Percolation as a Synthetic Data Model for Interpretability [0.0]
臨界平均場パーコレーションクラスタ上で定義された階層関数からなる合成データセット群を紹介する。
分類学的階層をモデル化する潜在変数は、各データポイントのターゲット値を生成する。
ニューラルネットワークのアクティベーションから,モデルの基本トラス潜伏変数を線形に復号化できることが判明した。
論文 参考訳(メタデータ) (2026-06-18T15:15:57Z) - SAS: Semantic-aware Sampling for Generative Dataset Distillation [55.27114962330541]
本稿では,コントラスト言語-画像事前学習(CLIP)をポストサンプリングのセマンティクスとして活用することで,データセット蒸留のセマンティック・アウェア・パースペクティブを導入する。
我々のゴールは、コンパクトであるだけでなく、意味的にクラス差別的で多様である蒸留データセットを得ることです。
論文 参考訳(メタデータ) (2026-05-18T08:05:46Z) - Tracing the Roots: A Multi-Agent Framework for Uncovering Data Lineage in Post-Training LLMs [81.43302841109349]
学習後のデータは、大規模言語モデル(LLM)の機能を形成する上で重要な役割を果たす
本稿では,データセット開発における進化グラフを再構築する自動マルチエージェントフレームワークを提案する。
論文 参考訳(メタデータ) (2026-04-12T06:24:07Z) - Measuring Dataset Diversity from a Geometric Perspective [6.87941190955006]
トポロジカルデータ解析(TDA)とパーシステンスランドスケープ(PL)に基づくフレームワークを導入し,データから幾何学的特徴を抽出し定量化する。
提案するPLs-based diversity metric (PLDiv) は強力で信頼性が高く,解釈可能である。
論文 参考訳(メタデータ) (2026-02-10T02:17:16Z) - Bridging the Semantic Gap for Categorical Data Clustering via Large Language Models [64.58262227709842]
ARISE(Attention-weighted Representation with Integrated Semantic Embeddings)が紹介される。
正確なクラスタリングのためにカテゴリデータのメトリック空間を補完するセマンティックアウェア表現を構築する。
8つのベンチマークデータセットの実験では、7つの代表的なデータセットよりも一貫した改善が示されている。
論文 参考訳(メタデータ) (2026-01-03T11:37:46Z) - Spatial-Temporal-Spectral Unified Modeling for Remote Sensing Dense Prediction [20.1863553357121]
リモートセンシングのための現在のディープラーニングアーキテクチャは、基本的に堅固である。
本稿では,統合モデリングのための空間時間スペクトル統一ネットワーク(STSUN)について紹介する。
STSUNは任意の空間サイズ、時間長、スペクトル帯域で入力および出力データに適応することができる。
様々な密集した予測タスクと多様な意味クラス予測を統一する。
論文 参考訳(メタデータ) (2025-05-18T07:39:17Z) - Adaptive Learning of the Latent Space of Wasserstein Generative Adversarial Networks [7.958528596692594]
我々は、潜伏ワッサーシュタインガン(LWGAN)と呼ばれる新しい枠組みを提案する。
ワッサーシュタイン自己エンコーダとワッサーシュタイン GANを融合させ、データ多様体の内在次元を適応的に学習できるようにする。
我々は,LWGANが複数のシナリオにおいて,正しい固有次元を識別可能であることを示す。
論文 参考訳(メタデータ) (2024-09-27T01:25:22Z) - Distribution-Aware Data Expansion with Diffusion Models [55.979857976023695]
本研究では,分散型拡散モデルに基づくトレーニングフリーなデータ拡張フレームワークであるDistDiffを提案する。
DistDiffは、オリジナルデータのみにトレーニングされたモデルと比較して、さまざまなデータセットの精度を一貫して向上させる。
論文 参考訳(メタデータ) (2024-03-11T14:07:53Z) - TRoVE: Transforming Road Scene Datasets into Photorealistic Virtual
Environments [84.6017003787244]
本研究では、シミュレーションデータセットに存在する困難とドメインギャップに対処する合成データ生成パイプラインを提案する。
既存のデータセットからアノテーションや視覚的手がかりを利用すれば、自動マルチモーダルデータ生成が容易になることを示す。
論文 参考訳(メタデータ) (2022-08-16T20:46:08Z) - Meta-analysis of heterogeneous data: integrative sparse regression in
high-dimensions [21.162280861396205]
本稿では,データソースが類似しているが識別できない高次元環境におけるメタ分析の課題について考察する。
異質性の存在下での解釈可能性と統計的効率を重視したグローバルパラメータを導入する。
いくつかの異なる癌細胞株を含む大規模薬物治療データセットに対するアプローチの利点を実証する。
論文 参考訳(メタデータ) (2019-12-26T20:30:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。