論文の概要: GMValuator: Similarity-based Data Valuation for Generative Models

• arxiv url: http://arxiv.org/abs/2304.10701v7
• Date: Sat, 27 Apr 2024 05:45:34 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-01 01:34:26.319207
• Title: GMValuator: Similarity-based Data Valuation for Generative Models
• Title（参考訳）: GMValuator: 生成モデルのための類似性に基づくデータ評価
• Authors: Jiaxi Yang, Wenglong Deng, Benlin Liu, Yangsibo Huang, James Zou, Xiaoxiao Li,
• Abstract要約: 生成モデル評価器(GMValuator, Generative Model Valuator, GMValuator, GMValuator)を導入した。 GMValuatorは、その有効性を示すために、様々なデータセットや生成アーキテクチャで広く評価されている。
• 参考スコア（独自算出の注目度）: 41.76259565672285
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data valuation plays a crucial role in machine learning. Existing data valuation methods have primarily focused on discriminative models, neglecting generative models that have recently gained considerable attention. A very few existing attempts of data valuation method designed for deep generative models either concentrates on specific models or lacks robustness in their outcomes. Moreover, efficiency still reveals vulnerable shortcomings. To bridge the gaps, we formulate the data valuation problem in generative models from a similarity-matching perspective. Specifically, we introduce Generative Model Valuator (GMValuator), the first training-free and model-agnostic approach to provide data valuation for generation tasks. It empowers efficient data valuation through our innovatively similarity matching module, calibrates biased contribution by incorporating image quality assessment, and attributes credits to all training samples based on their contributions to the generated samples. Additionally, we introduce four evaluation criteria for assessing data valuation methods in generative models, aligning with principles of plausibility and truthfulness. GMValuator is extensively evaluated on various datasets and generative architectures to demonstrate its effectiveness.
• Abstract（参考訳）: データバリュエーションは、機械学習において重要な役割を果たす。 既存のデータ評価手法は主に差別モデルに焦点を当てており、近年注目されている生成モデルを無視している。 深層生成モデルのために設計されたデータ評価手法の既存の試みは、特定のモデルに集中するか、結果にロバスト性がないかのいずれかである。 さらに、効率性は依然として脆弱な欠点を明らかにしている。 このギャップを埋めるために、類似性マッチングの観点から生成モデルにおけるデータ評価問題を定式化する。 具体的には、生成タスクにデータバリュエーションを提供するための、トレーニング不要でモデルに依存しない最初のアプローチである生成モデルバリュエータ(GMValuator)を紹介する。 革新的な類似性マッチングモジュールを通じて効率的なデータバリュエーションを向上し、画像品質評価を取り入れてバイアスのあるコントリビューションを校正し、生成されたサンプルへのコントリビューションに基づいて、すべてのトレーニングサンプルに属性クレジットを付与する。 さらに、生成モデルにおけるデータ評価手法を評価するための4つの評価基準を導入し、妥当性と真偽の原則を一致させた。 GMValuatorは、その有効性を示すために、様々なデータセットや生成アーキテクチャで広く評価されている。

関連論文リスト

• An Optimism-based Approach to Online Evaluation of Generative Models [23.91197677628145]
  利用可能なモデル群間の標準評価スコアを最大化する生成モデルを見つけるためのオンライン評価フレームワークを提案する。 具体的には、Fr'echet Inception Distance(FID)とInception Score(IS)のメトリクスに基づいて、生成モデルのオンライン評価を行う。
  論文  参考訳（メタデータ） (2024-06-11T16:57:48Z)
• Is Data Valuation Learnable and Interpretable? [3.9325957466009203]
  現在のデータ評価手法は、出力値の解釈可能性を無視している。 この研究は、データバリュエーションは学習可能か、解釈可能か、という重要な疑問に答えることを目的としている。
  論文  参考訳（メタデータ） (2024-06-03T08:13:47Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• Diffusing Gaussian Mixtures for Generating Categorical Data [21.43283907118157]
  本稿では,高品質なサンプル生成に着目した拡散モデルに基づく分類データの生成モデルを提案する。 評価手法は、分類データを生成するための異なる生成モデルの能力と限界を強調した。
  論文  参考訳（メタデータ） (2023-03-08T14:55:32Z)
• Operationalizing Specifications, In Addition to Test Sets for Evaluating Constrained Generative Models [17.914521288548844]
  生成モデルのスケールは、評価自体が実行される抽象レベルを高めるために利用することができると論じる。 我々の勧告は、生成品質を評価するための強力な手段として仕様を活用することに基づいている。
  論文  参考訳（メタデータ） (2022-11-19T06:39:43Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)
• On the model-based stochastic value gradient for continuous reinforcement learning [50.085645237597056]
  モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。 以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
  論文  参考訳（メタデータ） (2020-08-28T17:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。