論文の概要: Matching-based Data Valuation for Generative Model

• arxiv url: http://arxiv.org/abs/2304.10701v4
• Date: Wed, 12 Jul 2023 01:31:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-13 19:29:06.960320
• Title: Matching-based Data Valuation for Generative Model
• Title（参考訳）: 生成モデルに対するマッチングに基づくデータ評価
• Authors: Jiaxi Yang and Wenglong Deng and Benlin Liu and Yangsibo Huang and Xiaoxiao Li
• Abstract要約: 生成モデルに対する最初のモデルに依存しないアプローチである生成モデル評価器(GMValuator)を紹介する。 GMValuatorは、ディープラーニングモデルのためのトレーニング不要でポストホックなデータバリュエーション戦略を提供する最初の作品だ。
• 参考スコア（独自算出の注目度）: 16.017156855593118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data valuation is critical in machine learning, as it helps enhance model transparency and protect data properties. Existing data valuation methods have primarily focused on discriminative models, neglecting deep generative models that have recently gained considerable attention. Similar to discriminative models, there is an urgent need to assess data contributions in deep generative models as well. However, previous data valuation approaches mainly relied on discriminative model performance metrics and required model retraining. Consequently, they cannot be applied directly and efficiently to recent deep generative models, such as generative adversarial networks and diffusion models, in practice. To bridge this gap, we formulate the data valuation problem in generative models from a similarity-matching perspective. Specifically, we introduce Generative Model Valuator (GMValuator), the first model-agnostic approach for any generative models, designed to provide data valuation for generation tasks. We have conducted extensive experiments to demonstrate the effectiveness of the proposed method. To the best of their knowledge, GMValuator is the first work that offers a training-free, post-hoc data valuation strategy for deep generative models.
• Abstract（参考訳）: データバリュエーションは、モデルの透明性を高め、データプロパティを保護するため、機械学習において重要である。 既存のデータ評価手法は主に差別モデルに焦点を当てており、近年注目されている深層生成モデルを無視している。 識別モデルと同様に、深層生成モデルにおけるデータ寄与度の評価も緊急に必要である。 しかし、従来のデータ評価アプローチは、主に差別的なモデルパフォーマンスメトリクスと必要なモデル再トレーニングに依存していた。 その結果, 直接的かつ効率的に, 生成的対向ネットワークや拡散モデルといった最近の深層生成モデルに適用することはできない。 このギャップを埋めるために、類似性マッチングの観点から生成モデルにおけるデータ評価問題を定式化する。 具体的には、生成モデルに対する最初のモデルに依存しないアプローチである生成モデル評価器(GMValuator)を紹介する。 提案手法の有効性を実証するための広範な実験を行った。 彼らの知る限り、gmvaluatorは、深層生成モデルにトレーニングフリーでポストホックなデータバリュエーション戦略を提供する最初の作品だ。

関連論文リスト

• An Optimism-based Approach to Online Evaluation of Generative Models [23.91197677628145]
  利用可能なモデル群間の標準評価スコアを最大化する生成モデルを見つけるためのオンライン評価フレームワークを提案する。 具体的には、Fr'echet Inception Distance(FID)とInception Score(IS)のメトリクスに基づいて、生成モデルのオンライン評価を行う。
  論文  参考訳（メタデータ） (2024-06-11T16:57:48Z)
• Is Data Valuation Learnable and Interpretable? [3.9325957466009203]
  現在のデータ評価手法は、出力値の解釈可能性を無視している。 この研究は、データバリュエーションは学習可能か、解釈可能か、という重要な疑問に答えることを目的としている。
  論文  参考訳（メタデータ） (2024-06-03T08:13:47Z)
• Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
  オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。 提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
  論文  参考訳（メタデータ） (2024-04-22T09:16:14Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• GREAT Score: Global Robustness Evaluation of Adversarial Perturbation using Generative Models [60.48306899271866]
  GREATスコア(GREAT Score)と呼ばれる新しいフレームワークを提案する。 我々は,ロバストベンチにおける攻撃ベースモデルと比較し,高い相関性を示し,GREATスコアのコストを大幅に削減した。 GREAT Scoreは、プライバシーに敏感なブラックボックスモデルのリモート監査に使用することができる。
  論文  参考訳（メタデータ） (2023-04-19T14:58:27Z)
• Diffusing Gaussian Mixtures for Generating Categorical Data [21.43283907118157]
  本稿では,高品質なサンプル生成に着目した拡散モデルに基づく分類データの生成モデルを提案する。 評価手法は、分類データを生成するための異なる生成モデルの能力と限界を強調した。
  論文  参考訳（メタデータ） (2023-03-08T14:55:32Z)
• Operationalizing Specifications, In Addition to Test Sets for Evaluating Constrained Generative Models [17.914521288548844]
  生成モデルのスケールは、評価自体が実行される抽象レベルを高めるために利用することができると論じる。 我々の勧告は、生成品質を評価するための強力な手段として仕様を活用することに基づいている。
  論文  参考訳（メタデータ） (2022-11-19T06:39:43Z)
• How Faithful is your Synthetic Data? Sample-level Metrics for Evaluating and Auditing Generative Models [95.8037674226622]
  ドメインに依存しない方法で生成モデルの忠実度,多様性,一般化性能を特徴付ける3次元評価指標を提案する。 当社のメトリクスは、精度リコール分析により統計的発散測定を統合し、モデル忠実度と多様性のサンプルおよび分布レベルの診断を可能にします。
  論文  参考訳（メタデータ） (2021-02-17T18:25:30Z)
• On the model-based stochastic value gradient for continuous reinforcement learning [50.085645237597056]
  モデルベースエージェントは,サンプル効率と最終報酬の両方の観点から,最先端のモデルフリーエージェントより優れていることを示す。 以上の結果から,モデルに基づく政策評価がより注目に値することが示唆された。
  論文  参考訳（メタデータ） (2020-08-28T17:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。