論文の概要: Truthful Dataset Valuation by Pointwise Mutual Information

• arxiv url: http://arxiv.org/abs/2405.18253v1
• Date: Tue, 28 May 2024 15:04:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-29 18:09:42.667937
• Title: Truthful Dataset Valuation by Pointwise Mutual Information
• Title（参考訳）: ポイントワイド相互情報による真正データセット評価
• Authors: Shuran Zheng, Yongchan Kwon, Xuan Qi, James Zou,
• Abstract要約: 観測データを真に報告することで,データ提供者が常に期待するスコアを最大化することができる新しいデータ評価手法を提案する。 本手法は、適切なスコアリングルールのパラダイムに従って、テストデータセットと評価データセットのポイントワイド相互情報(PMI)を測定する。
• 参考スコア（独自算出の注目度）: 28.63827288801458
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A common way to evaluate a dataset in ML involves training a model on this dataset and assessing the model's performance on a test set. However, this approach has two issues: (1) it may incentivize undesirable data manipulation in data marketplaces, as the self-interested data providers seek to modify the dataset to maximize their evaluation scores; (2) it may select datasets that overfit to potentially small test sets. We propose a new data valuation method that provably guarantees the following: data providers always maximize their expected score by truthfully reporting their observed data. Any manipulation of the data, including but not limited to data duplication, adding random data, data removal, or re-weighting data from different groups, cannot increase their expected score. Our method, following the paradigm of proper scoring rules, measures the pointwise mutual information (PMI) of the test dataset and the evaluated dataset. However, computing the PMI of two datasets is challenging. We introduce a novel PMI measuring method that greatly improves tractability within Bayesian machine learning contexts. This is accomplished through a new characterization of PMI that relies solely on the posterior probabilities of the model parameter at an arbitrarily selected value. Finally, we support our theoretical results with simulations and further test the effectiveness of our data valuation method in identifying the top datasets among multiple data providers. Interestingly, our method outperforms the standard approach of selecting datasets based on the trained model's test performance, suggesting that our truthful valuation score can also be more robust to overfitting.
• Abstract（参考訳）: MLでデータセットを評価する一般的な方法は、このデータセットでモデルをトレーニングし、テストセットでモデルのパフォーマンスを評価することである。 しかし、このアプローチには、(1)データマーケットプレースにおいて望ましくないデータ操作をインセンティブ化する可能性があり、(2)データ提供者がデータセットを変更して評価スコアを最大化すること、(2)潜在的に小さなテストセットに過度に適合するデータセットを選択すること、の2つの問題がある。 観測データを真に報告することで,データ提供者が常に期待するスコアを最大化することができる新しいデータ評価手法を提案する。 データ重複、ランダムなデータの追加、データ削除、あるいは異なるグループからのデータの再重み付けを含むデータ操作は、期待されるスコアを上げることはできない。 本手法は、適切なスコアリングルールのパラダイムに従って、テストデータセットと評価データセットのポイントワイド相互情報(PMI)を測定する。 しかし、2つのデータセットのPMIの計算は困難である。 ベイジアン機械学習コンテキストにおけるトラクタビリティを大幅に向上させる新しいPMI測定手法を提案する。 これは、任意の選択された値でモデルパラメータの後方確率のみに依存するPMIの新たな特徴付けによって達成される。 最後に、シミュレーションによる理論的結果をサポートし、複数のデータプロバイダの上位データセットを特定する上で、データ評価手法の有効性をさらに検証する。 興味深いことに、本手法はトレーニングされたモデルのテスト性能に基づいてデータセットを選択する標準的な手法よりも優れており、真に評価されたスコアが過度に適合する可能性も高いことが示唆されている。

関連論文リスト

• A CLIP-Powered Framework for Robust and Generalizable Data Selection [51.46695086779598]
  実世界のデータセットは、しばしば冗長でノイズの多いデータを含み、トレーニング効率とモデルパフォーマンスに悪影響を及ぼす。 データ選択は、データセット全体から最も代表的なサンプルを特定することを約束している。 より堅牢で一般化可能なサンプル選択にマルチモーダル情報を活用するCLIPを利用した新しいデータ選択フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-15T03:00:58Z)
• Data Distribution Valuation [56.71023681599737]
  既存のデータバリュエーションメソッドは、離散データセットの値を定義します。 多くのユースケースでは、ユーザはデータセットの値だけでなく、データセットがサンプリングされた分布の値にも興味を持っています。 本稿では,理論的原理と実行可能なポリシを実現するための,MMDに基づく評価手法を提案する。
  論文  参考訳（メタデータ） (2024-10-06T07:56:53Z)
• Training on the Benchmark Is Not All You Need [52.01920740114261]
  本稿では,複数選択肢の内容に基づいた簡易かつ効果的なデータ漏洩検出手法を提案する。 本手法は,モデルトレーニングデータや重みを使用せずに,ブラックボックス条件下で動作することができる。 我々は,4つのベンチマークデータセットを用いて,31個の主要なオープンソースLCMのデータ漏洩の程度を評価する。
  論文  参考訳（メタデータ） (2024-09-03T11:09:44Z)
• Personalization of Dataset Retrieval Results using a Metadata-based Data Valuation Method [0.5999777817331317]
  アイルランドのナショナル・マッピング・エージェンシーにおいて,データセット検索のための新しいデータ評価手法を提案する。 メタデータとユーザの好みを利用して、各データセットの個人価値を推定する。 データセットの利害関係者のランキングに対して、データバリューベースのランキングを検証しました。
  論文  参考訳（メタデータ） (2024-07-22T11:13:07Z)
• Neural Dynamic Data Valuation [4.286118155737111]
  ニューラルダイナミックデータ評価(NDDV)という最適制御の観点から,新しいデータ評価手法を提案する。 本手法は,データ最適制御状態の感度を用いて,データ評価を正確に識別する理論的解釈を持つ。 さらに,データポイントのユニークな特徴を捉え,データポイントと平均場状態の相互作用による公平性を確保するために,データ再重み付け戦略を実装した。
  論文  参考訳（メタデータ） (2024-04-30T13:39:26Z)
• On the Evaluation and Refinement of Vision-Language Instruction Tuning Datasets [71.54954966652286]
  VLIT(Vision-Language Instruction-Tuning)データセットの評価を試みる。 各データセットから高いSQのサンプルを収集し,新しいデータセットREVO-LIONを構築した。 注目すべきは、完全なデータの半分でなくても、REVO-LIONでトレーニングされたモデルは、単にすべてのVLITデータセットを追加するのに匹敵するパフォーマンスを達成することができることだ。
  論文  参考訳（メタデータ） (2023-10-10T13:01:38Z)
• Data-OOB: Out-of-bag Estimate as a Simple and Efficient Data Value [17.340091573913316]
  本研究では,バッジモデルのためのデータ評価手法であるData-OOBを提案する。 Data-OOBは、評価に106ドルのサンプルがあり、入力寸法が100である場合、1つのCPUプロセッサで2.25時間未満である。 提案手法は,誤ラベル付きデータを識別し,有用な(あるいは有害な)データポイントの集合を見出すことで,既存の最先端データ評価手法を著しく上回ることを示す。
  論文  参考訳（メタデータ） (2023-04-16T08:03:58Z)
• Investigating Data Variance in Evaluations of Automatic Machine Translation Metrics [58.50754318846996]
  本稿では,メトリクスのパフォーマンスがデータに敏感であることを示す。 メトリクスのランキングは、異なるデータセットで評価が行われると異なる。
  論文  参考訳（メタデータ） (2022-03-29T18:58:28Z)
• Generating Data to Mitigate Spurious Correlations in Natural Language Inference Datasets [27.562256973255728]
  自然言語処理モデルはしばしば、タスクに依存しない特徴とデータセットのラベルの間の急激な相関を利用して、トレーニング対象のディストリビューション内でのみうまく機能する。 そこで本研究では, 脱バイアス化したデータセットを生成して, 脱バイアス化したオフザシェルフモデルをトレーニングする手法を提案する。 提案手法は,1)高品質なラベル一貫性のあるデータサンプルを生成するためのデータジェネレータの訓練方法,2)素粒子相関に寄与するデータ点を除去するフィルタリング機構から構成される。
  論文  参考訳（メタデータ） (2022-03-24T09:08:05Z)
• Data-SUITE: Data-centric identification of in-distribution incongruous examples [81.21462458089142]
  Data-SUITEは、ID(In-distriion)データの不連続領域を特定するためのデータ中心のフレームワークである。 我々は,Data-SUITEの性能保証とカバレッジ保証を実証的に検証する。
  論文  参考訳（メタデータ） (2022-02-17T18:58:31Z)
• Managing dataset shift by adversarial validation for credit scoring [5.560471251954645]
  トレーニングデータの分布と実際に予測する必要があるデータとの矛盾は、モデルパフォーマンスの低下を引き起こす可能性がある。 本稿では,クレジットスコアリングシナリオにおけるデータセットシフト問題を軽減するための,逆検証に基づく手法を提案する。
  論文  参考訳（メタデータ） (2021-12-19T07:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。