論文の概要: Semivalue-based data valuation is arbitrary and gameable

• arxiv url: http://arxiv.org/abs/2506.12619v1
• Date: Sat, 14 Jun 2025 20:20:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-17 17:28:46.590157
• Title: Semivalue-based data valuation is arbitrary and gameable
• Title（参考訳）: 半値に基づくデータ評価は任意でゲーム性が高い
• Authors: Hannah Diehl, Ashia C. Wilson,
• Abstract要約: ゲーム理論によるセミバリューの概念は、マシンラーニングにおける信用属性とデータアセスメントの一般的なフレームワークを提供する、と我々は主張する。 ユーティリティ関数の小さいが妥当な変更は、データポイント間でのバリュエーションの大幅なシフトを引き起こす可能性がある。 この曖昧さを活かし、データポイント間で体系的に価値を再分配するために、低コストの敵戦略が存在する。
• 参考スコア（独自算出の注目度）: 4.051523221722475
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The game-theoretic notion of the semivalue offers a popular framework for credit attribution and data valuation in machine learning. Semivalues have been proposed for a variety of high-stakes decisions involving data, such as determining contributor compensation, acquiring data from external sources, or filtering out low-value datapoints. In these applications, semivalues depend on the specification of a utility function that maps subsets of data to a scalar score. While it is broadly agreed that this utility function arises from a composition of a learning algorithm and a performance metric, its actual instantiation involves numerous subtle modeling choices. We argue that this underspecification leads to varying degrees of arbitrariness in semivalue-based valuations. Small, but arguably reasonable changes to the utility function can induce substantial shifts in valuations across datapoints. Moreover, these valuation methodologies are also often gameable: low-cost adversarial strategies exist to exploit this ambiguity and systematically redistribute value among datapoints. Through theoretical constructions and empirical examples, we demonstrate that a bad-faith valuator can manipulate utility specifications to favor preferred datapoints, and that a good-faith valuator is left without principled guidance to justify any particular specification. These vulnerabilities raise ethical and epistemic concerns about the use of semivalues in several applications. We conclude by highlighting the burden of justification that semivalue-based approaches place on modelers and discuss important considerations for identifying appropriate uses.
• Abstract（参考訳）: 半値というゲーム理論の概念は、機械学習における信用属性とデータ評価のための一般的なフレームワークを提供する。 半値は、コントリビュータの補償の決定、外部ソースからのデータの取得、低値のデータポイントのフィルタリングなど、データに関わるさまざまなハイテイクな決定のために提案されている。 これらのアプリケーションでは、半値はデータのサブセットをスカラースコアにマッピングするユーティリティ関数の仕様に依存する。 このユーティリティ関数は学習アルゴリズムと性能指標の合成から生じると広く合意されているが、実際のインスタンス化には微妙なモデリング選択が多数含まれている。 この不特定性は、半値に基づく評価において様々な任意性をもたらすと我々は主張する。 ユーティリティ関数の小さいが妥当な変更は、データポイント間でのバリュエーションの大幅なシフトを引き起こす可能性がある。 さらに、これらの評価手法はしばしばゲーム可能であり、データポイント間のあいまいさと体系的に価値を再分配するために、低コストの敵戦略が存在する。 理論的な構成と実証的な例を通して、不確定評価器が実用仕様を操作して好ましいデータポイントを選択できること、そして、特定の仕様を正当化するための原則的なガイダンスなしで善良評価器が残ることを実証する。 これらの脆弱性は、いくつかのアプリケーションにおける半値の使用に関する倫理的および疫学的な懸念を引き起こす。 我々は、セミバリューベースのアプローチがモデラーに与える正当化の負担を強調し、適切な用途を特定する上で重要な考慮事項について論じる。

関連論文リスト

• DUPRE: Data Utility Prediction for Efficient Data Valuation [49.60564885180563]
  Data Shapleyのような協調ゲーム理論に基づくデータ評価では、データユーティリティを評価し、複数のデータサブセットに対してMLモデルを再トレーニングする必要がある。 我々のフレームワークである textttDUPRE は、モデル再学習による評価ではなく、データユーティリティを予測することによって、サブセット評価当たりのコストを削減できる代替手法を採用しています。 具体的には、いくつかのデータサブセットのデータユーティリティを評価すると、textttDUPREは、他のすべてのデータサブセットの有用性を予測するために、emphGaussianプロセス(GP)回帰モデルに適合する。
  論文  参考訳（メタデータ） (2025-02-22T08:53:39Z)
• Feature Importance Depends on Properties of the Data: Towards Choosing the Correct Explanations for Your Data and Decision Trees based Models [3.8246193345000226]
  局所的な説明法によって提供される特徴重要度推定の質を評価する。 これらの手法により得られた特徴重要度評価の規模と指標に顕著な差異が認められた。 評価はこれらの制限を強調し,様々な説明手法の適合性と信頼性に関する貴重な知見を提供する。
  論文  参考訳（メタデータ） (2025-02-11T00:29:55Z)
• On the Impact of the Utility in Semivalue-based Data Valuation [11.207084981290123]
  半値に基づくデータ評価は、協調ゲーム理論の直観を用いて、各データポイントを下流タスクへの貢献を反映した値に割り当てる。 ユーティリティの変更に対して、半値ベースのデータバリュエーションはどの程度堅牢か? 本稿では,実用性の変化に伴ってデータ評価結果がどの程度変化するかを実践者に知らせる,明示的な堅牢度尺度を中心とした実践的方法論を提案する。
  論文  参考訳（メタデータ） (2025-02-10T15:42:38Z)
• Studying How to Efficiently and Effectively Guide Models with Explanations [52.498055901649025]
  「モデルガイダンス」とは「正しい理由のために正しい」ことを保証するためにモデルの説明を規則化する考え方である。 PASCAL VOC 2007 および MS COCO 2014 データセット上で, 各種損失関数, 帰属方法, モデル, 誘導深度について詳細な評価を行う。 具体的には、一般的に使用されるセグメンテーションマスクよりもはるかに安価で入手可能なバウンディングボックスアノテーションを用いてモデルをガイドする。
  論文  参考訳（メタデータ） (2023-03-21T15:34:50Z)
• Uncertainty-Aware Instance Reweighting for Off-Policy Learning [63.31923483172859]
  本研究では,不確実性を考慮した逆確率スコア推定器 (UIPS) を提案する。 実世界の3つのレコメンデーションデータセットを用いた実験結果から,提案したUIPS推定器の有効サンプル効率が示された。
  論文  参考訳（メタデータ） (2023-03-11T11:42:26Z)
• Exploring validation metrics for offline model-based optimisation with diffusion models [50.404829846182764]
  モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。 モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。 本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
  論文  参考訳（メタデータ） (2022-11-19T16:57:37Z)
• CS-Shapley: Class-wise Shapley Values for Data Valuation in Classification [24.44357623723746]
  CS-Shapleyは,トレーニングインスタンスのクラス内コントリビューションとクラス外コントリビューションを区別する新しい値関数である。 我々の結果は、Shapleyベースのデータバリュエーションは、異なるモデルにわたるアプリケーションに転送可能であることを示唆している。
  論文  参考訳（メタデータ） (2022-11-13T03:32:33Z)
• Data Banzhaf: A Robust Data Valuation Framework for Machine Learning [18.65808473565554]
  本稿では, 雑音モデルの性能スコアに対するデータ評価のロバスト性について検討する。 データ価値の概念の堅牢性を測定する安全マージンの概念を導入する。 また,Banzhaf値がすべての半値の中で最大の安全性マージンを達成していることを示す。
  論文  参考訳（メタデータ） (2022-05-30T23:44:09Z)
• Selecting the suitable resampling strategy for imbalanced data classification regarding dataset properties [62.997667081978825]
  医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。 この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。 オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
  論文  参考訳（メタデータ） (2021-12-15T18:56:39Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。