論文の概要: Is Data Valuation Learnable and Interpretable?
- arxiv url: http://arxiv.org/abs/2406.02612v1
- Date: Mon, 3 Jun 2024 08:13:47 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 23:39:37.213835
- Title: Is Data Valuation Learnable and Interpretable?
- Title（参考訳）: データ評価は学習可能か、解釈可能か?
- Authors: Ou Wu, Weiyao Zhu, Mengyang Li,
- Abstract要約: 現在のデータ評価手法は、出力値の解釈可能性を無視している。
この研究は、データバリュエーションは学習可能か、解釈可能か、という重要な疑問に答えることを目的としている。
- 参考スコア（独自算出の注目度）: 3.9325957466009203
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Measuring the value of individual samples is critical for many data-driven tasks, e.g., the training of a deep learning model. Recent literature witnesses the substantial efforts in developing data valuation methods. The primary data valuation methodology is based on the Shapley value from game theory, and various methods are proposed along this path. {Even though Shapley value-based valuation has solid theoretical basis, it is entirely an experiment-based approach and no valuation model has been constructed so far.} In addition, current data valuation methods ignore the interpretability of the output values, despite an interptable data valuation method is of great helpful for applications such as data pricing. This study aims to answer an important question: is data valuation learnable and interpretable? A learned valuation model have several desirable merits such as fixed number of parameters and knowledge reusability. An intrepretable data valuation model can explain why a sample is valuable or invaluable. To this end, two new data value modeling frameworks are proposed, in which a multi-layer perception~(MLP) and a new regression tree are utilized as specific base models for model training and interpretability, respectively. Extensive experiments are conducted on benchmark datasets. {The experimental results provide a positive answer for the question.} Our study opens up a new technical path for the assessing of data values. Large data valuation models can be built across many different data-driven tasks, which can promote the widespread application of data valuation.
- Abstract（参考訳）: 個々のサンプルの価値を測定することは、深層学習モデルのトレーニングなど、多くのデータ駆動タスクにおいて重要である。
近年の文献では、データ評価手法の開発に多大な努力が注がれている。
主要なデータ評価手法はゲーム理論のShapley値に基づいており、この経路に沿って様々な手法が提案されている。
例えば、Shapleyの値に基づく評価には理論的な根拠があるが、完全に実験に基づくアプローチであり、これまでに評価モデルが構築されていない。
さらに、現在のデータアセスメント手法は、データ価格などのアプリケーションにおいて、相互運用可能なデータアセスメント手法が非常に有用であるにもかかわらず、出力値の解釈可能性を無視している。
この研究は、データバリュエーションは学習可能か、解釈可能か、という重要な疑問に答えることを目的としている。
学習された評価モデルには、パラメータの固定数や知識再利用可能性など、いくつかの望ましいメリットがある。
解釈不能なデータバリュエーションモデルは、なぜサンプルが価値あるのか、あるいは価値がないのかを説明することができる。
この目的のために、2つの新しいデータ価値モデリングフレームワークを提案し、モデルトレーニングと解釈可能性のための特定のベースモデルとして、多層知覚~〜(MLP)と新しい回帰ツリーをそれぞれ利用した。
ベンチマークデータセット上で大規模な実験が行われる。
実験結果は、その質問に対して肯定的な答えを与える。
}本研究は,データ値の評価のための新たな技術パスを開く。
大規模なデータバリュエーションモデルは、さまざまなデータ駆動タスクにまたがって構築することができ、データバリュエーションの広範な適用を促進することができる。
関連論文リスト
- Reframing Data Value for Large Language Models Through the Lens of Plausibility [6.697702130929693]
本稿では,言語モデルにおけるデータ値問題に対する別の視点を提案する。
計算的に抽出可能な新しい値関数を開発し、証明可能な性質を持つ第一原理から導出する。
論文 参考訳（メタデータ） (2024-08-30T22:32:24Z) - Neural Dynamic Data Valuation [4.286118155737111]
ニューラルダイナミックデータ評価(NDDV)という最適制御の観点から,新しいデータ評価手法を提案する。
本手法は,データ最適制御状態の感度を用いて,データ評価を正確に識別する理論的解釈を持つ。
さらに,データポイントのユニークな特徴を捉え,データポイントと平均場状態の相互作用による公平性を確保するために,データ再重み付け戦略を実装した。
論文 参考訳（メタデータ） (2024-04-30T13:39:26Z) - Distilled Datamodel with Reverse Gradient Matching [74.75248610868685]
オフライントレーニングとオンライン評価段階を含む,データ影響評価のための効率的なフレームワークを提案する。
提案手法は, 直接再学習法と比較して, プロセスの大幅な高速化を図りながら, 同等のモデル行動評価を実現する。
論文 参考訳（メタデータ） (2024-04-22T09:16:14Z) - EcoVal: An Efficient Data Valuation Framework for Machine Learning [11.685518953430554]
機械学習におけるデータアセスメントのための既存のShapley値ベースのフレームワークは、計算コストが高い。
機械学習モデルのデータを高速かつ実用的な方法で推定するために,効率的なデータアセスメントフレームワークであるEcoValを導入する。
論文 参考訳（メタデータ） (2024-02-14T16:21:47Z) - QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。
QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。
例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文 参考訳（メタデータ） (2023-11-06T00:21:44Z) - On the Evaluation and Refinement of Vision-Language Instruction Tuning
Datasets [71.54954966652286]
VLIT(Vision-Language Instruction-Tuning)データセットの評価を試みる。
各データセットから高いSQのサンプルを収集し,新しいデータセットREVO-LIONを構築した。
注目すべきは、完全なデータの半分でなくても、REVO-LIONでトレーニングされたモデルは、単にすべてのVLITデータセットを追加するのに匹敵するパフォーマンスを達成することができることだ。
論文 参考訳（メタデータ） (2023-10-10T13:01:38Z) - FLASK: Fine-grained Language Model Evaluation based on Alignment Skill Sets [69.91340332545094]
FLASKは、人間に基づく評価とモデルに基づく評価の両方のためのきめ細かい評価プロトコルである。
モデル性能の全体像を得るためには,評価の微粒化が重要であることを実験的に観察する。
論文 参考訳（メタデータ） (2023-07-20T14:56:35Z) - GMValuator: Similarity-based Data Valuation for Generative Models [41.76259565672285]
生成モデル評価器(GMValuator, Generative Model Valuator, GMValuator, GMValuator)を導入した。
GMValuatorは、その有効性を示すために、様々なデータセットや生成アーキテクチャで広く評価されている。
論文 参考訳（メタデータ） (2023-04-21T02:02:02Z) - Data-OOB: Out-of-bag Estimate as a Simple and Efficient Data Value [17.340091573913316]
本研究では,バッジモデルのためのデータ評価手法であるData-OOBを提案する。
Data-OOBは、評価に106ドルのサンプルがあり、入力寸法が100である場合、1つのCPUプロセッサで2.25時間未満である。
提案手法は,誤ラベル付きデータを識別し,有用な(あるいは有害な)データポイントの集合を見出すことで,既存の最先端データ評価手法を著しく上回ることを示す。
論文 参考訳（メタデータ） (2023-04-16T08:03:58Z) - Learning to be a Statistician: Learned Estimator for Number of Distinct
Values [54.629042119819744]
列内の異なる値の数(NDV)を推定することは、データベースシステムにおける多くのタスクに有用である。
本研究では、ランダム(オンライン/オフライン)サンプルから正確なNDV推定を導出する方法に焦点を当てる。
教師付き学習フレームワークにおいて,NDV推定タスクを定式化し,モデルを推定対象として学習することを提案する。
論文 参考訳（メタデータ） (2022-02-06T15:42:04Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳（メタデータ） (2021-04-11T12:14:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。