論文の概要: How Much Is a Dataset Worth? Scaling Laws, the Vendi Score, and Matrix Spectral Functions

• arxiv url: http://arxiv.org/abs/2605.29448v1
• Date: Thu, 28 May 2026 06:40:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-30 02:45:55.861909
• Title: How Much Is a Dataset Worth? Scaling Laws, the Vendi Score, and Matrix Spectral Functions
• Title（参考訳）: データセットの価値はいくらか? スケーリング法則, ベンディスコア, マトリックススペクトル関数
• Authors: Jeff A. Bilmes, Gantavya Bhatt, Arnav M. Das,
• Abstract要約: 我々は,ニューラルスケーリング法とベンディスコアが準モジュラであることを示す。 ベンディスコア(Vendi Score)は、行列スペクトル関数(英語版)と呼ばれる、より広範なモジュラー対象のクラスである。
• 参考スコア（独自算出の注目度）: 13.381771483955552
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Neural scaling laws appraise data through dataset size, while the Vendi Score uses quantum entropy to measure dataset value. We show both that common neural-scaling-law objectives and the Vendi Score are submodular. We further show that the Vendi Score is a special case of a broader class of submodular objectives that we call matrix spectral functions. This also includes determinantal (DPP) objectives, as well as many others. We also introduce weakly matrix monotone functions and show how they lead to weakly submodular matrix spectral functions, yielding a broad family of practical objectives for data appraisal. We develop secular-equation-based updates that avoid repeated eigendecompositions during greedy optimization, reducing marginal-gain evaluation for $m$-dimensional embeddings by an $O(m)$ factor relative to oracle queries. This yields an average empirical speedup of about 35,000x, making direct optimization of the Vendi Score feasible on ImageNet-1K-scale datasets. Thus enabled, we compare how well several objectives predict the value of training subsets for held-out test performance under fixed-size, class-balanced, and fixed training-budget regimes, including the Vendi Score, DPPs, facility location, and three new matrix spectral variants. Across multiple datasets, facility location performs the best. Direct optimization also reveals that, while the Vendi Score is predictive over moderate score ranges, pushing the objective to higher values can make it a poor downstream performance proxy. We also find that uniformly at random fixed-size subsets, both unconstrained and class-balanced, are remarkably concentrated in both appraisal scores and held-out performance. Finally, we show that size, class balance, and training budget do not alone determine data value: even when controlling for these factors, performance ranges smoothly from good to bad.
• Abstract（参考訳）: ニューラルネットワークのスケーリング法則はデータセットのサイズを通じてデータを評価し、Vendi Scoreはデータセットの値を測定するために量子エントロピーを使用する。 ニューラルスケーリング法則の共通の目的と,Vendi Scoreが準モジュラであることを示す。 さらに、Vendi Scoreは、行列スペクトル関数と呼ばれるより広範なモジュラー対象のクラスであることを示す。 これには、DPP(Determinantal Objective)やその他多くの目的も含まれる。 また、弱行列単調関数を導入し、それが弱い部分モジュラ行列スペクトル関数にどのように導かれるかを示し、データ評価のための実用的な目的の幅広いファミリを導出する。 我々は, フレディ最適化の繰り返し固有分解を回避し, オラクルクエリに対する$O(m)$因子による$m$次元埋め込みの限界ゲイン評価を低減する世俗方程式ベースの更新を開発する。 これにより平均的な経験的スピードアップは約35,000倍になり、ImageNet-1KスケールのデータセットでVendi Scoreを直接最適化できる。 このようにして、Vendi Score、DPPs、施設位置、および3つの新しいマトリックススペクトル変種を含む、固定サイズ、クラスバランス、固定型トレーニング予算体制下でのホールトアウトテスト性能のトレーニングサブセットの価値を、複数の目標がいかに予測するかを比較した。 複数のデータセットにまたがって、施設の位置が最善を尽くす。 直接最適化はまた、Vendi Scoreは適度なスコア範囲で予測可能である一方で、より高い値に目標をプッシュすることで、下流のパフォーマンスプロキシが劣っていることも明らかにしている。 また、ランダムな固定サイズ部分集合において、非制約とクラスバランスの両方が、評価スコアとホールドアウトパフォーマンスの両方に著しく集中していることが判明した。 最後に、サイズ、クラスバランス、トレーニング予算がデータの価値を判断するだけでなく、これらの要因を制御しても、パフォーマンスは良いものから悪いものまでスムーズに変化します。

関連論文リスト

• Convex Dataset Valuation for Post-Training [21.22512177964122]
  勾配空間における平均マッチング(KMM)に基づくスケーラブルな凸データセットレベルの評価法を提案する。 このアプローチが既存のバリュエーションベースラインを一貫して上回り、オーバーヘッドを低くしてより強力なパフォーマンスを実現していることを示す。
  論文  参考訳（メタデータ） (2026-05-15T23:35:07Z)
• Talos: Optimizing Top-$K$ Accuracy in Recommender Systems [14.229918568280729]
  本稿では,Talosレコメンデーションの精度を最適化するために特別に設計された損失関数であるTalosを提案する。 我々は,効率的なしきい値推定のためのサンプリングベース回帰アルゴリズムを開発した。 我々は不連続性に対処し、分布シフトに対する堅牢性を高めるために、調整された代理関数を組み込んだ。
  論文  参考訳（メタデータ） (2026-01-27T07:04:09Z)
• Scales++: Compute Efficient Evaluation Subset Selection with Cognitive Scales Embeddings [23.9553588103042]
  本稿では,タスク項目自体の本質的な特性に基づいて選択を行うことを論じ,サブセット選択をベンチマークする項目中心のアプローチを提案する。 Scales++は、競争力のある予測忠実性を達成しながら、事前選択コストを18倍以上削減します。 この項目中心のアプローチは,忠実度を著しく低下させることなく,より効率的なモデル評価を可能にすることを実証する。
  論文  参考訳（メタデータ） (2025-10-30T11:28:58Z)
• Efficient Data Selection at Scale via Influence Distillation [53.03573620682107]
  本稿では,データ選択のための数学的に修飾されたフレームワークであるインフルエンス蒸留を紹介する。 対象分布に対する各試料の影響を蒸留することにより,トレーニングデータの選択に使用されるモデル固有の重みを割り当てる。 実験の結果、蒸留の影響は最先端のパフォーマンスに匹敵し、最大3.5タイムの高速選択を実現していることがわかった。
  論文  参考訳（メタデータ） (2025-05-25T09:08:00Z)
• MM-RLHF: The Next Step Forward in Multimodal LLM Alignment [59.536850459059856]
  MM-RLHF, $mathbf120k$ fine-fine, human-annotated preference comparison pairsを含むデータセットを紹介する。 本稿では,報酬モデルの品質向上とアライメントアルゴリズムの効率向上のために,いくつかの重要なイノベーションを提案する。 我々のアプローチは、$mathbf10$の異なる次元と$mathbf27$のベンチマークで厳格に評価されている。
  論文  参考訳（メタデータ） (2025-02-14T18:59:51Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Self-Supervised Dataset Distillation for Transfer Learning [77.4714995131992]
  ラベルなしデータセットを、効率的な自己教師付き学習(SSL)のための小さな合成サンプル群に蒸留する新しい問題を提案する。 両レベル最適化におけるSSL目標に対する合成サンプルの勾配は、データ拡張やマスキングから生じるランダム性から、テキストバイアスを受けていることを最初に証明する。 転送学習を含む様々な応用における本手法の有効性を実証的に検証する。
  論文  参考訳（メタデータ） (2023-10-10T10:48:52Z)
• BOtied: Multi-objective Bayesian optimization with tied multivariate ranks [33.414682601242006]
  本稿では,非支配解と結合累積分布関数の極端量子化との自然な関係を示す。 このリンクにより、我々はPareto対応CDFインジケータと関連する取得関数BOtiedを提案する。 種々の合成および実世界の問題に対する実験により,BOtied は最先端MOBO 取得関数より優れていることが示された。
  論文  参考訳（メタデータ） (2023-06-01T04:50:06Z)
• SCAI: A Spectral data Classification framework with Adaptive Inference for the IoT platform [0.0]
  適応推論を用いたスペクトルデータ分類フレームワークを提案する。 具体的には、異なるデバイス間のコラボレーションをよりよく活用しながら、異なるサンプルに対して異なる計算を割り当てる。 我々の知る限り、この論文はIoTプラットフォーム下でのスペクトル検出のための適応推論による最適化を行うための最初の試みである。
  論文  参考訳（メタデータ） (2022-06-24T09:22:52Z)
• Pessimistic Minimax Value Iteration: Provably Efficient Equilibrium Learning from Offline Datasets [101.5329678997916]
  両プレイヤーゼロサムマルコフゲーム(MG)をオフライン環境で研究する。 目標は、事前収集されたデータセットに基づいて、近似的なナッシュ均衡(NE)ポリシーペアを見つけることである。
  論文  参考訳（メタデータ） (2022-02-15T15:39:30Z)
• Efficient Rollout Strategies for Bayesian Optimization [15.050692645517998]
  ほとんどの獲得関数はミオピックであり、次の関数評価の影響のみを考慮することを意味する。 準モンテカルロ, 共通乱数, 制御変数の組み合わせはロールアウトの計算負担を著しく低減することを示した。 次に、ロールアウト獲得関数の最適化の必要性を排除したポリシー検索に基づくアプローチを定式化する。
  論文  参考訳（メタデータ） (2020-02-24T20:54:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。