論文の概要: What Is The Performance Ceiling of My Classifier? Utilizing Category-Wise Influence Functions for Pareto Frontier Analysis
- arxiv url: http://arxiv.org/abs/2510.03950v1
- Date: Sat, 04 Oct 2025 21:33:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-07 16:52:59.355361
- Title: What Is The Performance Ceiling of My Classifier? Utilizing Category-Wise Influence Functions for Pareto Frontier Analysis
- Title（参考訳）: 分類器の性能シーリングとは何か : カテゴリワイズ影響関数を用いたパレートフロンティア分析
- Authors: Shahriar Kabir Nahin, Wenxiao Xiao, Joshua Liu, Anshuman Chhabra, Hongfu Liu,
- Abstract要約: データ中心の学習は、データ品質の観点からモデルパフォーマンスを改善することを目指している。
影響関数は、個々のトレーニングサンプルがモデル予測に与える影響を定量化する強力なフレームワークを提供する。
そこで本研究では,すべてのカテゴリにまたがる各トレーニングサンプルの影響を定量化する影響ベクトルを提案する。
- 参考スコア（独自算出の注目度）: 12.72818632804819
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Data-centric learning seeks to improve model performance from the perspective of data quality, and has been drawing increasing attention in the machine learning community. Among its key tools, influence functions provide a powerful framework to quantify the impact of individual training samples on model predictions, enabling practitioners to identify detrimental samples and retrain models on a cleaner dataset for improved performance. However, most existing work focuses on the question: "what data benefits the learning model?" In this paper, we take a step further and investigate a more fundamental question: "what is the performance ceiling of the learning model?" Unlike prior studies that primarily measure improvement through overall accuracy, we emphasize category-wise accuracy and aim for Pareto improvements, ensuring that every class benefits, rather than allowing tradeoffs where some classes improve at the expense of others. To address this challenge, we propose category-wise influence functions and introduce an influence vector that quantifies the impact of each training sample across all categories. Leveraging these influence vectors, we develop a principled criterion to determine whether a model can still be improved, and further design a linear programming-based sample reweighting framework to achieve Pareto performance improvements. Through extensive experiments on synthetic datasets, vision, and text benchmarks, we demonstrate the effectiveness of our approach in estimating and achieving a model's performance improvement across multiple categories of interest.
- Abstract（参考訳）: データ中心学習は、データ品質の観点からモデルパフォーマンスを改善しようとしており、機械学習コミュニティで注目を集めている。
重要なツールのひとつとして、インフルエンス関数は、個々のトレーニングサンプルがモデル予測に与える影響を定量化するための強力なフレームワークを提供する。
しかし、既存の研究のほとんどは、"学習モデルにどのようなデータが有用か?
本稿では,さらに一歩進めて,「学習モデルの性能天井は何か?」という,より基本的な問いについて考察する。
全体的な正確性を通じて改善を測る従来の研究とは異なり、私たちはカテゴリの精度を強調し、Paretoの改善を目指しています。
この課題に対処するため、カテゴリワイド・インフルエンス関数を提案し、すべてのカテゴリにわたる各トレーニング・サンプルの影響を定量化するインフルエンス・ベクターを提案する。
これらの影響ベクトルを活用することで、モデルがまだ改善できるかどうかを判断するための原則的基準を開発し、さらに、Paretoのパフォーマンス改善を実現するために、線形プログラミングベースのサンプル再重み付けフレームワークを設計する。
合成データセット、ビジョン、テキストベンチマークに関する広範な実験を通じて、モデルの性能改善を複数のカテゴリで評価し、達成するためのアプローチの有効性を実証する。
関連論文リスト
- Causal Fuzzing for Verifying Machine Unlearning [9.923981046985771]
CAF'Eは、ブラックボックスMLモデルの検証のために、データポイントとフィーチャーレベルのアンラーニングを統合する新しいフレームワークである。
評価の結果, CAF'Eは計算効率を保ちながら, ベースラインに欠落した残差を検出できた。
論文 参考訳（メタデータ） (2025-09-20T04:19:37Z) - Revisiting Data Attribution for Influence Functions [13.88866465448849]
本稿では,ディープラーニングにおける影響関数のデータ帰属能力について概説する。
提案手法の理論的基礎, 効率的な逆ヘッセンベクトル積推定のためのアルゴリズムの最近の進歩, およびデータ帰属と誤ラベル検出の有効性について考察する。
論文 参考訳（メタデータ） (2025-08-10T11:15:07Z) - Exploring the Impact of Dataset Statistical Effect Size on Model Performance and Data Sample Size Sufficiency [2.444909460562512]
基礎的な記述的統計測度が、データセットが結果モデルのトレーニングにおいてどれだけ効果的かを示すことができるかどうかを、よりよく確かめるために行われた2つの実験について報告する。
以上の結果から,本手法は適切なサンプルサイズや投影モデルの性能を決定する上では有効ではないことが示唆される。
論文 参考訳（メタデータ） (2025-01-05T22:03:46Z) - Explanatory Model Monitoring to Understand the Effects of Feature Shifts on Performance [61.06245197347139]
そこで本研究では,機能シフトによるブラックボックスモデルの振る舞いを説明する新しい手法を提案する。
本稿では,最適輸送と共有値の概念を組み合わせた提案手法について,説明的性能推定として紹介する。
論文 参考訳（メタデータ） (2024-08-24T18:28:19Z) - Outlier Gradient Analysis: Efficiently Identifying Detrimental Training Samples for Deep Learning Models [36.05242956018461]
本稿では,影響関数と外乱勾配検出による有害トレーニングサンプルの同定とを橋渡しする。
まず, 合成データセットにおける外乱勾配解析手法の仮説を検証した。
次に、視覚モデルにおける誤ラベルサンプルの検出と、自然言語処理トランスフォーマーモデルの性能向上のためのデータサンプル選択の有効性を示す。
論文 参考訳（メタデータ） (2024-05-06T21:34:46Z) - Learning Objective-Specific Active Learning Strategies with Attentive
Neural Processes [72.75421975804132]
学び アクティブラーニング(LAL)は、アクティブラーニング戦略自体を学ぶことを提案し、与えられた設定に適応できるようにする。
能動学習問題の対称性と独立性を利用した新しい分類法を提案する。
私たちのアプローチは、筋電図から学ぶことに基づいており、モデルに標準ではない目的に適応する能力を与えます。
論文 参考訳（メタデータ） (2023-09-11T14:16:37Z) - On the Trade-off of Intra-/Inter-class Diversity for Supervised
Pre-training [72.8087629914444]
教師付き事前学習データセットのクラス内多様性(クラス毎のサンプル数)とクラス間多様性(クラス数)とのトレードオフの影響について検討した。
トレーニング前のデータセットのサイズが固定された場合、最高のダウンストリームのパフォーマンスは、クラス内/クラス間の多様性のバランスがとれる。
論文 参考訳（メタデータ） (2023-05-20T16:23:50Z) - Exploring the Impact of Instruction Data Scaling on Large Language
Models: An Empirical Study on Real-World Use Cases [17.431381376675432]
本稿では,命令データのスケールの異なる命令データに対して,命令チューニングに基づく大規模言語モデルの性能について検討する。
ベースモデルとしてBloomz-7B1-mtを用いると、命令データの量を増やすだけで、オープン・エンド・ジェネレーションのようなタスクが継続的に改善されることが示される。
本稿では,高品質なトレーニングデータ,スケールベースモデル,ハードタスクに特化したトレーニング手法を効果的に選択する,といった将来的な研究方向を提案する。
論文 参考訳（メタデータ） (2023-03-26T14:49:37Z) - Leveraging Angular Information Between Feature and Classifier for
Long-tailed Learning: A Prediction Reformulation Approach [90.77858044524544]
分類器の重みを再バランスすることなく、包含角度で認識確率を再構成する。
予測形式再構成の性能向上に着想を得て, この角度予測の異なる特性について検討する。
CIFAR10/100-LT と ImageNet-LT を事前学習することなく、ピアメソッド間で最高の性能を得ることができる。
論文 参考訳（メタデータ） (2022-12-03T07:52:48Z) - Striving for data-model efficiency: Identifying data externalities on
group performance [75.17591306911015]
信頼できる、効果的で責任ある機械学習システムの構築は、トレーニングデータとモデリング決定の違いが、予測パフォーマンスにどのように影響するかを理解することに集中する。
我々は、特定のタイプのデータモデル非効率性に注目し、一部のソースからトレーニングデータを追加することで、集団の重要なサブグループで評価されるパフォーマンスを実際に低下させることができる。
以上の結果から,データ効率が正確かつ信頼性の高い機械学習の鍵となることが示唆された。
論文 参考訳（メタデータ） (2022-11-11T16:48:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。