論文の概要: Adapting and Evaluating Influence-Estimation Methods for
Gradient-Boosted Decision Trees
- arxiv url: http://arxiv.org/abs/2205.00359v3
- Date: Wed, 31 May 2023 04:25:04 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-02 04:38:34.079127
- Title: Adapting and Evaluating Influence-Estimation Methods for
Gradient-Boosted Decision Trees
- Title（参考訳）: 勾配ブースト決定木の適応と影響推定法の評価
- Authors: Jonathan Brophy, Zayd Hammoudeh, and Daniel Lowd
- Abstract要約: Gradient-boosted decision tree (GBDT) は、強力で広く使われているモデルのクラスである。
深層学習モデルのために設計された影響推定手法をGBDTに適用する。
BoostIn は GBDT に対する効率的な影響推定手法であり,既存の作業と同等あるいは同等に機能する。
- 参考スコア（独自算出の注目度）: 12.167833575680833
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Influence estimation analyzes how changes to the training data can lead to
different model predictions; this analysis can help us better understand these
predictions, the models making those predictions, and the data sets they're
trained on. However, most influence-estimation techniques are designed for deep
learning models with continuous parameters. Gradient-boosted decision trees
(GBDTs) are a powerful and widely-used class of models; however, these models
are black boxes with opaque decision-making processes. In the pursuit of better
understanding GBDT predictions and generally improving these models, we adapt
recent and popular influence-estimation methods designed for deep learning
models to GBDTs. Specifically, we adapt representer-point methods and TracIn,
denoting our new methods TREX and BoostIn, respectively; source code is
available at https://github.com/jjbrophy47/tree_influence. We compare these
methods to LeafInfluence and other baselines using 5 different evaluation
measures on 22 real-world data sets with 4 popular GBDT implementations. These
experiments give us a comprehensive overview of how different approaches to
influence estimation work in GBDT models. We find BoostIn is an efficient
influence-estimation method for GBDTs that performs equally well or better than
existing work while being four orders of magnitude faster. Our evaluation also
suggests the gold-standard approach of leave-one-out (LOO) retraining
consistently identifies the single-most influential training example but
performs poorly at finding the most influential set of training examples for a
given target prediction.
- Abstract（参考訳）: この分析は、これらの予測、これらの予測を行うモデル、トレーニングされているデータセットをよりよく理解するのに役立ちます。
しかしながら、ほとんどの影響推定手法は連続的なパラメータを持つディープラーニングモデル向けに設計されている。
グラデーションブースト決定木(gbdts)は強力で広く使われているモデルであるが、これらのモデルは不透明な意思決定プロセスを持つブラックボックスである。
GBDTの予測をよりよく理解し、これらのモデルを全般的に改善するために、ディープラーニングモデル用に設計された近年、人気のある影響推定手法をGBDTに適用する。
具体的には、representer-pointメソッドとtracinをそれぞれ適用し、新しいメソッドであるtrexとboostinを示します。ソースコードはhttps://github.com/jjbrophy47/tree_influenceで利用可能です。
提案手法をリーフインフルエンスや他のベースラインと比較し,4つのGBDT実装を持つ22の実世界のデータセットに対する5つの異なる評価尺度を用いた。
これらの実験により、GBDTモデルにおける様々なアプローチがどのように影響するかを概観する。
BoostIn は GBDT の効率的な影響推定手法であり,既存の作業よりも 4 桁高速に動作可能である。
また,LOO(Left-one-out)再トレーニングのゴールドスタンダードアプローチは,最も影響力のあるトレーニング例を一貫して識別するが,与えられた目標予測に対して最も影響力のあるトレーニング例を見つけるには不十分であることを示す。
関連論文リスト
- What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。
モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
論文 参考訳（メタデータ） (2024-11-12T09:52:40Z) - Scalable Influence and Fact Tracing for Large Language Model Pretraining [14.598556308631018]
トレーニングデータ属性(TDA)メソッドは、特定のトレーニング例にモデル出力を振り返ることを目的としている。
本稿では,既存の勾配法を改良し,大規模に効果的に機能させる。
論文 参考訳（メタデータ） (2024-10-22T20:39:21Z) - Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
拡散モデルは、生成的モデリングに大きな進歩をもたらした。
しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。
本稿では,テキスト・インフルエンス・ファンクション・フレームワークを開発することにより,このような課題に対処することを目的とする。
論文 参考訳（メタデータ） (2024-10-17T17:59:02Z) - Enhancing Training Data Attribution for Large Language Models with Fitting Error Consideration [74.09687562334682]
Debias and Denoise Attribution (DDA) と呼ばれる新しいトレーニングデータ属性法を導入する。
提案手法は既存のアプローチよりも優れており,平均91.64%のAUCを実現している。
DDAは、様々なソースとLLaMA2、QWEN2、Mistralのような異なるスケールのモデルに対して、強力な汎用性とスケーラビリティを示す。
論文 参考訳（メタデータ） (2024-10-02T07:14:26Z) - Unpacking DPO and PPO: Disentangling Best Practices for Learning from Preference Feedback [110.16220825629749]
嗜好フィードバックからの学習は、現代言語モデルの生成品質と性能を改善するための重要なステップとして現れてきた。
本研究では、嗜好データ、学習アルゴリズム、報酬モデル、政策訓練プロンプトという、嗜好に基づく学習の4つの側面を特定する。
以上の結果から,すべての側面がパフォーマンス上重要であることが示唆された。
論文 参考訳（メタデータ） (2024-06-13T16:17:21Z) - The Mirrored Influence Hypothesis: Efficient Data Influence Estimation by Harnessing Forward Passes [30.30769701138665]
我々は、訓練データとテストデータの間の相互影響を浮き彫りにして、ミラーレッド影響仮説を導入し、探求する。
具体的には、テスト予測に対するトレーニングデータの影響を評価することは、等価だが逆問題として再定義することができることを示唆している。
トレーニングポイント毎に前方パスとペアを組むことで,特定のテストサンプルの勾配を計算し,トレーニングデータの影響を推定する新しい手法を提案する。
論文 参考訳（メタデータ） (2024-02-14T03:43:05Z) - Bayesian Deep Learning for Remaining Useful Life Estimation via Stein
Variational Gradient Descent [14.784809634505903]
本研究では,スタイン変分勾配勾配を用いたベイズ学習モデルが収束速度と予測性能に対して一貫して優れていたことを示す。
ベイズモデルが提供する不確実性情報に基づく性能向上手法を提案する。
論文 参考訳（メタデータ） (2024-02-02T02:21:06Z) - A positive feedback method based on F-measure value for Salient Object
Detection [1.9249287163937976]
本稿では,SODに対するF値に基づく正のフィードバック手法を提案する。
提案手法は,画像を検出して既存のモデルに入力し,それぞれの予測マップを取得する。
5つの公開データセットに対する実験結果から,提案手法の正のフィードバックは,5つの評価指標において最新の12の手法よりも優れていた。
論文 参考訳（メタデータ） (2023-04-28T04:05:13Z) - Guide the Learner: Controlling Product of Experts Debiasing Method Based
on Token Attribution Similarities [17.082695183953486]
一般的な回避策は、二次バイアスモデルに基づいてトレーニング例を再重み付けすることで、堅牢なモデルをトレーニングすることである。
ここでは、バイアスドモデルが機能をショートカットする、という前提がある。
本稿では,主要モデルと偏りのあるモデル属性スコアの類似性を,プロダクト・オブ・エキスパートズ・ロス関数に組み込んだ微調整戦略を提案する。
論文 参考訳（メタデータ） (2023-02-06T15:21:41Z) - Models, Pixels, and Rewards: Evaluating Design Trade-offs in Visual
Model-Based Reinforcement Learning [109.74041512359476]
視覚的MBRLアルゴリズムにおける予測モデルの設計決定について検討する。
潜在空間の使用など、しばしば重要と見なされる設計上の決定は、タスクのパフォーマンスにはほとんど影響しないことが分かりました。
我々は,この現象が探索とどのように関係しているか,および標準ベンチマークにおける下位スコーリングモデルのいくつかが,同じトレーニングデータでトレーニングされた場合のベストパフォーマンスモデルと同等の性能を発揮するかを示す。
論文 参考訳（メタデータ） (2020-12-08T18:03:21Z) - Efficient Estimation of Influence of a Training Instance [56.29080605123304]
本稿では,ニューラルネットワークモデルに対するトレーニングインスタンスの影響を効率的に推定する手法を提案する。
このメソッドは、サブネットワークをゼロマスクし、サブネットワークが各トレーニングインスタンスを学習するのを防ぎます。
提案手法は, 学習の影響を捉え, 誤り予測の解釈性を高め, 一般化改善のための訓練データセットをクリーン化できることを実証する。
論文 参考訳（メタデータ） (2020-12-08T04:31:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。