論文の概要: Additive Model Boosting: New Insights and Path(ologie)s

• arxiv url: http://arxiv.org/abs/2503.05538v1
• Date: Fri, 07 Mar 2025 16:04:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-10 12:24:16.568851
• Title: Additive Model Boosting: New Insights and Path(ologie)s
• Title（参考訳）: 追加モデルブースティング - 新しい洞察とパス(オロギー)
• Authors: Rickmer Schulte, David Rügamer,
• Abstract要約: 我々は,BAMの解経路について検討し,特定の問題に対する他のアプローチとの接続を確立する。 BAMの新たな収束結果が導出され,本手法の内部動作に関する重要な知見が得られた。
• 参考スコア（独自算出の注目度）: 3.047411947074805
• License:
• Abstract: Additive models (AMs) have sparked a lot of interest in machine learning recently, allowing the incorporation of interpretable structures into a wide range of model classes. Many commonly used approaches to fit a wide variety of potentially complex additive models build on the idea of boosting additive models. While boosted additive models (BAMs) work well in practice, certain theoretical aspects are still poorly understood, including general convergence behavior and what optimization problem is being solved when accounting for the implicit regularizing nature of boosting. In this work, we study the solution paths of BAMs and establish connections with other approaches for certain classes of problems. Along these lines, we derive novel convergence results for BAMs, which yield crucial insights into the inner workings of the method. While our results generally provide reassuring theoretical evidence for the practical use of BAMs, they also uncover some ``pathologies'' of boosting for certain additive model classes concerning their convergence behavior that require caution in practice. We empirically validate our theoretical findings through several numerical experiments.
• Abstract（参考訳）: 追加モデル(AM)は最近、機械学習に多くの関心を喚起し、解釈可能な構造を幅広いモデルクラスに組み込むことを可能にした。 多くの一般的なアプローチは、様々な潜在的に複雑な加法モデルに適合するアプローチであり、加法モデルを強化するという考え方に基づいている。 強化加法モデル(英語版)(BAM)は実際はうまく機能するが、一般的な収束挙動や、ブースティングの暗黙的な正則化の性質を考慮に入れた場合の最適化問題など、いくつかの理論的側面はまだ理解されていない。 本研究では,BAMの解経路について検討し,特定の問題のクラスに対する他のアプローチとの接続を確立する。 これらの線に沿って、BAMの新たな収束結果が導出され、この手法の内部動作に関する重要な洞察がもたらされる。 以上の結果から,BAMの実用性に関する信頼性の高い理論的証拠が得られたが,実際は注意を要する収束行動に関して,ある種の付加的モデルクラスを増強する「病理」も見いだされた。 いくつかの数値実験を通して理論的知見を実証的に検証した。

関連論文リスト

• LoRE-Merging: Exploring Low-Rank Estimation For Large Language Model Merging [10.33844295243509]
  基本モデルであるtextscLoRE-Merging へのアクセスを必要とせず,タスクベクトルの低ランク推定に基づくモデルマージのための統一フレームワークを提案する。 我々のアプローチは、細調整されたモデルからのタスクベクトルは、しばしば支配的な特異値の限られた数しか示さず、低ランク推定が干渉しにくくなるという観察に動機づけられている。
  論文  参考訳（メタデータ） (2025-02-15T10:18:46Z)
• Supervised Score-Based Modeling by Gradient Boosting [49.556736252628745]
  本稿では,スコアマッチングを組み合わせた勾配向上アルゴリズムとして,SSM(Supervised Score-based Model)を提案する。 推測時間と予測精度のバランスをとるため,SSMの学習とサンプリングに関する理論的解析を行った。 我々のモデルは、精度と推測時間の両方で既存のモデルより優れています。
  論文  参考訳（メタデータ） (2024-11-02T07:06:53Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• MinT: Boosting Generalization in Mathematical Reasoning via Multi-View Fine-Tuning [53.90744622542961]
  数学領域における推論は、小言語モデル(LM)にとって重要な課題である。 多様なアノテーションスタイルで既存の数学的問題データセットを利用する新しい手法を提案する。 実験結果から,LLaMA-7Bモデルが先行手法より優れていることが示された。
  論文  参考訳（メタデータ） (2023-07-16T05:41:53Z)
• Hybrid additive modeling with partial dependence for supervised regression and dynamical systems forecasting [5.611231523622238]
  部分依存に基づく新たなハイブリッドトレーニング手法を導入し,複雑な正規化の必要性を排除した。 合成問題と実回帰問題の両方において、そのようなハイブリッドモデルを訓練するためのいくつかのアプローチを比較する。 ツリーベースモデルや人工ニューラルネットワークなど、さまざまなタイプの機械学習モデルで実験が実施されている。
  論文  参考訳（メタデータ） (2023-07-05T12:13:56Z)
• When to Update Your Model: Constrained Model-based Reinforcement Learning [50.74369835934703]
  モデルベースRL(MBRL)の非遅延性能保証のための新規で一般的な理論スキームを提案する。 続いて導いた境界は、モデルシフトとパフォーマンス改善の関係を明らかにします。 さらなる例では、動的に変化する探索からの学習モデルが、最終的なリターンの恩恵をもたらすことが示されている。
  論文  参考訳（メタデータ） (2022-10-15T17:57:43Z)
• Beyond Explaining: Opportunities and Challenges of XAI-Based Model Improvement [75.00655434905417]
  説明可能な人工知能(XAI)は、高度に複雑な機械学習(ML)モデルに透明性をもたらす新たな研究分野である。 本稿では,機械学習モデルの諸特性を改善するために,XAIを実用的に応用する手法を概観する。 実験では,モデル一般化能力や推論などの特性を改善する上で,説明がどのように役立つのかを,おもちゃと現実的な設定で実証的に示す。
  論文  参考訳（メタデータ） (2022-03-15T15:44:28Z)
• Model-Invariant State Abstractions for Model-Based Reinforcement Learning [54.616645151708994]
  textitmodel-invarianceという新しいタイプの状態抽象化を紹介します。 これにより、状態変数の見当たらない値の新しい組み合わせへの一般化が可能になる。 このモデル不変状態抽象化を通じて最適なポリシーを学習できることを実証する。
  論文  参考訳（メタデータ） (2021-02-19T10:37:54Z)
• Amortized Bayesian Inference for Models of Cognition [0.1529342790344802]
  専門的なニューラルネットワークアーキテクチャを用いたシミュレーションベース推論の最近の進歩は、ベイズ近似計算の多くの過去の問題を回避している。 本稿では,アモータイズされたベイズパラメータの推定とモデル比較について概説する。
  論文  参考訳（メタデータ） (2020-05-08T08:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。