論文の概要: Linear Mode Connectivity in Differentiable Tree Ensembles

• arxiv url: http://arxiv.org/abs/2405.14596v1
• Date: Thu, 23 May 2024 14:11:26 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-24 14:45:33.900636
• Title: Linear Mode Connectivity in Differentiable Tree Ensembles
• Title（参考訳）: 微分可能木組における線形モード接続性
• Authors: Ryuichi Kanoh, Mahito Sugiyama,
• Abstract要約: 線形モード接続性(英: Linear Mode Connectivity, LMC)は、パラメータ空間における線形補間モデルに対して一貫して存在する現象である。 我々はまず,木に基づく微分可能モデルであるソフトツリーニューロンのLCCを実現する。
• 参考スコア（独自算出の注目度）: 13.704584231053675
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Linear Mode Connectivity (LMC) refers to the phenomenon that performance remains consistent for linearly interpolated models in the parameter space. For independently optimized model pairs from different random initializations, achieving LMC is considered crucial for validating the stable success of the non-convex optimization in modern machine learning models and for facilitating practical parameter-based operations such as model merging. While LMC has been achieved for neural networks by considering the permutation invariance of neurons in each hidden layer, its attainment for other models remains an open question. In this paper, we first achieve LMC for soft tree ensembles, which are tree-based differentiable models extensively used in practice. We show the necessity of incorporating two invariances: subtree flip invariance and splitting order invariance, which do not exist in neural networks but are inherent to tree architectures, in addition to permutation invariance of trees. Moreover, we demonstrate that it is even possible to exclude such additional invariances while keeping LMC by designing decision list-based tree architectures, where such invariances do not exist by definition. Our findings indicate the significance of accounting for architecture-specific invariances in achieving LMC.
• Abstract（参考訳）: 線形モード接続性(英: Linear Mode Connectivity、LMC)とは、パラメータ空間における線形補間モデルに対して、性能が一貫している現象である。 異なるランダム初期化から独立に最適化されたモデルペアに対して、LCCを達成することは、現代の機械学習モデルにおける非凸最適化の安定した成功を検証し、モデルマージのような実用的なパラメータベースの操作を容易にするために重要であると考えられている。 LMCは、隠れた各層におけるニューロンの置換不変性を考慮することで、ニューラルネットワークに対して達成されているが、他のモデルに対するその達成は、未解決の課題である。 本稿では,木をベースとした微分可能モデルであるソフトツリーアンサンブルのLCCを初めて実現した。 ニューラルネットワークには存在しないが木構造に固有のサブツリーフリップ不変性と分割次数不変性という2つの不変性を導入する必要があることを示す。 さらに、決定リストに基づくツリーアーキテクチャを設計することで、LCCを維持しながら、そのような余分な不変性を排除できることを示した。 以上の結果から,LCCの達成におけるアーキテクチャ固有の不変性の重要性が示唆された。

関連論文リスト

• SMART: A Flexible Approach to Regression using Spline-Based Multivariate Adaptive Regression Trees [0.0]
  決定木は予測モデリングには強力だが、連続的な関係をモデル化する場合、しばしば高いばらつきに悩まされる。 我々は、決定木を用いて、異なる連続関係を持つデータのサブセットを識別するSpline-based Multivariate Adaptive Regression Trees (MARS)を紹介する。 MARSの高次項を扱うネイティブな能力により、ツリーは関係における不連続性のみに焦点を絞ることができる。
  論文  参考訳（メタデータ） (2024-10-08T01:18:08Z)
• An efficient solution to Hidden Markov Models on trees with coupled branches [0.0]
  木上の隠れモデル(HMM)のフレームワークを拡張して、データのツリーのような構造が結合されたブランチを含むシナリオに対処する。 本研究では,木系HMMと分岐した分岐木に対する確率,復号化,パラメータ学習問題を効率的に解くプログラミングアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2024-06-03T18:00:00Z)
• Latent Semantic Consensus For Deterministic Geometric Model Fitting [109.44565542031384]
  我々はLSC(Latent Semantic Consensus)と呼ばれる効果的な方法を提案する。 LSCは、モデルフィッティング問題をデータポイントとモデル仮説に基づく2つの潜在意味空間に定式化する。 LSCは、一般的な多構造モデルフィッティングのために、数ミリ秒以内で一貫した、信頼性の高いソリューションを提供することができる。
  論文  参考訳（メタデータ） (2024-03-11T05:35:38Z)
• Sample Complexity Characterization for Linear Contextual MDPs [67.79455646673762]
  文脈決定プロセス(CMDP)は、遷移カーネルと報酬関数がコンテキスト変数によってインデックス付けされた異なるMDPで時間とともに変化できる強化学習のクラスを記述する。 CMDPは、時間とともに変化する環境で多くの現実世界のアプリケーションをモデル化するための重要なフレームワークとして機能する。 CMDPを2つの線形関数近似モデルで検討する: 文脈変化表現とすべての文脈に対する共通線形重み付きモデルIと、すべての文脈に対する共通表現と文脈変化線形重み付きモデルIIである。
  論文  参考訳（メタデータ） (2024-02-05T03:25:04Z)
• A tree-based varying coefficient model [0.0]
  本稿では,循環勾配促進機 (CGBM) を用いて変動係数をモデル化した木に基づく変動係数モデル (VCM) を提案する。 次元の早い停止は、次元固有のオーバーフィッティングのリスクを減らすだけでなく、次元間でのモデルの複雑さの違いも明らかにする。 このモデルは、Richman and W"uthrich (2023)で使用されているものと同じシミュレーションおよび実データ例に基づいて評価され、この結果は、彼らのニューラルネットワークベースのVCMであるLocalGLMnetに匹敵するサンプル損失から結果を生成することを示している。
  論文  参考訳（メタデータ） (2024-01-11T15:35:32Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Autoregressive Score Matching [113.4502004812927]
  自動回帰条件スコアモデル(AR-CSM)を提案する。 AR-CSMモデルでは、このデータ分布とモデル分布のばらつきを効率的に計算し、最適化することができ、高価なサンプリングや対向訓練を必要としない。 本研究では,合成データに対する密度推定,画像生成,画像復調,暗黙エンコーダを用いた潜在変数モデルの訓練に応用できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T07:01:24Z)
• Identification of Probability weighted ARX models with arbitrary domains [75.91002178647165]
  PieceWise Affineモデルは、ハイブリッドシステムの他のクラスに対する普遍近似、局所線型性、同値性を保証する。 本研究では,任意の領域を持つ固有入力モデル(NPWARX)を用いたPieceWise Auto Regressiveの同定に着目する。 このアーキテクチャは、機械学習の分野で開発されたMixture of Expertの概念に従って考案された。
  論文  参考訳（メタデータ） (2020-09-29T12:50:33Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)
• Monotone operator equilibrium networks [97.86610752856987]
  我々はモノトン作用素の理論に基づく新しい暗黙深度モデル、モノトン演算子平衡ネットワーク(monDEQ)を開発した。 暗黙的ネットワークの平衡点の発見と単調作用素分割問題の解法との密接な関係を示す。 次に、ネットワークのパラメータ化を開発し、全ての作用素が単調であり続けることを保証し、ユニークな平衡点の存在を保証する。
  論文  参考訳（メタデータ） (2020-06-15T17:57:31Z)
• Struct-MMSB: Mixed Membership Stochastic Blockmodels with Interpretable Structured Priors [13.712395104755783]
  混合メンバシップブロックモデル(MMSB)は、コミュニティ検出とネットワーク生成のための一般的なフレームワークである。 最近開発された統計リレーショナル学習モデルであるヒンジロスマルコフ確率場(HL-MRF)を用いた柔軟なMMSBモデル、textitStruct-MMSBを提案する。 我々のモデルは、観測された特徴と会員分布の複雑な組み合わせとして符号化された有意義な潜伏変数を用いて、実世界のネットワークにおける潜伏特性を学習することができる。
  論文  参考訳（メタデータ） (2020-02-21T19:32:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。