論文の概要: Improving KAN with CDF normalization to quantiles

• arxiv url: http://arxiv.org/abs/2507.13393v1
• Date: Wed, 16 Jul 2025 09:24:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-21 20:43:26.068999
• Title: Improving KAN with CDF normalization to quantiles
• Title（参考訳）: 量子化へのCDF正規化によるkanの改良
• Authors: Jakub Strawa, Jarek Duda,
• Abstract要約: コプラ理論では、x を CDF(x) と推定した CDF(累積分布関数) を [0,1] のほぼ均一な分布に変換することで、近似量子化の正規化が用いられる。 機械学習ではほとんど知られていないように思われるので、最近人気になったKAN(Kolmogorov-Arnold Networks)の例に、その利点をいくつか紹介したい。 HCR解釈では、そのようなニューロンの重みは局所的な関節分布モデルを提供する混合モーメントであり、確率分布を伝播させ、伝播方向を変化させることができる。
• 参考スコア（独自算出の注目度）: 0.4209374775815558
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Data normalization is crucial in machine learning, usually performed by subtracting the mean and dividing by standard deviation, or by rescaling to a fixed range. In copula theory, popular in finance, there is used normalization to approximately quantiles by transforming x to CDF(x) with estimated CDF (cumulative distribution function) to nearly uniform distribution in [0,1], allowing for simpler representations which are less likely to overfit. It seems nearly unknown in machine learning, therefore, we would like to present some its advantages on example of recently popular Kolmogorov-Arnold Networks (KANs), improving predictions from Legendre-KAN by just switching rescaling to CDF normalization. Additionally, in HCR interpretation, weights of such neurons are mixed moments providing local joint distribution models, allow to propagate also probability distributions, and change propagation direction.
• Abstract（参考訳）: データ正規化は、通常、平均を減らし、標準偏差によって分割するか、あるいは固定範囲に再スケーリングすることによって実行される機械学習において重要である。 コプラ理論(英語版)において、ファイナンスにおいて、x を CDF(x) と推定した CDF(累積分布関数) を[0,1] のほぼ均一な分布に変換することによって、近似量子化の正規化(英語版)(英語版)(英語版)(英語版)(英語版)(英語版)(英語版))(英語版)(英語版))が用いられる。 機械学習の分野ではほとんど知られていないため、最近のKAN(Kolmogorov-Arnold Networks)のように、CDFの正規化への再スケーリングに切り替えるだけで、Regendre-KANの予測を改善するというメリットを提示したいと考えています。 さらに、HCR解釈では、そのようなニューロンの重みは局所的な関節分布モデルを提供する混合モーメントであり、確率分布を伝播させ、伝播方向を変化させることができる。

関連論文リスト

• VAEs and GANs: Implicitly Approximating Complex Distributions with Simple Base Distributions and Deep Neural Networks -- Principles, Necessity, and Limitations [0.0]
  本チュートリアルは,変分オートエンコーダ(VAE)とGAN(Generative Adversarial Networks)の基本アーキテクチャに焦点を当てる。 VAEとGANは基礎としてガウスのような単純な分布を利用し、ニューラルネットワークの強力な非線形変換能力を利用して任意の複雑な分布を近似する。
  論文  参考訳（メタデータ） (2025-02-28T02:34:14Z)
• Flow matching achieves almost minimax optimal convergence [50.38891696297888]
  フローマッチング (FM) は, シミュレーションのない生成モデルとして注目されている。 本稿では,大試料径のFMの収束特性を$p$-Wasserstein 距離で論じる。 我々は、FMが1leq p leq 2$でほぼ最小の収束率を達成できることを確立し、FMが拡散モデルに匹敵する収束率に達するという最初の理論的証拠を示す。
  論文  参考訳（メタデータ） (2024-05-31T14:54:51Z)
• Broadening Target Distributions for Accelerated Diffusion Models via a Novel Analysis Approach [49.97755400231656]
  本研究では,新しいDDPMサンプリング器が,これまで考慮されていなかった3種類の分散クラスに対して高速化性能を実現することを示す。 この結果から, DDPM型加速サンプリング器におけるデータ次元$d$への依存性が改善された。
  論文  参考訳（メタデータ） (2024-02-21T16:11:47Z)
• Normalizing flow sampling with Langevin dynamics in the latent space [12.91637880428221]
  正規化フロー(NF)は、連続生成器を使用して、単純な潜伏分布(例えばガウス分布)をトレーニングデータセットに関連する経験的対象分布にマッピングする。 標準NFは可微分写像を実装しているため、複雑な分布を対象とする場合、病理学的挙動に悩まされることがある。 本稿では,マルコフ連鎖モンテカルロアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-20T09:31:35Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Normalizing Flow with Variational Latent Representation [20.038183566389794]
  正規化フロー(NF)の実用性能を向上させるため,変分潜在表現に基づく新しいフレームワークを提案する。 この考え方は、標準正規潜在変数をより一般的な潜在変数に置き換えることであり、変分ベイズを通して共同で学習される。 得られた手法は,複数のモードでデータ分布を生成する標準的な正規化フローアプローチよりもはるかに強力である。
  論文  参考訳（メタデータ） (2022-11-21T16:51:49Z)
• Instance-Dependent Generalization Bounds via Optimal Transport [51.71650746285469]
  既存の一般化境界は、現代のニューラルネットワークの一般化を促進する重要な要因を説明することができない。 データ空間における学習予測関数の局所リプシッツ正則性に依存するインスタンス依存の一般化境界を導出する。 ニューラルネットワークに対する一般化境界を実験的に解析し、有界値が有意義であることを示し、トレーニング中の一般的な正規化方法の効果を捉える。
  論文  参考訳（メタデータ） (2022-11-02T16:39:42Z)
• Efficient CDF Approximations for Normalizing Flows [64.60846767084877]
  正規化フローの微分同相性に基づいて、閉領域上の累積分布関数(CDF)を推定する。 一般的なフローアーキテクチャとUCIデータセットに関する実験は,従来の推定器と比較して,サンプル効率が著しく向上したことを示している。
  論文  参考訳（メタデータ） (2022-02-23T06:11:49Z)
• Decentralized Local Stochastic Extra-Gradient for Variational Inequalities [125.62877849447729]
  我々は、不均一(非IID)で多くのデバイスに分散する問題データを持つ領域上での分散変分不等式(VIs)を考察する。 我々は、完全に分散化された計算の設定を網羅する計算ネットワークについて、非常に一般的な仮定を行う。 理論的には, モノトン, モノトンおよび非モノトンセッティングにおける収束速度を理論的に解析する。
  論文  参考訳（メタデータ） (2021-06-15T17:45:51Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。