論文の概要: Kolmogorov GAM Networks are all you need!

• arxiv url: http://arxiv.org/abs/2501.00704v1
• Date: Wed, 01 Jan 2025 02:46:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:12:09.081907
• Title: Kolmogorov GAM Networks are all you need!
• Title（参考訳）: Kolmogorov GAM Networksは必要なだけ!
• Authors: Sarah Polson, Vadim Sokolov,
• Abstract要約: Kolmogorov GAMネットワークは、トレーニングと推論のための効率的なアーキテクチャであることが示されている。 それらは、関心の関数に依存しない埋め込みを持つ加法モデルである。
• 参考スコア（独自算出の注目度）: 0.6906005491572398
• License:
• Abstract: Kolmogorov GAM (K-GAM) networks are shown to be an efficient architecture for training and inference. They are an additive model with an embedding that is independent of the function of interest. They provide an alternative to the transformer architecture. They are the machine learning version of Kolmogorov's Superposition Theorem (KST) which provides an efficient representations of a multivariate function. Such representations have use in machine learning for encoding dictionaries (a.k.a. "look-up" tables). KST theory also provides a representation based on translates of the K\"oppen function. The goal of our paper is to interpret this representation in a machine learning context for applications in Artificial Intelligence (AI). Our architecture is equivalent to a topological embedding which is independent of the function together with an additive layer that uses a Generalized Additive Model (GAM). This provides a class of learning procedures with far fewer parameters than current deep learning algorithms. Implementation can be parallelizable which makes our algorithms computationally attractive. To illustrate our methodology, we use the Iris data from statistical learning. We also show that our additive model with non-linear embedding provides an alternative to transformer architectures which from a statistical viewpoint are kernel smoothers. Additive KAN models therefore provide a natural alternative to transformers. Finally, we conclude with directions for future research.
• Abstract（参考訳）: Kolmogorov GAM(K-GAM)ネットワークは、トレーニングと推論のための効率的なアーキテクチャであることが示されている。 それらは、関心の関数に依存しない埋め込みを持つ加法モデルである。 それらはトランスアーキテクチャに代わるものだ。 これは、多変量関数の効率的な表現を提供するコルモゴロフの重ね合わせ定理(KST)の機械学習版である。 このような表現は、辞書(すなわち「ルックアップ」テーブル)を符号化する機械学習に使われている。 KST理論はまた、K\"oppen関数の変換に基づく表現も提供する。 本稿の目的は、人工知能(AI)の応用において、この表現を機械学習の文脈で解釈することである。 我々のアーキテクチャは、一般化付加モデル(GAM)を用いた付加層とともに関数から独立なトポロジ的埋め込みと等価である。 これは、現在のディープラーニングアルゴリズムよりもはるかに少ないパラメータで学習手順のクラスを提供する。 並列化が可能で、アルゴリズムを計算的に魅力的にすることができる。 本手法を説明するために,統計的学習のアイリスデータを用いた。 また,非線形埋め込みを用いた付加モデルは,統計的にカーネルスムースであるトランスフォーマーアーキテクチャの代替となることを示す。 したがって、加法KANモデルは変換器の自然な代替手段を提供する。 最後に,今後の研究の方向性について述べる。

関連論文リスト

• GRIL: A $2$-parameter Persistence Based Vectorization for Machine Learning [0.49703640686206074]
  本稿では,パラメータ持続モジュールに対してGRIL(Generalized Rank Invariant Landscape)と呼ばれる新しいベクトル表現を導入する。 このベクトル表現は1$-Lipschitz 安定であり、下層の濾過関数に対して微分可能であることを示す。 また、GRILがグラフニューラルネットワーク(GNN)に富む追加機能をキャプチャできることを示す性能の向上も観察している。
  論文  参考訳（メタデータ） (2023-04-11T04:30:58Z)
• Equivariance with Learned Canonicalization Functions [77.32483958400282]
  正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。 実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
  論文  参考訳（メタデータ） (2022-11-11T21:58:15Z)
• uGLAD: Sparse graph recovery by optimizing deep unrolled networks [11.48281545083889]
  深層ネットワークを最適化してスパースグラフ復元を行う新しい手法を提案する。 我々のモデルであるuGLADは、最先端モデルGLADを教師なし設定に構築し、拡張します。 我々は, 遺伝子調節ネットワークから生成した合成ガウスデータ, 非ガウスデータを用いて, モデル解析を行い, 嫌気性消化の事例研究を行った。
  論文  参考訳（メタデータ） (2022-05-23T20:20:27Z)
• Statistically Meaningful Approximation: a Case Study on Approximating Turing Machines with Transformers [50.85524803885483]
  本研究は,統計的学習性を示すために近似ネットワークを必要とする統計有意(SM)近似の形式的定義を提案する。 回路とチューリングマシンの2つの機能クラスに対するSM近似について検討する。
  論文  参考訳（メタデータ） (2021-07-28T04:28:55Z)
• Understanding Dynamics of Nonlinear Representation Learning and Its Application [12.697842097171119]
  暗黙的非線形表現学習のダイナミクスについて検討する。 我々は,データ構造アライメント条件がグローバル収束に十分であることを示す。 我々はデータ構造アライメント条件を満たす新しいトレーニングフレームワークを作成した。
  論文  参考訳（メタデータ） (2021-06-28T16:31:30Z)
• Learning outside the Black-Box: The pursuit of interpretable models [78.32475359554395]
  本稿では,任意の連続ブラックボックス関数の連続的大域的解釈を生成するアルゴリズムを提案する。 我々の解釈は、その芸術の以前の状態から飛躍的な進歩を表している。
  論文  参考訳（メタデータ） (2020-11-17T12:39:44Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)
• Tensor Relational Algebra for Machine Learning System Design [7.764107702934616]
  本稿では、リレーショナルテンソル代数(TRA)と呼ばれる別の実装抽象化を提案する。 TRA は、リレーショナル代数に基づく集合基底代数である。 我々の実証研究は、最適化されたTRAベースのバックエンドが、分散クラスタでMLを実行する際の選択肢を大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2020-09-01T15:51:24Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
  我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。 テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
  論文  参考訳（メタデータ） (2020-03-18T13:07:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。