論文の概要: seqKAN: Sequence processing with Kolmogorov-Arnold Networks

• arxiv url: http://arxiv.org/abs/2502.14681v1
• Date: Thu, 20 Feb 2025 16:10:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-21 14:29:00.412898
• Title: seqKAN: Sequence processing with Kolmogorov-Arnold Networks
• Title（参考訳）: SeqKAN: Kolmogorov-Arnold Networksによるシーケンス処理
• Authors: Tatiana Boura, Stasinos Konstantopoulos,
• Abstract要約: Kolmogorov-Arnold Networks (KAN) は、最近、多層パーセプトロンよりも解釈可能で制御可能な機械学習フレームワークとして提案されている。 本稿では,シーケンス処理のための新しいkanアーキテクチャであるSeqKANを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Kolmogorov-Arnold Networks (KANs) have been recently proposed as a machine learning framework that is more interpretable and controllable than the multi-layer perceptron. Various network architectures have been proposed within the KAN framework targeting different tasks and application domains, including sequence processing. This paper proposes seqKAN, a new KAN architecture for sequence processing. Although multiple sequence processing KAN architectures have already been proposed, we argue that seqKAN is more faithful to the core concept of the KAN framework. Furthermore, we empirically demonstrate that it achieves better results. The empirical evaluation is performed on generated data from a complex physics problem on an interpolation and an extrapolation task. Using this dataset we compared seqKAN against a prior KAN network for timeseries prediction, recurrent deep networks, and symbolic regression. seqKAN substantially outperforms all architectures, particularly on the extrapolation dataset, while also being the most transparent.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KAN) は、最近、多層パーセプトロンよりも解釈可能で制御可能な機械学習フレームワークとして提案されている。 シーケンス処理など,さまざまなタスクやアプリケーションドメインを対象としたネットワークアーキテクチャが Kan フレームワーク内で提案されている。 本稿では,シーケンス処理のための新しいkanアーキテクチャであるSeqKANを提案する。 複数のシーケンス処理kanアーキテクチャがすでに提案されているが、SeqKANはkanフレームワークのコア概念に忠実である。 さらに,より優れた結果が得られることを実証的に示す。 複雑な物理問題から生成したデータに対して、補間および補間タスクに関する経験的評価を行う。 このデータセットを用いて,SeqKANを従来のkanネットワークと比較し,時系列予測,深層ネットワークの再帰,シンボル回帰を行った。 SeqKANは、特に外挿データセットにおいて、すべてのアーキテクチャを大幅に上回ると同時に、最も透明である。

関連論文リスト

• TKAN: Temporal Kolmogorov-Arnold Networks [0.0]
  LSTM(Long Short-Term Memory)は、シーケンシャルデータにおける長期的な依存関係をキャプチャする能力を示している。 Kolmogorov-Arnold Networks (KANs) に触発されたマルチ層パーセプトロン(MLP)の代替案 我々はkanとLSTM、TKAN(Temporal Kolomogorov-Arnold Networks)にインスパイアされた新しいニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2024-05-12T17:40:48Z)
• Defining Neural Network Architecture through Polytope Structures of Dataset [53.512432492636236]
  本稿では, ニューラルネットワーク幅の上下境界を定義し, 問題となるデータセットのポリトープ構造から情報を得る。 本研究では,データセットのポリトープ構造を学習したニューラルネットワークから推定できる逆条件を探索するアルゴリズムを開発した。 MNIST、Fashion-MNIST、CIFAR10といった一般的なデータセットは、顔の少ない2つ以上のポリトップを用いて効率的にカプセル化できることが確立されている。
  論文  参考訳（メタデータ） (2024-02-04T08:57:42Z)
• Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
  本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。 我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。 ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2023-05-26T04:34:28Z)
• Pushing the Efficiency Limit Using Structured Sparse Convolutions [82.31130122200578]
  本稿では,画像の固有構造を利用して畳み込みフィルタのパラメータを削減する構造的スパース畳み込み(SSC)を提案する。 我々は、SSCが効率的なアーキテクチャにおける一般的なレイヤ(奥行き、グループ回り、ポイント回りの畳み込み)の一般化であることを示す。 SSCに基づくアーキテクチャは、CIFAR-10、CIFAR-100、Tiny-ImageNet、ImageNet分類ベンチマークのベースラインと比較して、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2022-10-23T18:37:22Z)
• Contextualized Embeddings based Convolutional Neural Networks for Duplicate Question Identification [0.25782420501870296]
  質問パラフレーズ識別(QPI)は,大規模質問回答フォーラムにとって重要な課題である。 本稿では,QPIタスクのための双方向変換器と畳み込みニューラルネットワークを組み合わせた新しいアーキテクチャを提案する。 実験結果から,Quora Question Pairsデータセットの最先端性能が得られた。
  論文  参考訳（メタデータ） (2021-09-03T14:30:09Z)
• Landmark Regularization: Ranking Guided Super-Net Training in Neural Architecture Search [70.57382341642418]
  重量共有は、コモディティハードウェア上での検索を可能にするため、ニューラルネットワークアーキテクチャ検索のデファクトスタンダードとなっています。 近年の研究では、スタンドアロンアーキテクチャのパフォーマンスと対応する共有重み付きネットワークのパフォーマンスのランキング障害が実証されている。 本稿では,共有重みネットワークの性能ランキングとスタンドアロンアーキテクチャのパフォーマンスランキングの相関を最大化することを目的とした正規化用語を提案する。
  論文  参考訳（メタデータ） (2021-04-12T09:32:33Z)
• Reframing Neural Networks: Deep Structure in Overcomplete Representations [41.84502123663809]
  本稿では,構造化過剰フレームを用いた表現学習のための統一フレームワークであるdeep frame approximationを提案する。 表現一意性と安定性に関連付けられたデータ非依存的なコヒーレンス尺度であるdeep frame potentialとの構造的差異を定量化する。 この超完全表現の確立された理論への接続は、原理化されたディープネットワークアーキテクチャ設計の新たな方向性を示唆している。
  論文  参考訳（メタデータ） (2021-03-10T01:15:14Z)
• DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
  本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
  論文  参考訳（メタデータ） (2020-05-29T09:02:16Z)
• Fitting the Search Space of Weight-sharing NAS with Graph Convolutional Networks [100.14670789581811]
  サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。 この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
  論文  参考訳（メタデータ） (2020-04-17T19:12:39Z)
• Anytime Inference with Distilled Hierarchical Neural Ensembles [32.003196185519]
  深層ニューラルネットワークの推論は計算コストがかかり、計算量や入力データの量が時間とともに変化するマスケリオでは、任意の時間推論が可能なネットワークが重要である。 階層型木構造に複数のネットワークのアンサンブルを埋め込む新しいフレームワークである階層型ニューラルネットワークアンサンブル(HNE)を提案する。 実験の結果,従来の推定モデルと比較して,HNEはCIFAR-10/100データセットとImageNetデータセットに対して,最先端の精度計算トレードオフを提供することがわかった。
  論文  参考訳（メタデータ） (2020-03-03T12:13:38Z)
• Residual Attention Net for Superior Cross-Domain Time Sequence Modeling [0.0]
  本稿では新しいアーキテクチャのコンセプト実証として機能し、RANはモデルにシーケンスパターンのより高レベルな理解を提供することを目的としている。 その結果,35の最先端結果が得られたが,10の結果が現在の最先端結果と一致し,さらなるモデル微調整は行われなかった。
  論文  参考訳（メタデータ） (2020-01-13T06:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。