論文の概要: "KAN you hear me?" Exploring Kolmogorov-Arnold Networks for Spoken Language Understanding

• arxiv url: http://arxiv.org/abs/2505.20176v1
• Date: Mon, 26 May 2025 16:16:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 19:27:26.932314
• Title: "KAN you hear me?" Exploring Kolmogorov-Arnold Networks for Spoken Language Understanding
• Title（参考訳）: 「KAN you hear me? Kolmogorov-Arnold Networks for Spoken Language Understanding」
• Authors: Alkis Koudounas, Moreno La Quatra, Eliana Pastor, Sabato Marco Siniscalchi, Elena Baralis,
• Abstract要約: Kolmogorov-Arnold Networks (KAN) は従来のニューラルアーキテクチャに代わる有望な代替品として登場した。 本研究は,音声言語理解(SLU)タスクにおけるKansの最初の調査である。
• 参考スコア（独自算出の注目度）: 22.115368954133864
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Kolmogorov-Arnold Networks (KANs) have recently emerged as a promising alternative to traditional neural architectures, yet their application to speech processing remains under explored. This work presents the first investigation of KANs for Spoken Language Understanding (SLU) tasks. We experiment with 2D-CNN models on two datasets, integrating KAN layers in five different configurations within the dense block. The best-performing setup, which places a KAN layer between two linear layers, is directly applied to transformer-based models and evaluated on five SLU datasets with increasing complexity. Our results show that KAN layers can effectively replace the linear layers, achieving comparable or superior performance in most cases. Finally, we provide insights into how KAN and linear layers on top of transformers differently attend to input regions of the raw waveforms.
• Abstract（参考訳）: Kolmogorov-Arnold Networks (KAN)は、最近、従来のニューラルアーキテクチャに代わる有望な選択肢として登場したが、音声処理への応用はまだ検討されていない。 本研究は,音声言語理解(SLU)タスクにおけるKansの最初の調査である。 我々は2つのデータセット上で2D-CNNモデルを実験し、密度ブロック内の5つの異なる構成にkan層を統合する。 2つの線形層の間にkan層を配置する最高のパフォーマンス設定は、トランスフォーマーベースのモデルに直接適用され、複雑さを増す5つのSLUデータセットで評価される。 以上の結果から,KAN層は線形層を効果的に置き換えることができ,ほとんどの場合において同等あるいは優れた性能を達成できることが示唆された。 最後に, 変圧器上のKAN層と線形層が, 原波形の入力領域にどのように対応しているかを考察する。

関連論文リスト

• Kolmogorov-Arnold Network for Remote Sensing Image Semantic Segmentation [8.891804836416275]
  本稿では,DeepKANSegという新しいセマンティックセグメンテーションネットワークを提案する。 まず,kanをベースとしたDeep機能改善モジュール,すなわちDeepKANを紹介する。 第2に、グローバルローカル複合デコーダにおける従来の多層パーセプトロン(MLP)層をKANベースの線形層、すなわちGLKANに置き換える。
  論文  参考訳（メタデータ） (2025-01-13T15:06:51Z)
• PRKAN: Parameter-Reduced Kolmogorov-Arnold Networks [47.947045173329315]
  Kolmogorov-Arnold Networks (KAN) は、ニューラルネットワークアーキテクチャの革新を象徴している。 Kansは、CNN、Recurrent Reduced Networks(RNN)、Transformerなどのモデルで、MLP(Multi-Layer Perceptrons)に代わる魅力的な代替手段を提供する。 本稿では,階層内のパラメータ数を削減するために複数の手法を用いたPRKANを導入し,ニューラルM層に匹敵する手法を提案する。
  論文  参考訳（メタデータ） (2025-01-13T03:07:39Z)
• KAN we improve on HEP classification tasks? Kolmogorov-Arnold Networks applied to an LHC physics example [0.08192907805418582]
  Kolmogorov-Arnold Networks (KAN) は多層パーセプトロンの代替として提案されている。 我々は高エネルギー物理学における典型的な二項イベント分類タスクについて検討し、カンの性能と解釈可能性についてコメントする。
  論文  参考訳（メタデータ） (2024-08-05T18:01:07Z)
• WLD-Reg: A Data-dependent Within-layer Diversity Regularizer [98.78384185493624]
  ニューラルネットワークは、勾配に基づく最適化と共同で訓練された階層構造に配置された複数の層で構成されている。 我々は、この従来の「中間層」フィードバックを補うために、同じ層内での活性化の多様性を促進するために、追加の「中間層」フィードバックを補うことを提案する。 本稿では,提案手法が複数のタスクにおける最先端ニューラルネットワークモデルの性能を向上させることを実証した広範な実証研究を提案する。
  論文  参考訳（メタデータ） (2023-01-03T20:57:22Z)
• Improved Convergence Guarantees for Shallow Neural Networks [91.3755431537592]
  勾配降下法により訓練された深度2ニューラルネットの収束度を世界最小とする。 我々のモデルには、二次損失関数による回帰、完全連結フィードフォワードアーキテクチャ、RelUアクティベーション、ガウスデータインスタンス、逆ラベルといった特徴がある。 彼らは、少なくとも我々のモデルでは、収束現象がNTK体制をはるかに超越していることを強く示唆している」。
  論文  参考訳（メタデータ） (2022-12-05T14:47:52Z)
• Spatial Dependency Networks: Neural Layers for Improved Generative Image Modeling [79.15521784128102]
  画像生成装置(デコーダ)を構築するための新しいニューラルネットワークを導入し、可変オートエンコーダ(VAE)に適用する。 空間依存ネットワーク(sdns)では、ディープニューラルネットの各レベルにおける特徴マップを空間的にコヒーレントな方法で計算する。 空間依存層による階層型vaeのデコーダの強化は密度推定を大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-03-16T07:01:08Z)
• Train your classifier first: Cascade Neural Networks Training from upper layers to lower layers [54.47911829539919]
  我々は,高品質な分類器を探索するアルゴリズムとして見ることのできる,新しいトップダウン学習手法を開発した。 本研究では,自動音声認識(ASR)タスクと言語モデリングタスクについて検討した。 提案手法は,Wall Street Journal 上でのリカレントニューラルネットワーク ASR モデル,Switchboard 上での自己注意型 ASR モデル,WikiText-2 上での AWD-LSTM 言語モデルなど,一貫して改善されている。
  論文  参考訳（メタデータ） (2021-02-09T08:19:49Z)
• Dual-constrained Deep Semi-Supervised Coupled Factorization Network with Enriched Prior [80.5637175255349]
  本稿では、DS2CF-Netと呼ばれる、拡張された事前制約付きDual-Constrained Deep Semi-Supervised Coupled Factorization Networkを提案する。 隠れた深い特徴を抽出するために、DS2CF-Netは、深い構造と幾何学的な構造に制約のあるニューラルネットワークとしてモデル化される。 我々のネットワークは、表現学習とクラスタリングのための最先端の性能を得ることができる。
  論文  参考訳（メタデータ） (2020-09-08T13:10:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。