論文の概要: Local Control Networks (LCNs): Optimizing Flexibility in Neural Network Data Pattern Capture

• arxiv url: http://arxiv.org/abs/2501.14000v1
• Date: Thu, 23 Jan 2025 11:34:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:57:58.594214
• Title: Local Control Networks (LCNs): Optimizing Flexibility in Neural Network Data Pattern Capture
• Title（参考訳）: ローカル制御ネットワーク(LCN) - ニューラルネットワークデータパターンキャプチャにおけるフレキシビリティの最適化
• Authors: Hy Nguyen, Duy Khoa Pham, Srikanth Thudumu, Hung Du, Rajesh Vasa, Kon Mouzakis,
• Abstract要約: 各ノードで同じアクティベーション関数を利用するのは最適以下であり、各ノードで異なるアクティベーション関数を活用して柔軟性と適応性を向上させることを提案する。 そこで我々は,各ノードのアクティベーション曲線を識別するために,B-スプライン関数を利用するローカル制御ネットワーク(LCN)を導入する。 その結果,ノードレベルでの多様なアクティベーションにより,性能と効率が向上することが示唆された。
• 参考スコア（独自算出の注目度）: 0.922664966526494
• License:
• Abstract: The widespread use of Multi-layer perceptrons (MLPs) often relies on a fixed activation function (e.g., ReLU, Sigmoid, Tanh) for all nodes within the hidden layers. While effective in many scenarios, this uniformity may limit the networks ability to capture complex data patterns. We argue that employing the same activation function at every node is suboptimal and propose leveraging different activation functions at each node to increase flexibility and adaptability. To achieve this, we introduce Local Control Networks (LCNs), which leverage B-spline functions to enable distinct activation curves at each node. Our mathematical analysis demonstrates the properties and benefits of LCNs over conventional MLPs. In addition, we demonstrate that more complex architectures, such as Kolmogorov-Arnold Networks (KANs), are unnecessary in certain scenarios, and LCNs can be a more efficient alternative. Empirical experiments on various benchmarks and datasets validate our theoretical findings. In computer vision tasks, LCNs achieve marginal improvements over MLPs and outperform KANs by approximately 5\%, while also being more computationally efficient than KANs. In basic machine learning tasks, LCNs show a 1\% improvement over MLPs and a 0.6\% improvement over KANs. For symbolic formula representation tasks, LCNs perform on par with KANs, with both architectures outperforming MLPs. Our findings suggest that diverse activations at the node level can lead to improved performance and efficiency.
• Abstract（参考訳）: MLP(Multi-layer perceptrons)の広範使用は、隠された層内の全てのノードに対して固定活性化関数(例えば、ReLU、Sigmoid、Tanh)に依存することが多い。 多くのシナリオで有効であるが、この均一性は複雑なデータパターンをキャプチャするネットワーク能力を制限する可能性がある。 各ノードで同じアクティベーション関数を利用するのは最適以下であり、各ノードで異なるアクティベーション関数を活用して柔軟性と適応性を向上させることを提案する。 そこで我々は,各ノードのアクティベーション曲線を識別するために,B-スプライン関数を利用するローカル制御ネットワーク(LCN)を導入する。 我々の数学的解析は,従来のMLPよりもLCNの特性と利点を実証するものである。 さらに,KAN(Kolmogorov-Arnold Networks)のような複雑なアーキテクチャは,特定のシナリオでは不要であり,LCNはより効率的な代替手段であることを示す。 様々なベンチマークとデータセットに関する実証実験により、我々の理論的な結果が検証された。 コンピュータビジョンタスクでは、LCN は MLP と kan を約 5 % 向上させ、KAN よりも計算効率が良い。 基本的な機械学習タスクでは、LCNはMLPよりも1\%改善し、kanより0.6\%改善している。 記号式表現タスクでは、LCN は Kan と同等に動作し、両方のアーキテクチャは MLP より優れている。 その結果,ノードレベルでの多様なアクティベーションにより,性能と効率が向上することが示唆された。

関連論文リスト

• Activation Space Selectable Kolmogorov-Arnold Networks [29.450377034478933]
  非線形加法接続に基づくKAN(Kolmogorov-Arnold Network)はセレクト法に匹敵する性能を発揮することが証明されている。 このような可能性にもかかわらず、単一のアクティベーション関数空間を使用すると、kanの性能が低下し、関連するタスクが異なる。 この研究は、新しいAIのデータ中心設計の理解に寄与し、kanベースのネットワークアーキテクチャにおけるイノベーションの基礎となる参照を提供する。
  論文  参考訳（メタデータ） (2024-08-15T11:34:05Z)
• Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
  エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。 既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。 浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
  論文  参考訳（メタデータ） (2024-01-09T07:31:34Z)
• LinGCN: Structural Linearized Graph Convolutional Network for Homomorphically Encrypted Inference [19.5669231249754]
  本稿では,乗算深度を低減し,HEに基づくGCN推論の性能を最適化するLinGCNを提案する。 注目すべきは、LinGCNはCryptoGCNと比較して14.2倍のレイテンシ向上を実現し、推論精度は75%、乗算深度は顕著に減少することである。
  論文  参考訳（メタデータ） (2023-09-25T17:56:54Z)
• Efficient Deep Spiking Multi-Layer Perceptrons with Multiplication-Free Inference [13.924924047051782]
  スパイキングニューラルネットワーク(SNN)の深部畳み込みアーキテクチャは、画像分類性能を大幅に向上し、計算負荷を低減した。 本研究は、MLP(Multi-Layer Perceptrons)の進歩からインスピレーションを得て、新しい経路を探求する。 MFIの互換性を維持するためにバッチ正規化を用いる革新的なスパイクアーキテクチャを提案する。 我々は,グローバルな受容場と局所的な特徴抽出を効果的に組み合わせた,効率的なマルチステージスパイクネットワークを構築した。
  論文  参考訳（メタデータ） (2023-06-21T16:52:20Z)
• Towards Energy-Efficient, Low-Latency and Accurate Spiking LSTMs [1.7969777786551424]
  Spiking Neural Networks(SNN)は、複雑なタスクのための魅力的なテンポラルコンピューティングパラダイムビジョンとして登場した。 そこで本研究では,新規な長期記憶ネットワーク(LSTM)の学習フレームワークを提案する。 rev-to-SNN変換フレームワーク、続いてSNNトレーニング。 我々は、時間的M、Google Speech Commands(GSC)データセット、異なるLSTMアーキテクチャ上のUCIスマートフォンなど、逐次学習タスクに関するフレームワークを評価した。
  論文  参考訳（メタデータ） (2022-10-23T04:10:27Z)
• Metric Residual Networks for Sample Efficient Goal-conditioned Reinforcement Learning [52.59242013527014]
  ゴール条件強化学習(GCRL)は、現実世界の幅広い応用の可能性を秘めている。 サンプル効率は、GCRLにとって最も重要であり、デフォルトでは、エージェントはその目標に達するとのみ報酬を受ける。 GCRLのための新しいニューラルアーキテクチャを導入し、一般的なモノリシックネットワークアーキテクチャよりもはるかに優れたサンプリング効率を実現する。
  論文  参考訳（メタデータ） (2022-08-17T08:04:41Z)
• On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
  勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。 入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。 また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
  論文  参考訳（メタデータ） (2022-04-22T15:56:43Z)
• Sparse Super-Regular Networks [0.44689528869908496]
  疎結合ニューラルネットワーク(SCN)は、完全接続ネットワーク(FCN)よりも性能が向上している、と論じられている。 スーパーレギュラーネットワーク(Super-Regular Network、SRN)は、(エプシロン、デルタ)-スーパーレギュラーペアの積み重ねられたスパース層とランダムに置換されたノードオーダーからなるニューラルネットワークである。 我々は、SRNが容易に再現可能な実験により、X-Netと同じような性能を示し、ネットワーク構造に対するはるかに大きな保証と制御を提供する。
  論文  参考訳（メタデータ） (2022-01-04T22:07:55Z)
• Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
  ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
  論文  参考訳（メタデータ） (2021-10-18T06:14:28Z)
• Towards Efficient Graph Convolutional Networks for Point Cloud Handling [181.59146413326056]
  ポイントクラウド上で学習するためのグラフ畳み込みネットワーク(GCN)の計算効率の向上を目指します。 一連の実験により、最適化されたネットワークは計算複雑性を減らし、メモリ消費を減らし、推論速度を加速した。
  論文  参考訳（メタデータ） (2021-04-12T17:59:16Z)
• Convolutional Networks with Dense Connectivity [59.30634544498946]
  Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。 各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。 提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
  論文  参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。