Fugu-MT 論文翻訳(概要): Local Control Networks (LCNs): Optimizing Flexibility in Neural Network Data Pattern Capture

論文の概要: Local Control Networks (LCNs): Optimizing Flexibility in Neural Network Data Pattern Capture

arxiv url: http://arxiv.org/abs/2501.14000v2
Date: Fri, 25 Apr 2025 05:19:40 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-28 18:47:07.412832
Title: Local Control Networks (LCNs): Optimizing Flexibility in Neural Network Data Pattern Capture
Title（参考訳）: ローカル制御ネットワーク(LCN) - ニューラルネットワークデータパターンキャプチャにおけるフレキシビリティの最適化
Authors: Hy Nguyen, Duy Khoa Pham, Srikanth Thudumu, Hung Du, Rajesh Vasa, Kon Mouzakis,
Abstract要約: 各ノードで同じアクティベーション関数を利用するのは最適以下であり、各ノードで異なるアクティベーション関数を活用して柔軟性と適応性を向上させることを提案する。そこで我々は,各ノードのアクティベーション曲線を識別するために,B-スプライン関数を利用するローカル制御ネットワーク(LCN)を導入する。その結果,ノードレベルでの多様なアクティベーションにより,性能と効率が向上することが示唆された。
参考スコア（独自算出の注目度）: 0.922664966526494
License: http://creativecommons.org/licenses/by/4.0/
Abstract: The widespread use of Multi-layer perceptrons (MLPs) often relies on a fixed activation function (e.g., ReLU, Sigmoid, Tanh) for all nodes within the hidden layers. While effective in many scenarios, this uniformity may limit the networks ability to capture complex data patterns. We argue that employing the same activation function at every node is suboptimal and propose leveraging different activation functions at each node to increase flexibility and adaptability. To achieve this, we introduce Local Control Networks (LCNs), which leverage B-spline functions to enable distinct activation curves at each node. Our mathematical analysis demonstrates the properties and benefits of LCNs over conventional MLPs. In addition, we demonstrate that more complex architectures, such as Kolmogorov-Arnold Networks (KANs), are unnecessary in certain scenarios, and LCNs can be a more efficient alternative. Empirical experiments on various benchmarks and datasets validate our theoretical findings. In computer vision tasks, LCNs achieve marginal improvements over MLPs and outperform KANs by approximately 5\%, while also being more computationally efficient than KANs. In basic machine learning tasks, LCNs show a 1\% improvement over MLPs and a 0.6\% improvement over KANs. For symbolic formula representation tasks, LCNs perform on par with KANs, with both architectures outperforming MLPs. Our findings suggest that diverse activations at the node level can lead to improved performance and efficiency.
Abstract（参考訳）: MLP(Multi-layer perceptrons)の広範使用は、隠された層内の全てのノードに対して固定活性化関数(例えば、ReLU、Sigmoid、Tanh)に依存することが多い。多くのシナリオで有効であるが、この均一性は複雑なデータパターンをキャプチャするネットワーク能力を制限する可能性がある。各ノードで同じアクティベーション関数を利用するのは最適以下であり、各ノードで異なるアクティベーション関数を活用して柔軟性と適応性を向上させることを提案する。そこで我々は,各ノードのアクティベーション曲線を識別するために,B-スプライン関数を利用するローカル制御ネットワーク(LCN)を導入する。我々の数学的解析は,従来のMLPよりもLCNの特性と利点を実証するものである。さらに,KAN(Kolmogorov-Arnold Networks)のような複雑なアーキテクチャは,特定のシナリオでは不要であり,LCNはより効率的な代替手段であることを示す。様々なベンチマークとデータセットに関する実証実験により、我々の理論的な結果が検証された。コンピュータビジョンタスクでは、LCN は MLP と kan を約 5 % 向上させ、KAN よりも計算効率が良い。基本的な機械学習タスクでは、LCNはMLPよりも1\%改善し、kanより0.6\%改善している。記号式表現タスクでは、LCN は Kan と同等に動作し、両方のアーキテクチャは MLP より優れている。その結果,ノードレベルでの多様なアクティベーションにより,性能と効率が向上することが示唆された。

関連論文リスト

KAN or MLP? Point Cloud Shows the Way Forward [13.669234791655075]
我々は、クラウド分析タスクにKAN(Kolmogorov-Arnold Learning Networks)を適用したPointKANを提案する。我々は、ModelNet40、ScanNN、ShapeNetPartなどのベンチマークデータセットにおいて、PointKANがPointMLPより優れていることを示す。この研究は、3Dビジョンにおけるkansベースのアーキテクチャの可能性を強調し、ポイントクラウド理解における研究のための新たな道を開く。
論文参考訳（メタデータ） (2025-04-18T09:52:22Z)
AF-KAN: Activation Function-Based Kolmogorov-Arnold Networks for Efficient Representation Learning [4.843466576537832]
Kolmogorov-Arnold Networks (KANs) は、幅広い科学的問題にまたがって応用を探求する多くの研究にインスピレーションを与えている。本稿では,アクティベーション関数に基づくKolmogorov-Arnold Networks (AF-KAN)を導入し,様々なアクティベーションと機能の組み合わせでReLU-KANを拡張した。この斬新なkanは、主に注意機構やデータ正規化といったパラメータ削減手法を取り入れ、画像分類データセットの性能を向上させる。
論文参考訳（メタデータ） (2025-03-08T07:38:51Z)
Scalable spectral representations for multi-agent reinforcement learning in network MDPs [13.782868855372774]
マルチエージェント制御の一般的なモデルであるNetwork Markov Decision Processes (MDPs)は、効率的な学習に重大な課題をもたらす。まず、ネットワークMDPに対してスケーラブルなスペクトル局所表現を導出し、各エージェントの局所$Q$関数に対するネットワーク線形部分空間を誘導する。我々は,連続的な状態対応ネットワークMDPのためのスケーラブルなアルゴリズムフレームワークを設計し,アルゴリズムの収束をエンドツーエンドで保証する。
論文参考訳（メタデータ） (2024-10-22T17:45:45Z)
Activation Space Selectable Kolmogorov-Arnold Networks [29.450377034478933]
非線形加法接続に基づくKAN(Kolmogorov-Arnold Network)はセレクト法に匹敵する性能を発揮することが証明されている。このような可能性にもかかわらず、単一のアクティベーション関数空間を使用すると、kanの性能が低下し、関連するタスクが異なる。この研究は、新しいAIのデータ中心設計の理解に寄与し、kanベースのネットワークアーキテクチャにおけるイノベーションの基礎となる参照を提供する。
論文参考訳（メタデータ） (2024-08-15T11:34:05Z)
Fully Spiking Actor Network with Intra-layer Connections for Reinforcement Learning [51.386945803485084]
エージェントが制御する多次元決定論的ポリシーを学習する必要があるタスクに焦点をあてる。既存のスパイクベースのRL法は、SNNの出力として発火率を取り、完全に接続された層を通して連続的なアクション空間(つまり決定論的なポリシー)を表すように変換する。浮動小数点行列操作を伴わない完全にスパイクするアクターネットワークを開発するため,昆虫に見られる非スパイク介在ニューロンからインスピレーションを得た。
論文参考訳（メタデータ） (2024-01-09T07:31:34Z)
LinGCN: Structural Linearized Graph Convolutional Network for Homomorphically Encrypted Inference [19.5669231249754]
本稿では,乗算深度を低減し,HEに基づくGCN推論の性能を最適化するLinGCNを提案する。注目すべきは、LinGCNはCryptoGCNと比較して14.2倍のレイテンシ向上を実現し、推論精度は75%、乗算深度は顕著に減少することである。
論文参考訳（メタデータ） (2023-09-25T17:56:54Z)
Efficient Deep Spiking Multi-Layer Perceptrons with Multiplication-Free Inference [13.924924047051782]
スパイキングニューラルネットワーク(SNN)の深部畳み込みアーキテクチャは、画像分類性能を大幅に向上し、計算負荷を低減した。本研究は、MLP(Multi-Layer Perceptrons)の進歩からインスピレーションを得て、新しい経路を探求する。 MFIの互換性を維持するためにバッチ正規化を用いる革新的なスパイクアーキテクチャを提案する。我々は,グローバルな受容場と局所的な特徴抽出を効果的に組み合わせた,効率的なマルチステージスパイクネットワークを構築した。
論文参考訳（メタデータ） (2023-06-21T16:52:20Z)
Towards Energy-Efficient, Low-Latency and Accurate Spiking LSTMs [1.7969777786551424]
Spiking Neural Networks(SNN)は、複雑なタスクのための魅力的なテンポラルコンピューティングパラダイムビジョンとして登場した。そこで本研究では,新規な長期記憶ネットワーク(LSTM)の学習フレームワークを提案する。 rev-to-SNN変換フレームワーク、続いてSNNトレーニング。我々は、時間的M、Google Speech Commands(GSC)データセット、異なるLSTMアーキテクチャ上のUCIスマートフォンなど、逐次学習タスクに関するフレームワークを評価した。
論文参考訳（メタデータ） (2022-10-23T04:10:27Z)
Metric Residual Networks for Sample Efficient Goal-conditioned Reinforcement Learning [52.59242013527014]
ゴール条件強化学習(GCRL)は、現実世界の幅広い応用の可能性を秘めている。サンプル効率は、GCRLにとって最も重要であり、デフォルトでは、エージェントはその目標に達するとのみ報酬を受ける。 GCRLのための新しいニューラルアーキテクチャを導入し、一般的なモノリシックネットワークアーキテクチャよりもはるかに優れたサンプリング効率を実現する。
論文参考訳（メタデータ） (2022-08-17T08:04:41Z)
On Feature Learning in Neural Networks with Global Convergence Guarantees [49.870593940818715]
勾配流(GF)を用いた広帯域ニューラルネットワーク(NN)の最適化について検討する。入力次元がトレーニングセットのサイズ以下である場合、トレーニング損失はGFの下での線形速度で0に収束することを示す。また、ニューラル・タンジェント・カーネル(NTK)システムとは異なり、我々の多層モデルは特徴学習を示し、NTKモデルよりも優れた一般化性能が得られることを実証的に示す。
論文参考訳（メタデータ） (2022-04-22T15:56:43Z)
Edge Rewiring Goes Neural: Boosting Network Resilience via Policy Gradient [62.660451283548724]
ResiNetは、さまざまな災害や攻撃に対する回復力のあるネットワークトポロジを発見するための強化学習フレームワークである。 ResiNetは複数のグラフに対してほぼ最適のレジリエンス向上を実現し,ユーティリティのバランスを保ちながら,既存のアプローチに比べて大きなマージンを持つことを示す。
論文参考訳（メタデータ） (2021-10-18T06:14:28Z)
Towards Efficient Graph Convolutional Networks for Point Cloud Handling [181.59146413326056]
ポイントクラウド上で学習するためのグラフ畳み込みネットワーク(GCN)の計算効率の向上を目指します。一連の実験により、最適化されたネットワークは計算複雑性を減らし、メモリ消費を減らし、推論速度を加速した。
論文参考訳（メタデータ） (2021-04-12T17:59:16Z)
Convolutional Networks with Dense Connectivity [59.30634544498946]
Dense Convolutional Network (DenseNet)を導入し、フィードフォワード方式で各レイヤを他のすべてのレイヤに接続する。各レイヤについて、先行するすべてのレイヤのフィーチャーマップをインプットとして使用し、それ自身のフィーチャーマップをその後のすべてのレイヤへのインプットとして使用します。提案したアーキテクチャを、4つの高度に競争力のあるオブジェクト認識ベンチマークタスクで評価する。
論文参考訳（メタデータ） (2020-01-08T06:54:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。