Fugu-MT 論文翻訳(概要): Ray-Tracing for Conditionally Activated Neural Networks

論文の概要: Ray-Tracing for Conditionally Activated Neural Networks

arxiv url: http://arxiv.org/abs/2502.14788v1
Date: Thu, 20 Feb 2025 18:09:03 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-21 14:28:59.374435
Title: Ray-Tracing for Conditionally Activated Neural Networks
Title（参考訳）: 条件付き活性化ニューラルネットワークのためのレイトレーシング
Authors: Claudio Gallicchio, Giuseppe Nuti,
Abstract要約: 本稿では,エキスパートアクティベーションの最適化構成に収束するサンプリング機構を備えた,条件付き活性化ニューラルネットワークのための新しいアーキテクチャを提案する。実験により,本手法は従来のベースラインに比べて競争精度が高いことが示された。
参考スコア（独自算出の注目度）: 4.9844734080376725
License:
Abstract: In this paper, we introduce a novel architecture for conditionally activated neural networks combining a hierarchical construction of multiple Mixture of Experts (MoEs) layers with a sampling mechanism that progressively converges to an optimized configuration of expert activation. This methodology enables the dynamic unfolding of the network's architecture, facilitating efficient path-specific training. Experimental results demonstrate that this approach achieves competitive accuracy compared to conventional baselines while significantly reducing the parameter count required for inference. Notably, this parameter reduction correlates with the complexity of the input patterns, a property naturally emerging from the network's operational dynamics without necessitating explicit auxiliary penalty functions.
Abstract（参考訳）: 本稿では,複数のMixture of Experts(MoEs)レイヤの階層構造と,専門家アクティベーションの最適化構成に段階的に収束するサンプリング機構を組み合わせた,条件付きアクティベートニューラルネットワークのための新しいアーキテクチャを提案する。この手法は、ネットワークアーキテクチャの動的展開を可能にし、効率的なパス固有のトレーニングを容易にする。実験結果から,本手法は従来のベースラインに比べて精度が向上し,推論に必要なパラメータ数を大幅に削減できることが示された。特に、このパラメータの削減は入力パターンの複雑さと相関する。これはネットワークの動作力学から自然に現れる特性であり、明示的な付加的なペナルティ関数は不要である。

関連論文リスト

Generalized Factor Neural Network Model for High-dimensional Regression [50.554377879576066]
複素・非線形・雑音に隠れた潜在低次元構造を持つ高次元データセットをモデル化する課題に取り組む。我々のアプローチは、非パラメトリック回帰、因子モデル、高次元回帰のためのニューラルネットワークの概念のシームレスな統合を可能にする。
論文参考訳（メタデータ） (2025-02-16T23:13:55Z)
Quantifying Emergence in Neural Networks: Insights from Pruning and Training Dynamics [0.0]
ネットワーク内の単純なコンポーネントの相互作用から複雑な振る舞いが発達する創発性は、機能強化において重要な役割を担います。本稿では,トレーニングプロセス中の出現を計測し,ネットワーク性能に与える影響を定量的に検討する枠組みを提案する。我々の仮説は、アクティブノードと非アクティブノードの接続によって定義される出現度が、ネットワークにおける創発的行動の発生を予測することができることを示唆している。
論文参考訳（メタデータ） (2024-09-03T03:03:35Z)
Towards Efficient Deep Spiking Neural Networks Construction with Spiking Activity based Pruning [17.454100169491497]
本稿では,Spking Channel Activity-based (SCA) network pruning frameworkという,畳み込みカーネルの動作レベルに基づく構造化プルーニング手法を提案する。本手法は, 学習中の畳み込みカーネルの切断・再生によりネットワーク構造を動的に調整し, 現在の目標タスクへの適応性を高める。
論文参考訳（メタデータ） (2024-06-03T07:44:37Z)
Hallmarks of Optimization Trajectories in Neural Networks: Directional Exploration and Redundancy [75.15685966213832]
最適化トラジェクトリのリッチな方向構造をポイントワイズパラメータで解析する。トレーニング中のスカラーバッチノルムパラメータは,ネットワーク全体のトレーニング性能と一致していることを示す。
論文参考訳（メタデータ） (2024-03-12T07:32:47Z)
ASR: Attention-alike Structural Re-parameterization [53.019657810468026]
本稿では,アテンション機構の有効性を享受しながら,与えられたネットワークに対してSRPを実現するための,シンプルなアテンション型構造的再パラメータ化(ASR)を提案する。本稿では,統計的観点から広範囲にわたる実験を行い,Stripe Observationという興味深い現象を発見し,チャネル注意値が訓練中に一定のベクトルに素早く接近することを明らかにする。
論文参考訳（メタデータ） (2023-04-13T08:52:34Z)
Reparameterization through Spatial Gradient Scaling [69.27487006953852]
リパラメータ化は、学習中に畳み込み層を等価なマルチブランチ構造に変換することによって、ディープニューラルネットワークの一般化を改善することを目的としている。本稿では,畳み込みネットワークにおける重み間の学習焦点を再分配する空間勾配スケーリング手法を提案する。
論文参考訳（メタデータ） (2023-03-05T17:57:33Z)
PHN: Parallel heterogeneous network with soft gating for CTR prediction [2.9722444664527243]
本稿では並列構造を持つネットワークを構成する並列不均一ネットワーク(PHN)モデルを提案する。トレーニング可能なパラメータとの残留リンクは、弱い勾配現象の影響を軽減するためにネットワークで使用される。
論文参考訳（メタデータ） (2022-06-18T11:37:53Z)
Reframing Neural Networks: Deep Structure in Overcomplete Representations [41.84502123663809]
本稿では,構造化過剰フレームを用いた表現学習のための統一フレームワークであるdeep frame approximationを提案する。表現一意性と安定性に関連付けられたデータ非依存的なコヒーレンス尺度であるdeep frame potentialとの構造的差異を定量化する。この超完全表現の確立された理論への接続は、原理化されたディープネットワークアーキテクチャ設計の新たな方向性を示唆している。
論文参考訳（メタデータ） (2021-03-10T01:15:14Z)
An Ode to an ODE [78.97367880223254]
我々は、O(d) 群上の行列フローに応じて主フローの時間依存パラメータが進化する ODEtoODE と呼ばれるニューラルODE アルゴリズムの新しいパラダイムを提案する。この2つの流れのネストされたシステムは、訓練の安定性と有効性を提供し、勾配の消滅・爆発問題を確実に解決する。
論文参考訳（メタデータ） (2020-06-19T22:05:19Z)
Input-to-State Representation in linear reservoirs dynamics [15.491286626948881]
貯留層コンピューティングは、リカレントニューラルネットワークを設計するための一般的なアプローチである。これらのネットワークの動作原理は、完全には理解されていない。このようなネットワークの力学の新たな解析法を提案する。
論文参考訳（メタデータ） (2020-03-24T00:14:25Z)
Local Propagation in Constraint-based Neural Network [77.37829055999238]
ニューラルネットワークアーキテクチャの制約に基づく表現について検討する。本稿では,いわゆるアーキテクチャ制約を満たすのに適した簡単な最適化手法について検討する。
論文参考訳（メタデータ） (2020-02-18T16:47:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。