Fugu-MT 論文翻訳(概要): Resonant Sparse Geometry Networks

論文の概要: Resonant Sparse Geometry Networks

arxiv url: http://arxiv.org/abs/2601.18064v1
Date: Mon, 26 Jan 2026 01:45:51 GMT
ステータス: 翻訳完了
システム内更新日: 2026-01-27 15:23:08.606547
Title: Resonant Sparse Geometry Networks
Title（参考訳）: 共鳴スパース幾何ネットワーク
Authors: Hasi Hays,
Abstract要約: 共振器スパース幾何ネットワーク(Resonant Sparse Geometry Networks, RSGN)は, 自己組織型スパーススパース入力依存接続を持つ脳にインスパイアされたアーキテクチャである。 RSGNは、接続強度が測地距離で減衰する学習された双曲空間に計算ノードを埋め込む。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We introduce Resonant Sparse Geometry Networks (RSGN), a brain-inspired architecture with self-organizing sparse hierarchical input-dependent connectivity. Unlike Transformer architectures that employ dense attention mechanisms with O(n^2) computational complexity, RSGN embeds computational nodes in learned hyperbolic space where connection strength decays with geodesic distance, achieving dynamic sparsity that adapts to each input. The architecture operates on two distinct timescales: fast differentiable activation propagation optimized through gradient descent, and slow Hebbian-inspired structural learning for connectivity adaptation through local correlation rules. We provide rigorous mathematical analysis demonstrating that RSGN achieves O(n*k) computational complexity, where k << n represents the average active neighborhood size. Experimental evaluation on hierarchical classification and long-range dependency tasks demonstrates that RSGN achieves 96.5% accuracy on long-range dependency tasks while using approximately 15x fewer parameters than standard Transformers. On challenging hierarchical classification with 20 classes, RSGN achieves 23.8% accuracy (compared to 5% random baseline) with only 41,672 parameters, nearly 10x fewer than the Transformer baselines which require 403,348 parameters to achieve 30.1% accuracy. Our ablation studies confirm the contribution of each architectural component, with Hebbian learning providing consistent improvements. These results suggest that brain-inspired principles of sparse, geometrically-organized computation offer a promising direction toward more efficient and biologically plausible neural architectures.
Abstract（参考訳）: 共振器スパース幾何ネットワーク(Resonant Sparse Geometry Networks, RSGN)は, 自己組織型スパーススパース入力依存接続を持つ脳にインスパイアされたアーキテクチャである。 O(n^2) 計算複雑性を伴う高密度アテンション機構を利用するトランスフォーマーアーキテクチャとは異なり、RSGN は、接続強度が測地線距離で減衰する学習された双曲空間に計算ノードを埋め込んで、各入力に適応する動的空間を実現する。このアーキテクチャは、勾配降下によって最適化された高速な微分可能活性化伝搬と、局所相関ルールによる接続適応のためのヘビアンに着想を得た構造学習の2つの異なる時間スケールで動作する。 RSGN が O(n*k) 計算複雑性を達成することを示す厳密な数学的解析を行う。階層的分類と長距離依存タスクに関する実験的評価は、RSGNが標準変換器の約15倍のパラメータを使用しながら、長距離依存タスクにおいて96.5%の精度を達成することを示した。 20クラスの挑戦的な階層分類において、RSGNは、わずか41,672のパラメータで23.8%の精度(5%のランダムベースライン)を達成し、30.1%の精度を達成するのに403,348のパラメータを必要とするトランスフォーマーベースラインよりも10倍少ない。私たちのアブレーション研究は、各アーキテクチャコンポーネントの貢献を確認し、Hebbianの学習は一貫した改善を提供します。これらの結果は、スパース、幾何学的に組織化された計算の脳にインスパイアされた原理が、より効率的で生物学的に妥当なニューラルアーキテクチャへの有望な方向性をもたらすことを示唆している。

関連論文リスト

EdgeLDR: Quaternion Low-Displacement Rank Neural Networks for Edge-Efficient Deep Learning [2.8496753993424817]
EdgeLDRは、四元数チャネルとブロック循環パラメータ構造を組み合わせた四元数ブロック循環型および畳み込み型層のためのフレームワークである。本稿では、EdgeLDR層の参照実装と、FFTに基づく計算と、四元系循環生成物の自然な空間領域実現の比較を行う。
論文参考訳（メタデータ） (2026-01-08T21:04:07Z)
Hierarchical Resolution Transformers: A Wavelet-Inspired Architecture for Multi-Scale Language Understanding [1.0518862318418605]
Hierarchical Resolution Transformer (HRT)は、複数の解像度で言語を同時に処理する、ウェーブレットにインスパイアされた新しいニューラルアーキテクチャである。スケールをまたいだ指数列の削減により、HRTはO(nlogn)複雑性を達成し、標準変圧器よりも大幅に効率が向上する。
論文参考訳（メタデータ） (2025-09-24T21:46:18Z)
Complexity-Aware Training of Deep Neural Networks for Optimal Structure Discovery [0.0]
本稿では、トレーニング中に、トレーニング済みのネットワークを適用せずに機能するディープニューラルネットワークのユニット・レイヤ・プルーニングとレイヤ・プルーニングを組み合わせた新しいアルゴリズムを提案する。本アルゴリズムは, 学習精度とプルーニングレベルを最適に交換し, ユニットプルーニングと計算量とパラメータ複雑性のバランスをとる。提案アルゴリズムは,ネットワークに対応する最適化問題の解に収束することを示す。
論文参考訳（メタデータ） (2024-11-14T02:00:22Z)
Hypercomplex neural network in time series forecasting of stock data [0.0]
入力層に畳み込み、長短期記憶(LSTM)、あるいは4次元代数の高複素層を含むように異なるアーキテクチャを評価した。 4つの関連する株式市場の時系列が入力データとして使われ、予測はそのうちの1つに焦点を当てている。
論文参考訳（メタデータ） (2024-01-09T15:59:43Z)
Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文参考訳（メタデータ） (2022-05-11T17:43:54Z)
Neural network relief: a pruning algorithm based on neural activity [47.57448823030151]
重要でない接続を非活性化する簡易な重要スコア計量を提案する。 MNIST上でのLeNetアーキテクチャの性能に匹敵する性能を実現する。このアルゴリズムは、現在のハードウェアとソフトウェアの実装を考えるとき、FLOPを最小化するように設計されていない。
論文参考訳（メタデータ） (2021-09-22T15:33:49Z)
GradInit: Learning to Initialize Neural Networks for Stable and Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文参考訳（メタデータ） (2021-02-16T11:45:35Z)
Neural Architecture Search For LF-MMI Trained Time Delay Neural Networks [61.76338096980383]
TDNN(State-of-the-the-art Factored Time delay Neural Network)の2種類のハイパーパラメータを自動的に学習するために、さまざまなニューラルネットワークサーチ(NAS)技術が使用されている。 DARTSメソッドはアーキテクチャ選択とLF-MMI(格子のないMMI)TDNNトレーニングを統合する。 300時間のSwitchboardコーパスで行われた実験では、自動構成システムはベースラインLF-MMI TDNNシステムより一貫して優れていることが示唆された。
論文参考訳（メタデータ） (2020-07-17T08:32:11Z)
DC-NAS: Divide-and-Conquer Neural Architecture Search [108.57785531758076]
本稿では,ディープ・ニューラル・アーキテクチャーを効果的かつ効率的に探索するためのディバイド・アンド・コンカ(DC)手法を提案する。 ImageNetデータセットで75.1%の精度を達成しており、これは同じ検索空間を使った最先端の手法よりも高い。
論文参考訳（メタデータ） (2020-05-29T09:02:16Z)
When Residual Learning Meets Dense Aggregation: Rethinking the Aggregation of Deep Neural Networks [57.0502745301132]
我々は,グローバルな残差学習と局所的なマイクロセンスアグリゲーションを備えた新しいアーキテクチャであるMicro-Dense Netsを提案する。我々のマイクロセンスブロックはニューラルアーキテクチャ検索に基づくモデルと統合して性能を向上させることができる。
論文参考訳（メタデータ） (2020-04-19T08:34:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。