論文の概要: Sparse In-Network Learning via Shortest-Path Backpropagation and Finite-Rate Gating

• arxiv url: http://arxiv.org/abs/2605.23424v1
• Date: Fri, 22 May 2026 09:35:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-25 17:29:20.291007
• Title: Sparse In-Network Learning via Shortest-Path Backpropagation and Finite-Rate Gating
• Title（参考訳）: 最短パスバックプロパゲーションと有限レートゲーティングによるスパースインネットワーク学習
• Authors: Mohammad Reza Deylam Salehi,
• Abstract要約: In-network Learning (INL)は、遅延アクティベーションとバックプロパゲーションエラーを通信グラフ上で交換することで、ニューラルネットワークモジュールの分散を訓練する。 このレターはDijkstra-pruned INLを提案し、これは融合ノードに根付いたキャパシティ対応のショートパスツリーを保持することで、ツリーリンクを除去する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In-network learning (INL) trains distributed neural modules by exchanging latent activations and backpropagated errors over a communication graph. This letter proposes Dijkstra-pruned INL (D-INL), which removes non-tree links by retaining a capacity-aware shortest-path tree rooted at the fusion node. To balance sparsity and predictive information, local routing (or aggregation) is modeled as a finite-rate stochastic gate with rate $R_g=I(Z; T)$. We derive a rate-distortion-generalization bound and validate the method on a reproducible distributed-classification experiment, where D-INL reduces training exchange by $70.4\%$ while preserving accuracy within the standard deviation of dense INL. Adding finite-rate regularization further reduces the estimated latent rate by $45.7\%$ relative to unregularized Dijkstra INL.
• Abstract（参考訳）: In-network Learning (INL)は、遅延アクティベーションとバックプロパゲーションエラーを通信グラフ上で交換することで、ニューラルネットワークモジュールの分散を訓練する。 このレターでは、Dijkstra-pruned INL (D-INL) を提案する。 間隔と予測情報のバランスをとるために、局所ルーティング(または集約)はR_g=I(Z; T)$の有限レート確率ゲートとしてモデル化される。 そこでD-INLは、高密度INLの標準偏差の精度を維持しながら、トレーニング交換を70.4 %$に削減する。 有限レート正則化を加えることで、非正則化Dijkstra INLに対して推定潜伏率を45.7 %$に下げる。

関連論文リスト

• Hybrid Iterative Neural Low-Regularity Integrator for Nonlinear Dispersive Equations [0.0]
  HIN-LRIは、古典的な数値解法をニューラルネットワークで拡張し、解法の構造化トランケーション誤差を補正するハイブリッドフレームワークである。 低次元の潜在多様体上で動作する軽量ニューラルネットワークは、分析手法が閉じられない残留欠陥を学習する。 実験により、HIN-LRIは解析的、分割的手法、神経的PDEサロゲートよりも精度を向上し、安定した空間的精細化、効果的なアウト・オブ・ディストリビューション転送、オンラインオーバーヘッドを緩和することが示された。
  論文  参考訳（メタデータ） (2026-05-06T12:50:36Z)
• Test time training enhances in-context learning of nonlinear functions [51.56484100374058]
  テストタイムトレーニング(TTT)は、各予測に先立って指定されたパラメータを明示的に更新することで、モデル性能を向上させる。 本研究では,TTTとテキスト内学習(ICL)の組み合わせについて検討する。
  論文  参考訳（メタデータ） (2025-09-30T03:56:44Z)
• R-Stitch: Dynamic Trajectory Stitching for Efficient Reasoning [80.104336426172]
  CoT(Chain-of- Thought)は、大規模言語モデルの問題解決能力を高める。 CoTは長い自己回帰軌道のためにかなりの推論コストを発生させる。 トレーニング不要なハイブリッドデコーディングフレームワークであるR-Stitchを紹介する。
  論文  参考訳（メタデータ） (2025-07-23T08:14:36Z)
• Decentralized Nonconvex Composite Federated Learning with Gradient Tracking and Momentum [78.27945336558987]
  分散サーバ(DFL)はクライアント・クライアント・アーキテクチャへの依存をなくす。 非滑らかな正規化はしばしば機械学習タスクに組み込まれる。 本稿では,これらの問題を解決する新しいDNCFLアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-17T08:32:25Z)
• Symmetric Q-learning: Reducing Skewness of Bellman Error in Online Reinforcement Learning [55.75959755058356]
  深層強化学習では、状態や行動の質を評価するために、価値関数を推定することが不可欠である。 最近の研究では、値関数を訓練する際の誤差分布はベルマン作用素の特性のためにしばしば歪むことが示唆されている。 そこで我々は,ゼロ平均分布から発生する合成ノイズを目標値に加え,ガウス誤差分布を生成するSymmetric Q-learning法を提案する。
  論文  参考訳（メタデータ） (2024-03-12T14:49:19Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Decentralized Stochastic Proximal Gradient Descent with Variance Reduction over Time-varying Networks [30.231314171218994]
  分散学習において、ノードのネットワークは、通常、その局所的な目的の有限サムである全体的な目的関数を最小化するために協力する。 そこで本研究では,分散縮小手法を利用して分散学習を高速化する新しいアルゴリズムDPSVRGを提案する。
  論文  参考訳（メタデータ） (2021-12-20T08:23:36Z)
• RNN Training along Locally Optimal Trajectories via Frank-Wolfe Algorithm [50.76576946099215]
  小領域の損失面に局所的なミニマを反復的に求めることにより,RNNの新規かつ効率的なトレーニング手法を提案する。 新たなRNNトレーニング手法を開発し,追加コストを伴っても,全体のトレーニングコストがバックプロパゲーションよりも低いことを実証的に観察した。
  論文  参考訳（メタデータ） (2020-10-12T01:59:18Z)
• A Revision of Neural Tangent Kernel-based Approaches for Neural Networks [34.75076385561115]
  ニューラルネットワークカーネルを使用して、ネットワークが任意の有限トレーニングサンプルに完全に適合できることを示す。 単純で解析的なカーネル関数は、完全に訓練されたネットワークと同等のものとして導出された。 より厳密な分析により,スケーリングの問題が解決され,元のNTKに基づく結果の検証が可能となった。
  論文  参考訳（メタデータ） (2020-07-02T05:07:55Z)
• Sparse Randomized Shortest Paths Routing with Tsallis Divergence Regularization [0.0]
  本研究は、重み付き有向グラフG上のソースノートsからターゲットノードtに到達するための最適ルーティングポリシーを設計する問題について詳述する。 ノードクラスタリングと半教師付き分類タスクの実験的比較により,予測されるルーティングコストに基づく導出相似度測定が最先端の結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-07-01T12:22:26Z)
• Regularizing activations in neural networks via distribution matching with the Wasserstein metric [9.442063850095808]
  本稿では,標準正規分布に従う活性化を促す予測誤差関数正規化損失(PER)を提案する。 ランダムに1次元空間に活性化を投影し、投影された空間の正規化損失を計算する。 画像分類タスクと単語レベルの言語モデリングタスクについて,提案手法の評価を行った。
  論文  参考訳（メタデータ） (2020-02-13T06:42:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。