論文の概要: Optimizing Connectivity through Network Gradients for Restricted Boltzmann Machines
- arxiv url: http://arxiv.org/abs/2209.06932v4
- Date: Fri, 30 May 2025 00:41:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-06-02 19:47:52.33275
- Title: Optimizing Connectivity through Network Gradients for Restricted Boltzmann Machines
- Title（参考訳）: 制限ボルツマンマシンのネットワーク勾配による接続性最適化
- Authors: A. C. N. de Oliveira, D. R. Figueiredo,
- Abstract要約: ネットワーク接続は、浅いネットワークの学習性能において重要な役割を果たす。
本研究では, RBMの最適接続パターンを求める最適化手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Leveraging sparse networks to connect successive layers in deep neural networks has recently been shown to provide benefits to large-scale state-of-the-art models. However, network connectivity also plays a significant role in the learning performance of shallow networks, such as the classic Restricted Boltzmann Machine (RBM). Efficiently finding sparse connectivity patterns that improve the learning performance of shallow networks is a fundamental problem. While recent principled approaches explicitly include network connections as model parameters that must be optimized, they often rely on explicit penalization or network sparsity as a hyperparameter. This work presents the Network Connectivity Gradients (NCG), an optimization method to find optimal connectivity patterns for RBMs. NCG leverages the idea of network gradients: given a specific connection pattern, it determines the gradient of every possible connection and uses the gradient to drive a continuous connection strength parameter that in turn is used to determine the connection pattern. Thus, learning RBM parameters and learning network connections is truly jointly performed, albeit with different learning rates, and without changes to the model's classic energy-based objective function. The proposed method is applied to the MNIST and other data sets showing that better RBM models are found for the benchmark tasks of sample generation and classification. Results also show that NCG is robust to network initialization and is capable of both adding and removing network connections while learning.
- Abstract（参考訳）: ディープニューラルネットワークで連続するレイヤを接続するスパースネットワークを活用することで、大規模な最先端モデルにメリットが提供されることが最近示されている。
しかし、ネットワーク接続は、古典的制限ボルツマンマシン(RBM)のような浅いネットワークの学習性能にも重要な役割を果たす。
浅層ネットワークの学習性能を向上させるための疎結合パターンを効果的に見つけることが根本的な問題である。
最近の原則では、最適化が必要なモデルパラメータとしてネットワーク接続を明示的に含んでいるが、過度パラメータとして明示的なペナル化やネットワークの疎結合に依存していることが多い。
本研究では,RCMの最適接続パターンを見つける最適化手法であるネットワーク接続性勾配(NCG)を提案する。
NCGは、特定の接続パターンが与えられたとき、すべての接続の勾配を決定し、その勾配を使って接続パターンを決定する連続接続強度パラメータを駆動する。
したがって、RBMパラメータの学習とネットワーク接続の学習は、学習率が異なるだけでなく、古典的なエネルギーベースの目的関数を変更することなく、真に共同で行われる。
提案手法は,サンプル生成および分類のベンチマークタスクにおいて,より優れたRBMモデルが見つかることを示すMNISTや他のデータセットに適用された。
また、NCGはネットワーク初期化に頑健であり、学習中にネットワーク接続を追加・削除できることを示す。
関連論文リスト
- Lattice-Based Pruning in Recurrent Neural Networks via Poset Modeling [0.0]
リカレントニューラルネットワーク(RNN)はシーケンスモデリングタスクの中心であるが、その高い計算複雑性はスケーラビリティとリアルタイムデプロイメントの課題を引き起こす。
本稿では,RNNを部分的に順序付けられた集合(命題)としてモデル化し,対応する依存格子を構成する新しいフレームワークを提案する。
既約ニューロンを同定することにより、格子ベースのプルーニングアルゴリズムは、冗長なニューロンを除去しながら、重要な接続を選択的に保持する。
論文 参考訳（メタデータ） (2025-02-23T10:11:38Z) - Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust
Closed-Loop Control [63.310780486820796]
繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。
パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
論文 参考訳（メタデータ） (2023-10-05T21:44:18Z) - Deep Architecture Connectivity Matters for Its Convergence: A
Fine-Grained Analysis [94.64007376939735]
我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。
接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
論文 参考訳（メタデータ） (2022-05-11T17:43:54Z) - Packet Routing with Graph Attention Multi-agent Reinforcement Learning [4.78921052969006]
我々は強化学習(RL)を利用したモデルフリーでデータ駆動型ルーティング戦略を開発する。
ネットワークトポロジのグラフ特性を考慮すると、グラフニューラルネットワーク(GNN)と組み合わせたマルチエージェントRLフレームワークを設計する。
論文 参考訳（メタデータ） (2021-07-28T06:20:34Z) - Mutually exciting point process graphs for modelling dynamic networks [0.0]
相互励起点過程グラフ(MEG)と呼ばれる動的ネットワークのための新しいモデルのクラスが提案される。
MEGは、Dyadicマーク付きポイントプロセスのためのスケーラブルなネットワークワイド統計モデルであり、異常検出に使用できる。
このモデルはシミュレーショングラフと実世界のコンピュータネットワークデータセット上でテストされ、優れた性能を示す。
論文 参考訳（メタデータ） (2021-02-11T10:14:55Z) - Attentional Local Contrast Networks for Infrared Small Target Detection [15.882749652217653]
赤外線小目標検出のための新しいモデル駆動深層ネットワークを提案する。
従来の局所コントラスト測定法を、エンドツーエンドネットワークにおける深さ自在なパラメータレス非線形特徴精製層としてモジュール化します。
ネットワークアーキテクチャの各コンポーネントの有効性と効率を実証的に検証するために,ネットワーク奥行きの異なる詳細なアブレーション研究を行う。
論文 参考訳（メタデータ） (2020-12-15T19:33:09Z) - DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator
Search [55.164053971213576]
畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。
構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。
既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
論文 参考訳（メタデータ） (2020-11-04T07:43:01Z) - Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。
接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。
この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
論文 参考訳（メタデータ） (2020-08-19T04:53:31Z) - From Boltzmann Machines to Neural Networks and Back Again [31.613544605376624]
制限ボルツマンマシン(Restricted Boltzmann Machines)は、おそらく最もよく研究されている潜在変数モデルのクラスである。
我々の結果は、$ell_infty$bounded inputの下で二層ニューラルネットワークを学習するための新しい接続に基づいている。
次に,分散仮定を使わずに,関連するネットワークのクラスに対して可能なものよりも,より優れたランタイムで教師付きRAMの自然なクラスを学習するアルゴリズムを提案する。
論文 参考訳（メタデータ） (2020-07-25T00:42:50Z) - Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。
標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
論文 参考訳（メタデータ） (2020-04-06T15:51:00Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳（メタデータ） (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。