論文の概要: Optimal Connectivity through Network Gradients for the Restricted Boltzmann Machine

• arxiv url: http://arxiv.org/abs/2209.06932v1
• Date: Wed, 14 Sep 2022 21:09:58 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-16 13:02:58.567377
• Title: Optimal Connectivity through Network Gradients for the Restricted Boltzmann Machine
• Title（参考訳）: 制限ボルツマンマシンのネットワーク勾配による最適接続性
• Authors: A. C. N. de Oliveira and D. R. Figueiredo
• Abstract要約: 基本的な問題は、学習曲線を改善するための接続パターンを効率的に見つけることである。 最近のアプローチでは、モデルで最適化する必要があるパラメータとして、ネットワーク接続を明示的に含んでいます。 本研究は,ネットワーク勾配の考え方に基づいて,RBMの最適接続パターンを求める手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Leveraging sparse networks to connect successive layers in deep neural networks has recently been shown to provide benefits to large scale state-of-the-art models. However, network connectivity also plays a significant role on the learning curves of shallow networks, such as the classic Restricted Boltzmann Machines (RBM). A fundamental problem is efficiently finding connectivity patterns that improve the learning curve. Recent principled approaches explicitly include network connections as parameters that must be optimized in the model, but often rely on continuous functions to represent connections and on explicit penalization. This work presents a method to find optimal connectivity patterns for RBMs based on the idea of network gradients: computing the gradient of every possible connection, given a specific connection pattern, and using the gradient to drive a continuous connection strength parameter that in turn is used to determine the connection pattern. Thus, learning RBM parameters and learning network connections is truly jointly performed, albeit with different learning rates, and without changes to the objective function. The method is applied to the MNIST data set showing that better RBM models are found for the benchmark tasks of sample generation and input classification.
• Abstract（参考訳）: ディープニューラルネットワークで連続するレイヤを接続するスパースネットワークを活用することで、大規模な最先端モデルにメリットが提供されることが最近示されている。 しかし、ネットワーク接続性は、古典的な制限ボルツマン機械(rbm)のような浅いネットワークの学習曲線において重要な役割を果たす。 基本的な問題は、学習曲線を改善する接続パターンを効率的に見つけることである。 最近の原則的なアプローチでは、モデルで最適化されなければならないパラメータとしてネットワーク接続を明示的に含むが、接続を表すための連続関数や明示的なペナリゼーションに依存することが多い。 本研究は, ネットワーク勾配の考え方に基づいて, RBMの最適接続パターンを求める方法である: 特定の接続パターンを与えられたすべての接続の勾配を計算し, 接続パターンを決定するために連続接続強度パラメータを駆動する。 したがって、RBMパラメータの学習とネットワーク接続の学習は、学習速度が異なり、目的関数を変更することなく、本当に共同で行われる。 本手法をMNISTデータセットに適用することにより,サンプル生成および入力分類のベンチマークタスクにおいて,より優れたRBMモデルが見つかることを示す。

関連論文リスト

• Leveraging Low-Rank and Sparse Recurrent Connectivity for Robust Closed-Loop Control [63.310780486820796]
  繰り返し接続のパラメータ化が閉ループ設定のロバスト性にどのように影響するかを示す。 パラメータが少ないクローズドフォーム連続時間ニューラルネットワーク(CfCs)は、フルランクで完全に接続されたニューラルネットワークよりも優れています。
  論文  参考訳（メタデータ） (2023-10-05T21:44:18Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Packet Routing with Graph Attention Multi-agent Reinforcement Learning [4.78921052969006]
  我々は強化学習(RL)を利用したモデルフリーでデータ駆動型ルーティング戦略を開発する。 ネットワークトポロジのグラフ特性を考慮すると、グラフニューラルネットワーク(GNN)と組み合わせたマルチエージェントRLフレームワークを設計する。
  論文  参考訳（メタデータ） (2021-07-28T06:20:34Z)
• Mutually exciting point process graphs for modelling dynamic networks [0.0]
  相互励起点過程グラフ(MEG)と呼ばれる動的ネットワークのための新しいモデルのクラスが提案される。 MEGは、Dyadicマーク付きポイントプロセスのためのスケーラブルなネットワークワイド統計モデルであり、異常検出に使用できる。 このモデルはシミュレーショングラフと実世界のコンピュータネットワークデータセット上でテストされ、優れた性能を示す。
  論文  参考訳（メタデータ） (2021-02-11T10:14:55Z)
• Attentional Local Contrast Networks for Infrared Small Target Detection [15.882749652217653]
  赤外線小目標検出のための新しいモデル駆動深層ネットワークを提案する。 従来の局所コントラスト測定法を、エンドツーエンドネットワークにおける深さ自在なパラメータレス非線形特徴精製層としてモジュール化します。 ネットワークアーキテクチャの各コンポーネントの有効性と効率を実証的に検証するために,ネットワーク奥行きの異なる詳細なアブレーション研究を行う。
  論文  参考訳（メタデータ） (2020-12-15T19:33:09Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• Learning Connectivity of Neural Networks from a Topological Perspective [80.35103711638548]
  本稿では,ネットワークを解析のための完全なグラフに表現するためのトポロジ的視点を提案する。 接続の規模を反映したエッジに学習可能なパラメータを割り当てることにより、学習プロセスを異なる方法で行うことができる。 この学習プロセスは既存のネットワークと互換性があり、より大きな検索空間と異なるタスクへの適応性を持っている。
  論文  参考訳（メタデータ） (2020-08-19T04:53:31Z)
• From Boltzmann Machines to Neural Networks and Back Again [31.613544605376624]
  制限ボルツマンマシン(Restricted Boltzmann Machines)は、おそらく最もよく研究されている潜在変数モデルのクラスである。 我々の結果は、$ell_infty$bounded inputの下で二層ニューラルネットワークを学習するための新しい接続に基づいている。 次に,分散仮定を使わずに,関連するネットワークのクラスに対して可能なものよりも,より優れたランタイムで教師付きRAMの自然なクラスを学習するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-25T00:42:50Z)
• Network Adjustment: Channel Search Guided by FLOPs Utilization Ratio [101.84651388520584]
  本稿では,ネットワークの精度をFLOPの関数として考慮した,ネットワーク調整という新しいフレームワークを提案する。 標準画像分類データセットと幅広いベースネットワークの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2020-04-06T15:51:00Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。