論文の概要: Gradient-based Wang-Landau Algorithm: A Novel Sampler for Output Distribution of Neural Networks over the Input Space

• arxiv url: http://arxiv.org/abs/2302.09484v2
• Date: Tue, 21 Feb 2023 05:50:26 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-22 11:30:45.215583
• Title: Gradient-based Wang-Landau Algorithm: A Novel Sampler for Output Distribution of Neural Networks over the Input Space
• Title（参考訳）: 勾配に基づくWang-Landauアルゴリズム:入力空間上のニューラルネットワークの出力分布の新しいサンプリング器
• Authors: Weitang Liu, Ying-Wai Li, Yi-Zhuang You, Jingbo Shang
• Abstract要約: 本稿では,グラディエントをベースとした新しい Wang-Landau (GWL) サンプリング手法を提案する。 まず、NNの出力分布と物理系の状態密度(DOS)との接続を描画する。 そこで我々は,そのランダムな提案を勾配に基づくモンテカルロ提案に置き換えることにより,DOS問題の古典的なサンプリングアルゴリズムであるワン・ランダウアルゴリズムを再構築する。
• 参考スコア（独自算出の注目度）: 20.60516313062773
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The output distribution of a neural network (NN) over the entire input space captures the complete input-output mapping relationship, offering insights toward a more comprehensive NN understanding. Exhaustive enumeration or traditional Monte Carlo methods for the entire input space can exhibit impractical sampling time, especially for high-dimensional inputs. To make such difficult sampling computationally feasible, in this paper, we propose a novel Gradient-based Wang-Landau (GWL) sampler. We first draw the connection between the output distribution of a NN and the density of states (DOS) of a physical system. Then, we renovate the classic sampler for the DOS problem, the Wang-Landau algorithm, by replacing its random proposals with gradient-based Monte Carlo proposals. This way, our GWL sampler investigates the under-explored subsets of the input space much more efficiently. Extensive experiments have verified the accuracy of the output distribution generated by GWL and also showcased several interesting findings - for example, in a binary image classification task, both CNN and ResNet mapped the majority of human unrecognizable images to very negative logit values.
• Abstract（参考訳）: 入力空間全体にわたるニューラルネットワーク(NN)の出力分布は、完全な入出力マッピング関係をキャプチャし、より包括的なNN理解への洞察を提供する。 排他的列挙法や従来のモンテカルロ法は、特に高次元入力に対して非現実的なサンプリング時間を示すことができる。 そこで本研究では,GWLを用いた新しいサンプリング手法を提案する。 まず、NNの出力分布と物理系の状態密度(DOS)との接続を描画する。 次に,そのランダムな提案を勾配に基づくモンテカルロ提案に置き換え,dos問題に対する古典的なスプリマーであるwang-landauアルゴリズムを再構成する。 このように、gwlサンプリング器は入力空間の未探索部分集合をより効率的に調査する。 例えば、バイナリ画像分類タスクにおいて、cnnとresnetは、人間の認識不能な画像の大部分を非常にネガティブなロジット値にマッピングした。

関連論文リスト

• Sampling-based Distributed Training with Message Passing Neural Network [1.1088875073103417]
  ドメイン分割に基づくメッセージパッシングニューラルネットワーク(MPNN)のための分散トレーニングと推論手法を提案する。 我々はDS-MPNN(DとSは分散してサンプリングされる)と呼ばれるスケーラブルなグラフニューラルネットワークを提案し、最大$O(105)のノードをスケーリングできる。
  論文  参考訳（メタデータ） (2024-02-23T05:33:43Z)
• Sampling weights of deep neural networks [1.2370077627846041]
  完全に接続されたニューラルネットワークの重みとバイアスに対して,効率的なサンプリングアルゴリズムと組み合わせた確率分布を導入する。 教師付き学習環境では、内部ネットワークパラメータの反復最適化や勾配計算は不要である。 サンプルネットワークが普遍近似器であることを証明する。
  論文  参考訳（メタデータ） (2023-06-29T10:13:36Z)
• Approximate Thompson Sampling via Epistemic Neural Networks [26.872304174606278]
  てんかん性ニューラルネットワーク(ENN)は、正確な関節の予測分布を生成するように設計されている。 ENNがこの目的をうまく果たし、共同予測分布の質がいかに性能を向上させるかを示す。
  論文  参考訳（メタデータ） (2023-02-18T01:58:15Z)
• Joint Edge-Model Sparse Learning is Provably Efficient for Graph Neural Networks [89.28881869440433]
  本稿では,グラフニューラルネットワーク(GNN)における結合エッジモデルスパース学習の理論的特徴について述べる。 解析学的には、重要なノードをサンプリングし、最小のマグニチュードでプルーニングニューロンをサンプリングすることで、サンプルの複雑さを減らし、テスト精度を損なうことなく収束を改善することができる。
  論文  参考訳（メタデータ） (2023-02-06T16:54:20Z)
• Analyzing the Effect of Sampling in GNNs on Individual Fairness [79.28449844690566]
  グラフニューラルネットワーク(GNN)ベースの手法は、レコメンダシステムの分野を飽和させた。 我々は,GNNの学習を支援するために,グラフ上で個別の公平性を促進させる既存手法を拡張した。 本研究では,局所ニュアンスが表現学習における公平化促進の過程を導くことによって,ミニバッチトレーニングが個人の公正化を促進することを示す。
  論文  参考訳（メタデータ） (2022-09-08T16:20:25Z)
• On the Effective Number of Linear Regions in Shallow Univariate ReLU Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
  我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。 我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
  論文  参考訳（メタデータ） (2022-05-18T16:57:10Z)
• Why Lottery Ticket Wins? A Theoretical Perspective of Sample Complexity on Pruned Neural Networks [79.74580058178594]
  目的関数の幾何学的構造を解析することにより、刈り取られたニューラルネットワークを訓練する性能を解析する。 本稿では,ニューラルネットワークモデルがプルーニングされるにつれて,一般化が保証された望ましいモデル近傍の凸領域が大きくなることを示す。
  論文  参考訳（メタデータ） (2021-10-12T01:11:07Z)
• A Biased Graph Neural Network Sampler with Near-Optimal Regret [57.70126763759996]
  グラフニューラルネットワーク(GNN)は、グラフおよびリレーショナルデータにディープネットワークアーキテクチャを適用する手段として登場した。 本論文では,既存の作業に基づいて,GNN近傍サンプリングをマルチアームバンディット問題として扱う。 そこで本研究では,分散を低減し,不安定かつ非限定的な支払いを回避すべく設計されたバイアスをある程度導入した報酬関数を提案する。
  論文  参考訳（メタデータ） (2021-03-01T15:55:58Z)
• pseudo-Bayesian Neural Networks for detecting Out of Distribution Inputs [12.429095025814345]
  重みよりも分布を学習する代わりに、推定時に点推定と摂動重みを用いる擬似BNNを提案する。 全体として、この組み合わせは、推論時にOODサンプルを検出するという原則的な手法をもたらす。
  論文  参考訳（メタデータ） (2021-02-02T06:23:04Z)
• Bandit Samplers for Training Graph Neural Networks [63.17765191700203]
  グラフ畳み込みネットワーク(GCN)の訓練を高速化するために, ばらつきを低減したサンプリングアルゴリズムが提案されている。 これらのサンプリングアルゴリズムは、グラフ注意ネットワーク(GAT)のような固定重みよりも学習重量を含む、より一般的なグラフニューラルネットワーク(GNN)には適用できない。
  論文  参考訳（メタデータ） (2020-06-10T12:48:37Z)
• Learning to Importance Sample in Primary Sample Space [22.98252856114423]
  本稿では,ニューラルネットワークを用いて,サンプルの集合に代表される所望密度からサンプルを抽出する方法を学習する,新たな重要サンプリング手法を提案する。 提案手法は, 様々なシナリオにおいて, 効果的な分散低減につながることを示す。
  論文  参考訳（メタデータ） (2018-08-23T16:55:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。