論文の概要: Hindsight Network Credit Assignment: Efficient Credit Assignment in
Networks of Discrete Stochastic Units
- arxiv url: http://arxiv.org/abs/2110.07700v1
- Date: Thu, 14 Oct 2021 20:18:38 GMT
- ステータス: 処理完了
- システム内更新日: 2021-10-18 12:34:13.006245
- Title: Hindsight Network Credit Assignment: Efficient Credit Assignment in
Networks of Discrete Stochastic Units
- Title（参考訳）: 後見ネットワーククレジット割り当て:離散確率単位ネットワークにおける効率的なクレジット割り当て
- Authors: Kenny Young
- Abstract要約: 本稿では,個別単位のネットワークを対象とした新しい学習アルゴリズムであるHNCAを提案する。
HNCAは、ネットワーク内の直近の子供に影響を与える程度に基づいて、各ユニットにクレジットを割り当てる。
我々は,HNCAを拡張して,その関数がエージェントに知られている単位のネットワークの出力のより一般的な関数を最適化する方法を示す。
- 参考スコア（独自算出の注目度）: 2.28438857884398
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training neural networks with discrete stochastic variables presents a unique
challenge. Backpropagation is not directly applicable, nor are the
reparameterization tricks used in networks with continuous stochastic
variables. To address this challenge, we present Hindsight Network Credit
Assignment (HNCA), a novel learning algorithm for networks of discrete
stochastic units. HNCA works by assigning credit to each unit based on the
degree to which its output influences its immediate children in the network. We
prove that HNCA produces unbiased gradient estimates with reduced variance
compared to the REINFORCE estimator, while the computational cost is similar to
that of backpropagation. We first apply HNCA in a contextual bandit setting to
optimize a reward function that is unknown to the agent. In this setting, we
empirically demonstrate that HNCA significantly outperforms REINFORCE,
indicating that the variance reduction implied by our theoretical analysis is
significant and impactful. We then show how HNCA can be extended to optimize a
more general function of the outputs of a network of stochastic units, where
the function is known to the agent. We apply this extended version of HNCA to
train a discrete variational auto-encoder and empirically show it compares
favourably to other strong methods. We believe that the ideas underlying HNCA
can help stimulate new ways of thinking about efficient credit assignment in
stochastic compute graphs.
- Abstract（参考訳）: 離散確率変数を用いたニューラルネットワークのトレーニングは、ユニークな課題である。
バックプロパゲーションは直接適用されず、連続確率変数を持つネットワークで使用される再パラメータ化トリックも適用されない。
この課題に対処するために、離散確率単位のネットワークのための新しい学習アルゴリズムであるHindsight Network Credit Assignment (HNCA)を提案する。
HNCAは、ネットワーク内の直近の子供に影響を与える程度に基づいて、各ユニットにクレジットを割り当てる。
計算コストはバックプロパゲーションとよく似ているが, HNCA は REINFORCE 推定器と比較してばらつきを小さくして非バイアス勾配推定を行う。
まず, エージェントに未知の報酬関数を最適化するために, HNCAをコンテキスト的帯域設定に適用する。
本研究では,HNCAがREINFORCEを著しく上回っていることを実証的に示し,理論解析による分散低減が重要かつ影響が大きいことを示す。
次に、HNCAを拡張して、その関数がエージェントに知られている確率単位のネットワークの出力のより一般的な関数を最適化する方法を示す。
本稿では,この拡張版HNCAを用いて離散変分オートエンコーダを訓練し,他の強力な手法との比較を実証的に示す。
HNCAの根底にある考え方は、確率的計算グラフにおける効率的な信用割当に関する新しい考え方を刺激する助けになると信じている。
関連論文リスト
- Theoretical Characterization of How Neural Network Pruning Affects its
Generalization [131.1347309639727]
この研究は、異なるプルーニング率がモデルの勾配降下ダイナミクスと一般化にどのように影響するかを研究する最初の試みである。
プルーニング率が一定の閾値以下である限り、勾配降下はトレーニング損失をゼロに導くことができる。
より驚くべきことに、プルーニング分数が大きくなるにつれて、一般化境界はより良くなる。
論文 参考訳（メタデータ） (2023-01-01T03:10:45Z) - Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
関数空間における凸正規化器であり、容易に調整できる明示的な関数正規化を提案する。
提案手法の収束を理論的・実験的に解析し,より理論的に根ざした機能正規化アプローチでターゲットネットワークを置き換えることにより,サンプリング効率と性能が向上することが実証された。
論文 参考訳（メタデータ） (2022-10-21T22:27:07Z) - Stochastic Deep Networks with Linear Competing Units for Model-Agnostic
Meta-Learning [4.97235247328373]
本研究は,LWTA(Local winner-takes-all)アクティベーションを伴うディープネットワークを考慮したメタラーニング(ML)に対処する。
このタイプのネットワークユニットは、ユニットが1つのユニットだけがゼロでない出力を生成するブロックに編成されるため、各モデルレイヤからスパース表現が生成される。
提案手法は,数ショット画像の分類と回帰実験における最先端の予測精度と,アクティブな学習環境における予測誤差の低減を実現する。
論文 参考訳（メタデータ） (2022-08-02T16:19:54Z) - Counterbalancing Teacher: Regularizing Batch Normalized Models for
Robustness [15.395021925719817]
バッチ正規化(BN)は、より精度の高い収束を加速するディープニューラルネットワークのトレーニング技術である。
BNは、トレーニング(ドメイン内)データに非常に依存する低分散機能に依存してモデルにインセンティブを与えることを示す。
本稿では,学生ネットワークの頑健な表現の学習を強制するために,反バランス教師(CT)を提案する。
論文 参考訳（メタデータ） (2022-07-04T16:16:24Z) - Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient
for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。
本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。
自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文 参考訳（メタデータ） (2022-02-14T16:42:16Z) - Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。
SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。
その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
論文 参考訳（メタデータ） (2021-12-15T09:50:25Z) - Bridging the Gap Between Target Networks and Functional Regularization [61.051716530459586]
ターゲットネットワークは暗黙の正則化器として機能し、いくつかのケースでは有益であるが、欠点もある。
本稿では,フレキシブルな関数正規化法と関数空間における凸正規化法を提案する。
この結果から,機能正規化はTarget Networksのドロップイン代替として利用でき,結果として性能が向上することが示唆された。
論文 参考訳（メタデータ） (2021-06-04T17:21:07Z) - Hindsight Network Credit Assignment [1.370633147306388]
本稿では,ニューラルネットワークの新しい学習手法であるHNCAを提案する。
HNCAは、ネットワーク内の直近の子供の出力にどのように影響するかに基づいて、各ニューロンの出力にクレジットを割り当てる。
論文 参考訳（メタデータ） (2020-11-24T20:16:45Z) - Learning by Competition of Self-Interested Reinforcement Learning Agents [0.0]
人工知能ニューラルネットワークは、REINFORCE学習規則を実装したユニットに報酬信号を均一にブロードキャストすることで訓練することができる。
隠れたユニットに対する報酬信号の交換を、ユニットの出力重量の標準である$L2$の変更で提案する。
実験の結果, 最大化学習ネットワークはREINFORCEよりかなり高速に学習でき, バックプロパゲーションよりもわずかに遅いことがわかった。
論文 参考訳（メタデータ） (2020-10-19T18:18:53Z) - Self-Supervised Dynamic Networks for Covariate Shift Robustness [9.542023122304098]
Self-Supervised Dynamic Networks (SSDN) は、自己教師ネットワークがメインネットワークの重みを予測できる入力依存のメカニズムである。
本稿では,画像分類問題における提案手法の概念的および実証的利点について述べる。
論文 参考訳（メタデータ） (2020-06-06T19:37:20Z) - Fitting the Search Space of Weight-sharing NAS with Graph Convolutional
Networks [100.14670789581811]
サンプルサブネットワークの性能に適合するグラフ畳み込みネットワークを訓練する。
この戦略により、選択された候補集合において、より高いランク相関係数が得られる。
論文 参考訳（メタデータ） (2020-04-17T19:12:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。