論文の概要: Follow the Neurally-Perturbed Leader for Adversarial Training

• arxiv url: http://arxiv.org/abs/2002.06476v2
• Date: Mon, 8 Jun 2020 04:54:53 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-31 17:49:45.732947
• Title: Follow the Neurally-Perturbed Leader for Adversarial Training
• Title（参考訳）: 対人訓練における神経機能的リーダーの追跡
• Authors: Ari Azarafrooz
• Abstract要約: 摂動のない振る舞いを伴わない混合平衡に対するゼロサム学習のための新しいリーダーアルゴリズムを提案する。 我々は, この学習アルゴリズムを, 凸や乱れを伴わないゲームや, 生成的対角構造に応用することにより, 理論的結果を検証した。 逆模倣学習アプリケーションのためのアルゴリズムの実装をカスタマイズする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Game-theoretic models of learning are a powerful set of models that optimize multi-objective architectures. Among these models are zero-sum architectures that have inspired adversarial learning frameworks. An important shortcoming of these zeros-sum architectures is that gradient-based training leads to weak convergence and cyclic dynamics. We propose a novel follow the leader training algorithm for zeros-sum architectures that guarantees convergence to mixed Nash equilibrium without cyclic behaviors. It is a special type of follow the perturbed leader algorithm where perturbations are the result of a neural mediating agent. We validate our theoretical results by applying this training algorithm to games with convex and non-convex loss as well as generative adversarial architectures. Moreover, we customize the implementation of this algorithm for adversarial imitation learning applications. At every step of the training, the mediator agent perturbs the observations with generated codes. As a result of these mediating codes, the proposed algorithm is also efficient for learning in environments with various factors of variations. We validate our assertion by using a procedurally generated game environment as well as synthetic data. Github implementation is available.
• Abstract（参考訳）: 学習のゲーム理論モデルは、多目的アーキテクチャを最適化する強力なモデルの集合である。 これらのモデルの中には、逆学習フレームワークに触発されたゼロサムアーキテクチャがある。 これらのゼロサムアーキテクチャの重要な欠点は、勾配ベースのトレーニングが弱い収束と循環ダイナミクスをもたらすことである。 循環的挙動を伴わない混合ナッシュ平衡への収束を保証するゼロサムアーキテクチャのリーダートレーニングアルゴリズムを提案する。 摂動が神経媒介剤の結果である摂動リーダーアルゴリズム(perturbed leader algorithm)の特殊なタイプである。 我々は,この学習アルゴリズムを凸・非凸損失を持つゲームや,生成的対角構造に応用して理論的結果を検証する。 さらに,逆模倣学習アプリケーションに対して,このアルゴリズムの実装をカスタマイズする。 トレーニングのすべてのステップにおいて、仲介者エージェントは生成されたコードで観察を妨害する。 これらの仲介符号の結果として,提案アルゴリズムは様々な要因の異なる環境下での学習にも有効である。 我々は、手続き的に生成されたゲーム環境と合成データを用いてアサーションを検証する。 Githubの実装は利用可能だ。

関連論文リスト

• Optimizing Neural Network Performance and Interpretability with Diophantine Equation Encoding [0.0]
  本稿では,ディープラーニングモデルの精度と堅牢性を高める新しい手法を提案する。 本手法は,トレーニング中にダイオファンチン制約を強制するカスタムロス関数を統合し,より一般化し,エラー境界を低減し,敵攻撃に対するレジリエンスを高める。
  論文  参考訳（メタデータ） (2024-09-11T14:38:40Z)
• The Edge-of-Reach Problem in Offline Model-Based Reinforcement Learning [37.387280102209274]
  オフライン強化学習は、事前に収集されたデータセットからエージェントをトレーニング可能にすることを目的としている。 モデルベースの手法は、エージェントが学習されたダイナミックスモデルでロールアウトを介して追加の合成データを収集できるようにすることで、ソリューションを提供する。 しかし、学習したダイナミックスモデルを真のエラーフリーなダイナミックスに置き換えると、既存のモデルベースのメソッドは完全に失敗する。 本稿では, エッジ・オブ・リーチ問題に直接対処する単純で堅牢な手法であるReach-Aware Value Learning (RAVL)を提案する。
  論文  参考訳（メタデータ） (2024-02-19T20:38:00Z)
• Robust Stochastically-Descending Unrolled Networks [85.6993263983062]
  Deep Unrolling(ディープ・アンローリング)は、トレーニング可能なニューラルネットワークの層に切り捨てられた反復アルゴリズムをアンロールする、新たな学習最適化手法である。 アンロールネットワークの収束保証と一般化性は、いまだにオープンな理論上の問題であることを示す。 提案した制約の下で訓練されたアンロールアーキテクチャを2つの異なるアプリケーションで数値的に評価する。
  論文  参考訳（メタデータ） (2023-12-25T18:51:23Z)
• Training Neural Networks with Internal State, Unconstrained Connectivity, and Discrete Activations [66.53734987585244]
  真のインテリジェンスには、内部状態を管理するマシンラーニングモデルが必要だ。 このようなモデルのトレーニングに最も効果的なアルゴリズムは,まだ発見されていない。 このようなトレーニングアルゴリズムを2進アクティベーションと1つの重みの行列のみを持つアーキテクチャに適用する試みについて述べる。
  論文  参考訳（メタデータ） (2023-12-22T01:19:08Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• Improved Model based Deep Learning using Monotone Operator Learning (MOL) [25.077510176642807]
  アンローリングに依存するMoDLアルゴリズムは、イメージリカバリのための強力なツールとして登場している。 我々は,現在展開されていないフレームワークに関連するいくつかの課題を克服するために,新しいモノトーン演算子学習フレームワークを導入する。 並列MRIにおける提案手法の有用性を実証する。
  論文  参考訳（メタデータ） (2021-11-22T17:42:27Z)
• Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
  ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。 本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
  論文  参考訳（メタデータ） (2021-06-17T17:26:31Z)
• Phase Retrieval using Expectation Consistent Signal Recovery Algorithm based on Hypernetwork [73.94896986868146]
  位相検索は現代の計算イメージングシステムにおいて重要な要素である。 近年のディープラーニングの進歩は、堅牢で高速なPRの新たな可能性を開いた。 我々は、既存の制限を克服するために、深層展開のための新しいフレームワークを開発する。
  論文  参考訳（メタデータ） (2021-01-12T08:36:23Z)
• Predictive Coding Approximates Backprop along Arbitrary Computation Graphs [68.8204255655161]
  我々は、コア機械学習アーキテクチャを予測的符号化に翻訳する戦略を開発する。 私たちのモデルは、挑戦的な機械学習ベンチマークのバックプロップと同等に機能します。 本手法は,ニューラルネットワークに標準機械学習アルゴリズムを直接実装できる可能性を高める。
  論文  参考訳（メタデータ） (2020-06-07T15:35:47Z)
• Learning to Rank Learning Curves [15.976034696758148]
  本稿では,トレーニングの早い段階で,構成不良を解消し,計算予算を削減できる新しい手法を提案する。 我々は,学習曲線を観測することなく,学習曲線を効果的にランク付けできることを示す。
  論文  参考訳（メタデータ） (2020-06-05T10:49:52Z)
• Belief Propagation Reloaded: Learning BP-Layers for Labeling Problems [83.98774574197613]
  最も単純な推論手法の1つとして、切り詰められた最大積のBelief伝播を取り上げ、それをディープラーニングモデルの適切なコンポーネントにするために必要となるものを加えます。 このBP-Layerは畳み込みニューラルネットワーク(CNN)の最終ブロックまたは中間ブロックとして使用できる このモデルは様々な密集予測問題に適用可能であり、パラメータ効率が高く、ステレオ、光フロー、セマンティックセグメンテーションにおける堅牢な解を提供する。
  論文  参考訳（メタデータ） (2020-03-13T13:11:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。