論文の概要: Double Oracle Neural Architecture Search for Game Theoretic Deep Learning Models

• arxiv url: http://arxiv.org/abs/2410.04764v1
• Date: Mon, 7 Oct 2024 05:42:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 02:07:46.522709
• Title: Double Oracle Neural Architecture Search for Game Theoretic Deep Learning Models
• Title（参考訳）: ゲーム理論深層学習モデルのための二重Oracleニューラルアーキテクチャ探索
• Authors: Aye Phyu Phyu Aung, Xinrun Wang, Ruiyu Wang, Hau Chan, Bo An, Xiaoli Li, J. Senthilnath,
• Abstract要約: 本稿では,ゲーム理論の概念を用いたディープラーニングモデルの学習手法を提案する。 最良応答オラクルを用いた二重対角フレームワークをデプロイする。 主観的質的評価と定量的指標の両面で,我々の変種は有意な改善が見られた。
• 参考スコア（独自算出の注目度）: 28.238075755838487
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: In this paper, we propose a new approach to train deep learning models using game theory concepts including Generative Adversarial Networks (GANs) and Adversarial Training (AT) where we deploy a double-oracle framework using best response oracles. GAN is essentially a two-player zero-sum game between the generator and the discriminator. The same concept can be applied to AT with attacker and classifier as players. Training these models is challenging as a pure Nash equilibrium may not exist and even finding the mixed Nash equilibrium is difficult as training algorithms for both GAN and AT have a large-scale strategy space. Extending our preliminary model DO-GAN, we propose the methods to apply the double oracle framework concept to Adversarial Neural Architecture Search (NAS for GAN) and Adversarial Training (NAS for AT) algorithms. We first generalize the players' strategies as the trained models of generator and discriminator from the best response oracles. We then compute the meta-strategies using a linear program. For scalability of the framework where multiple network models of best responses are stored in the memory, we prune the weakly-dominated players' strategies to keep the oracles from becoming intractable. Finally, we conduct experiments on MNIST, CIFAR-10 and TinyImageNet for DONAS-GAN. We also evaluate the robustness under FGSM and PGD attacks on CIFAR-10, SVHN and TinyImageNet for DONAS-AT. We show that all our variants have significant improvements in both subjective qualitative evaluation and quantitative metrics, compared with their respective base architectures.
• Abstract（参考訳）: 本稿では,GAN(Generative Adversarial Networks)やAT(Adversarial Training)といったゲーム理論の概念を用いたディープラーニングモデルのトレーニング手法を提案する。 GANは基本的にジェネレータとディスクリミネーターの間の2プレイヤーゼロサムゲームである。 同じ概念を攻撃者と分類器をプレイヤーとしてATにも適用することができる。 これらのモデルのトレーニングは、純粋なナッシュ均衡が存在しない可能性があるため、GANとATのトレーニングアルゴリズムが大規模戦略空間を持つため、混合ナッシュ均衡を見つけることさえ困難である。 予備モデル DO-GAN を拡張して,2次オラクル・フレームワークの概念をGAN (Adversarial Neural Architecture Search) およびAT (Adversarial Training) アルゴリズムに適用する手法を提案する。 まず, プレイヤーの戦略を, 最適応答オラクルからのジェネレータと判別器の訓練モデルとして一般化する。 次に,線形プログラムを用いてメタストラテジーを計算する。 最適な応答の複数のネットワークモデルがメモリに格納されるフレームワークのスケーラビリティについては、オーラクルの難易度を抑えるために、弱い支配のプレイヤーの戦略を熟考する。 最後に,DONAS-GANのためのMNIST,CIFAR-10,TinyImageNetについて実験を行った。 また,DONAS-ATに対するCIFAR-10,SVHN,TinyImageNetに対するFGSMおよびPGD攻撃によるロバスト性の評価を行った。 主観的質的評価と定量化の両面で,我々の変種は,それぞれの基本アーキテクチャと比較して有意な改善が見られた。

関連論文リスト

• GraphFM: A Comprehensive Benchmark for Graph Foundation Model [33.157367455390144]
  ファンデーション・モデル(FM)は、人工知能システムの開発のための一般的なクラスである。 FMの基礎として自己教師型学習の研究が盛んに行われたが、いくつかの顕著な問題が続いている。 下流タスクにおける一般化能力の程度は未だ不明である。 これらのモデルが大規模なデータセットにどの程度効果的にスケールできるかは不明だ。
  論文  参考訳（メタデータ） (2024-06-12T15:10:44Z)
• Towards Regression-Free Neural Networks for Diverse Compute Platforms [50.64489250972764]
  負のフリップを小さくする高精度モデル群を設計するために,REG-NAS(Regression constrained Neural Architecture Search)を導入する。 REG-NASは2つのコンポーネントから構成される: 1) より大きなモデルでより小さなモデルの全重みを収容できる新しいアーキテクチャ制約により、重量共有を最大化する。 我々は,regnasが3つの一般的なアーキテクチャ検索空間において,負のフリップが少なく,望ましいアーキテクチャを見つけることができたことを実証した。
  論文  参考訳（メタデータ） (2022-09-27T23:19:16Z)
• Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
  本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。 我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
  論文  参考訳（メタデータ） (2022-08-17T05:42:59Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Self-Ensembling GAN for Cross-Domain Semantic Segmentation [107.27377745720243]
  本稿では,セマンティックセグメンテーションのためのクロスドメインデータを利用した自己理解型生成逆数ネットワーク(SE-GAN)を提案する。 SE-GANでは、教師ネットワークと学生ネットワークは、意味分節マップを生成するための自己組織化モデルを構成する。 その単純さにもかかわらず、SE-GANは敵の訓練性能を大幅に向上させ、モデルの安定性を高めることができる。
  論文  参考訳（メタデータ） (2021-12-15T09:50:25Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• BossNAS: Exploring Hybrid CNN-transformers with Block-wisely Self-supervised Neural Architecture Search [100.28980854978768]
  BossNAS(Block-wisely Self-supervised Neural Architecture Search)の紹介 探索空間をブロックに分類し、アンサンブルブートストラッピングと呼ばれる新しい自己教師型トレーニングスキームを用いて各ブロックを個別に訓練する。 また,検索可能なダウンサンプリング位置を持つファブリック型cnnトランスフォーマ検索空間であるhytra search spaceを提案する。
  論文  参考訳（メタデータ） (2021-03-23T10:05:58Z)
• DO-GAN: A Double Oracle Framework for Generative Adversarial Networks [28.904057977044374]
  GAN(Generative Adversarial Networks)を育成するための新しいアプローチを提案します。 私たちはgeneratorとdiscriminator oraclesを使ってダブルoracleフレームワークをデプロイします。 我々は、バニラGAN、ディープ・コンボリューショナルGAN、スペクトル正規化GAN、スタックドGANなどの確立されたGANアーキテクチャに適用する。
  論文  参考訳（メタデータ） (2021-02-17T05:11:18Z)
• Training Generative Adversarial Networks via stochastic Nash games [2.995087247817663]
  GAN(Generative Adversarial Network)は、ジェネレータと識別器という2つの対角ニューラルネットワークを持つ生成モデルのクラスである。 データの数が増加すると、正確な解に収束することを示す。 また, サンプル数が少ない場合, SRFBアルゴリズムの平均変種を解の近傍に収束させることも示した。
  論文  参考訳（メタデータ） (2020-10-17T09:07:40Z)
• BigNAS: Scaling Up Neural Architecture Search with Big Single-Stage Models [59.95091850331499]
  予測精度を高めるためには,重みの処理後処理が必要であるという従来の知恵に挑戦するアプローチであるBigNASを提案する。 発見されたモデルファミリーであるBigNASModelsは76.5%から80.9%の範囲でトップ1の精度を達成した。
  論文  参考訳（メタデータ） (2020-03-24T23:00:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。