論文の概要: Visual Analysis of Neural Architecture Spaces for Summarizing Design Principles

• arxiv url: http://arxiv.org/abs/2208.09665v1
• Date: Sat, 20 Aug 2022 12:15:59 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-23 14:21:06.865375
• Title: Visual Analysis of Neural Architecture Spaces for Summarizing Design Principles
• Title（参考訳）: 設計原理を要約するニューラルアーキテクチャ空間の視覚的解析
• Authors: Jun Yuan, Mengchen Liu, Fengyuan Tian, and Shixia Liu
• Abstract要約: ArchExplorerは、ニューラルネットワーク空間を理解し、設計原則を要約するための視覚分析手法である。 クラスタ間のグローバルな関係と各クラスタ内のアーキテクチャの局所的近傍の両方を伝達するために,サークルパッキングに基づくアーキテクチャ視覚化が開発された。 設計原則を要約し,優れたアーキテクチャを選択する上でArchExplorerの有効性を示すために,2つのケーススタディとポストアナリシスが提示される。
• 参考スコア（独自算出の注目度）: 22.66053583920441
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances in artificial intelligence largely benefit from better neural network architectures. These architectures are a product of a costly process of trial-and-error. To ease this process, we develop ArchExplorer, a visual analysis method for understanding a neural architecture space and summarizing design principles. The key idea behind our method is to make the architecture space explainable by exploiting structural distances between architectures. We formulate the pairwise distance calculation as solving an all-pairs shortest path problem. To improve efficiency, we decompose this problem into a set of single-source shortest path problems. The time complexity is reduced from O(kn^2N) to O(knN). Architectures are hierarchically clustered according to the distances between them. A circle-packing-based architecture visualization has been developed to convey both the global relationships between clusters and local neighborhoods of the architectures in each cluster. Two case studies and a post-analysis are presented to demonstrate the effectiveness of ArchExplorer in summarizing design principles and selecting better-performing architectures.
• Abstract（参考訳）: 人工知能の最近の進歩は、より優れたニューラルネットワークアーキテクチャの恩恵を受けている。 これらのアーキテクチャは、試行錯誤のコストのかかるプロセスの産物です。 このプロセスを容易にするために,ニューラルネットワーク空間を理解し,設計原則を要約する視覚解析手法であるArchExplorerを開発した。 この手法の背後にある重要なアイデアは、アーキテクチャ間の構造的距離を利用して、アーキテクチャ空間を説明可能にすることである。 対距離計算を全ペア最短経路問題の解として定式化する。 効率を改善するために,この問題を単一ソースの短経路問題に分解する。 時間複雑性は O(kn^2N) から O(knN) に減少する。 アーキテクチャは、それらの間の距離に応じて階層的にクラスタ化されます。 クラスタ間のグローバルな関係と各クラスタ内のアーキテクチャの局所的近傍の両方を伝達するために,サークルパッキングに基づくアーキテクチャ視覚化が開発された。 設計原則を要約し,優れたアーキテクチャを選択する上でArchExplorerの有効性を示すために,2つのケーススタディとポストアナリシスが提示される。

関連論文リスト

• Unsupervised Graph Neural Architecture Search with Disentangled Self-supervision [51.88848982611515]
  教師なしグラフニューラルアーキテクチャサーチは、文献では未発見のままである。 本稿では,Distangled Self-supervised Graph Neural Architecture Searchモデルを提案する。 我々のモデルは、教師なしの方法で、いくつかのベースライン手法に対して最先端のパフォーマンスを達成することができる。
  論文  参考訳（メタデータ） (2024-03-08T05:23:55Z)
• Neural Architecture Retrieval [27.063268631346713]
  我々は、クエリニューラルアーキテクチャに似た設計で既存のニューラルアーキテクチャの集合を検索するニューラルアーキテクチャ検索という新しい問題を定義する。 既存のグラフ事前学習戦略は、グラフのサイズとモチーフのため、ニューラルネットワークの計算グラフに対処できない。 正確なグラフ表現学習を実現するために,マルチレベルコントラスト学習を導入する。
  論文  参考訳（メタデータ） (2023-07-16T01:56:41Z)
• Learning Interpretable Models Through Multi-Objective Neural Architecture Search [0.9990687944474739]
  本稿では,タスク性能と「イントロスペクタビリティ」の両方を最適化するフレームワークを提案する。 タスクエラーとイントロスペクタビリティを共同で最適化することは、エラー内で実行されるより不整合でデバッグ可能なアーキテクチャをもたらすことを実証する。
  論文  参考訳（メタデータ） (2021-12-16T05:50:55Z)
• Network Graph Based Neural Architecture Search [57.78724765340237]
  我々は、対応するグラフを書き換えてニューラルネットワークを探索し、グラフ特性によるアーキテクチャ性能の予測を行う。 グラフ空間全体にわたって機械学習を行わないため、探索プロセスは極めて効率的である。
  論文  参考訳（メタデータ） (2021-12-15T00:12:03Z)
• Rethinking Architecture Selection in Differentiable NAS [74.61723678821049]
  微分可能なニューラルアーキテクチャ探索は、その探索効率と簡易性において最も人気のあるNAS手法の1つである。 本稿では,各操作がスーパーネットに与える影響を直接測定する摂動に基づくアーキテクチャ選択を提案する。 提案手法により,DARTSの故障モードを大幅に緩和できることがわかった。
  論文  参考訳（メタデータ） (2021-08-10T00:53:39Z)
• iDARTS: Differentiable Architecture Search with Stochastic Implicit Gradients [75.41173109807735]
  微分可能なArchiTecture Search(DARTS)は先日,ニューラルアーキテクチャサーチ(NAS)の主流になった。 暗黙の関数定理に基づいてDARTSの過次計算に取り組む。 提案手法であるiDARTSのアーキテクチャ最適化は,定常点に収束することが期待される。
  論文  参考訳（メタデータ） (2021-06-21T00:44:11Z)
• The Nonlinearity Coefficient -- A Practical Guide to Neural Architecture Design [3.04585143845864]
  我々は、アーキテクチャが比較的高いテストやトレーニング後のタスクのトレーニングエラーを達成できるかどうかを、トレーニングなしで予測できる手法を開発する。 その後、アーキテクチャ定義自体の観点でエラーを説明し、アーキテクチャを変更するツールを開発します。 最初の大きな貢献は、ニューラルネットワークアーキテクチャの'非線形性の度合い'がそのパフォーマンスの背後にある重要な因果的要因であることを示すことです。
  論文  参考訳（メタデータ） (2021-05-25T20:47:43Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)
• Does Unsupervised Architecture Representation Learning Help Neural Architecture Search? [22.63641173256389]
  既存のニューラルアーキテクチャサーチ(NAS)手法は、スケールが良くない離散符号化を用いてニューラルアーキテクチャをエンコードするか、アーキテクチャ表現を共同で学習し、探索バイアスを引き起こすような表現上でアーキテクチャ探索を最適化するための教師付き学習ベースの手法を採用する。 アーキテクチャ表現学習と探索が組み合わさっていれば,ニューラルネットワークの構造的特性を潜時空間に保持することは困難であり,その結果,探索性能は低下する。
  論文  参考訳（メタデータ） (2020-06-12T04:15:34Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。