論文の概要: TART: Token-based Architecture Transformer for Neural Network Performance Prediction

• arxiv url: http://arxiv.org/abs/2501.02007v1
• Date: Thu, 02 Jan 2025 05:22:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-07 17:08:48.346211
• Title: TART: Token-based Architecture Transformer for Neural Network Performance Prediction
• Title（参考訳）: TART:ニューラルネットワークの性能予測のためのトークンベースのアーキテクチャ変換器
• Authors: Yannis Y. He,
• Abstract要約: トークンベースのアーキテクチャトランスフォーマー(TART)は、候補ネットワークをトレーニングすることなく、ニューラルネットワークのパフォーマンスを予測する。 TARTはエッジ情報のないパフォーマンス予測タスクのために、DeepNets-1Mデータセット上で最先端のパフォーマンスを実現する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In the realm of neural architecture design, achieving high performance is largely reliant on the manual expertise of researchers. Despite the emergence of Neural Architecture Search (NAS) as a promising technique for automating this process, current NAS methods still require human input to expand the search space and cannot generate new architectures. This paper explores the potential of Transformers in comprehending neural architectures and their performance, with the objective of establishing the foundation for utilizing Transformers to generate novel networks. We propose the Token-based Architecture Transformer (TART), which predicts neural network performance without the need to train candidate networks. TART attains state-of-the-art performance on the DeepNets-1M dataset for performance prediction tasks without edge information, indicating the potential of Transformers to aid in discovering novel and high-performing neural architectures.
• Abstract（参考訳）: ニューラルネットワーク設計の分野では、高いパフォーマンスを達成することは、研究者の手作業による専門知識に大きく依存している。 ニューラルアーキテクチャサーチ(NAS)がこのプロセスを自動化するための有望な技術として出現したにもかかわらず、現在のNASメソッドは検索空間を拡張するために人間の入力を必要とするため、新しいアーキテクチャは生成できない。 本稿では,トランスフォーマーを用いた新しいネットワーク構築の基礎を確立することを目的として,ニューラルアーキテクチャの理解におけるトランスフォーマーの可能性とその性能について検討する。 本稿では,ニューラルネットワークの性能を予測するToken-based Architecture Transformer (TART)を提案する。 TARTはエッジ情報のないパフォーマンス予測タスクのためのDeepNets-1Mデータセットの最先端のパフォーマンスを達成し、トランスフォーマーが新規でハイパフォーマンスなニューラルアーキテクチャの発見を支援する可能性を示唆している。

関連論文リスト

• AutoST: Training-free Neural Architecture Search for Spiking Transformers [14.791412391584064]
  スパイキングトランスフォーマーはスパイキングニューラルネットワーク(SNN)のエネルギー効率とトランスフォーマーの高容量を実現する。 既存のスパイキングトランスフォーマーアーキテクチャは、顕著なアーキテクチャのギャップを示し、結果として準最適性能をもたらす。 我々は,高速なスパイキングトランスフォーマーアーキテクチャを高速に識別するために,スパイキングトランスフォーマーのトレーニング不要なNAS手法であるAutoSTを紹介した。
  論文  参考訳（メタデータ） (2023-07-01T10:19:52Z)
• Training-free Neural Architecture Search for RNNs and Transformers [0.0]
  我々は、RNNアーキテクチャのトレーニング性能を予測する、隠れ共分散と呼ばれる新しいトレーニングフリーメトリックを開発した。 トランスフォーマーアーキテクチャの現在の検索空間パラダイムは、トレーニング不要なニューラルアーキテクチャサーチに最適化されていない。
  論文  参考訳（メタデータ） (2023-06-01T02:06:13Z)
• Neural Architecture Search for Dense Prediction Tasks in Computer Vision [74.9839082859151]
  ディープラーニングは、ニューラルネットワークアーキテクチャエンジニアリングに対する需要の高まりにつながっている。 ニューラルネットワーク検索(NAS)は、手動ではなく、データ駆動方式でニューラルネットワークアーキテクチャを自動設計することを目的としている。 NASはコンピュータビジョンの幅広い問題に適用されている。
  論文  参考訳（メタデータ） (2022-02-15T08:06:50Z)
• Efficient Neural Architecture Search with Performance Prediction [0.0]
  ニューラルアーキテクチャ検索を使用して、目前にあるタスクに最適なネットワークアーキテクチャを見つけます。 既存のNASアルゴリズムは、スクラッチから完全にトレーニングすることで、新しいアーキテクチャの適合性を評価する。 サンプルアーキテクチャの評価を高速化するために,エンドツーエンドのオフライン性能予測器を提案する。
  論文  参考訳（メタデータ） (2021-08-04T05:44:16Z)
• Neural Architecture Performance Prediction Using Graph Neural Networks [17.224223176258334]
  グラフニューラルネットワーク(GNN)に基づくニューラルネットワーク性能予測のための代理モデルを提案する。 構造不明アーキテクチャのニューラルネットワーク性能予測におけるこの代理モデルの有効性を実証する。
  論文  参考訳（メタデータ） (2020-10-19T09:33:57Z)
• MS-RANAS: Multi-Scale Resource-Aware Neural Architecture Search [94.80212602202518]
  我々は,MS-RANAS(Multi-Scale Resource-Aware Neural Architecture Search)を提案する。 我々は,検索コストの削減を図るために,ワンショットのアーキテクチャ探索手法を採用した。 我々は精度-速度トレードオフの観点から最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-09-29T11:56:01Z)
• NAS-Navigator: Visual Steering for Explainable One-Shot Deep Neural Network Synthesis [53.106414896248246]
  本稿では,分析者がドメイン知識を注入することで,解のサブグラフ空間を効果的に構築し,ネットワーク探索をガイドするフレームワークを提案する。 このテクニックを反復的に適用することで、アナリストは、与えられたアプリケーションに対して最高のパフォーマンスのニューラルネットワークアーキテクチャに収束することができる。
  論文  参考訳（メタデータ） (2020-09-28T01:48:45Z)
• Towards Automated Neural Interaction Discovery for Click-Through Rate Prediction [64.03526633651218]
  CTR(Click-Through Rate)予測は、レコメンダシステムにおいて最も重要な機械学習タスクの1つである。 本稿では,AutoCTR と呼ばれる CTR 予測のための自動インタラクションアーキテクチャ探索フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-06-29T04:33:01Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。