論文の概要: Can GPT-4 Perform Neural Architecture Search?

• arxiv url: http://arxiv.org/abs/2304.10970v4
• Date: Wed, 2 Aug 2023 03:59:34 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-03 17:44:16.062515
• Title: Can GPT-4 Perform Neural Architecture Search?
• Title（参考訳）: GPT-4はニューラルネットワーク検索を実現できるか?
• Authors: Mingkai Zheng, Xiu Su, Shan You, Fei Wang, Chen Qian, Chang Xu, Samuel Albanie
• Abstract要約: ニューラルアーキテクチャサーチ(NAS)におけるGPT-4の可能性について検討する。 提案手法である textbfGPT-4 textbfEnhanced textbfNeural archtextbfItecttextbfUre textbfSearch (GENIUS) 我々は、いくつかのベンチマークでGENIUSを評価し、既存のNAS技術と比較し、その効果を実証した。
• 参考スコア（独自算出の注目度）: 56.98363718371614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We investigate the potential of GPT-4~\cite{gpt4} to perform Neural Architecture Search (NAS) -- the task of designing effective neural architectures. Our proposed approach, \textbf{G}PT-4 \textbf{E}nhanced \textbf{N}eural arch\textbf{I}tect\textbf{U}re \textbf{S}earch (GENIUS), leverages the generative capabilities of GPT-4 as a black-box optimiser to quickly navigate the architecture search space, pinpoint promising candidates, and iteratively refine these candidates to improve performance. We assess GENIUS across several benchmarks, comparing it with existing state-of-the-art NAS techniques to illustrate its effectiveness. Rather than targeting state-of-the-art performance, our objective is to highlight GPT-4's potential to assist research on a challenging technical problem through a simple prompting scheme that requires relatively limited domain expertise\footnote{Code available at \href{https://github.com/mingkai-zheng/GENIUS}{https://github.com/mingkai-zheng/GENIUS}.}. More broadly, we believe our preliminary results point to future research that harnesses general purpose language models for diverse optimisation tasks. We also highlight important limitations to our study, and note implications for AI safety.
• Abstract（参考訳）: gpt-4~\cite{gpt4}のニューラルネットワーク探索(nas)を行う可能性について検討した。 提案手法である \textbf{g}pt-4 \textbf{e}nhanced \textbf{n}eural arch\textbf{i}tect\textbf{u}re \textbf{s}earch (genius) では,gpt-4 の生成能力をブラックボックスオプティマイザとして活用し,アーキテクチャ探索空間をすばやくナビゲートし,有望な候補をピンポイントし,これらの候補を反復的に洗練してパフォーマンスを向上させる。 我々は、いくつかのベンチマークでGENIUSを評価し、既存のNAS技術と比較し、その効果を実証した。 最先端のパフォーマンスを目標とするのではなく、比較的限定的なドメイン専門知識を必要とする単純なプロンプトスキームを通じて、gpt-4の技術的問題の研究を支援する可能性を強調します。 }. より広範に、我々の予備的な結果は、多種多様な最適化タスクに汎用言語モデルを活用する将来の研究を指すと信じている。 また、研究における重要な制限を強調し、AIの安全性に影響を及ぼす点にも注目します。

関連論文リスト

• Exploiting GPT-4 Vision for Zero-shot Point Cloud Understanding [114.4754255143887]
  私たちは、ポイントクラウドでオブジェクトカテゴリを分類する課題に取り組みます。 我々はこれらの課題を克服するためにGPT-4 Vision (GPT-4V) を用いる。 ゼロショットポイントクラウド分類の新しいベンチマークを設定しました。
  論文  参考訳（メタデータ） (2024-01-15T10:16:44Z)
• Construction of Hierarchical Neural Architecture Search Spaces based on Context-free Grammars [66.05096551112932]
  文脈自由文法に基づく統一検索空間設計フレームワークを提案する。 それらの特性の強化と利用により,完全なアーキテクチャの探索を効果的に行うことができる。 既存のニューラルアーキテクチャ検索手法よりも検索戦略が優れていることを示す。
  論文  参考訳（メタデータ） (2022-11-03T14:23:00Z)
• Searching a High-Performance Feature Extractor for Text Recognition Network [92.12492627169108]
  優れた特徴抽出器を持つための原理を探求し,ドメイン固有の検索空間を設計する。 空間は巨大で複雑な構造であるため、既存のNASアルゴリズムを適用することはできない。 本研究では,空間内を効率的に探索する2段階のアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-09-27T03:49:04Z)
• DFG-NAS: Deep and Flexible Graph Neural Architecture Search [27.337894841649494]
  本稿では,非常に深く柔軟なGNNアーキテクチャの自動探索を可能にする新しいニューラルアーキテクチャ探索(NAS)手法であるDFG-NASを提案する。 DFG-NASは、原子伝播(textbftexttP)と変換(textbftexttT)の操作がどのように統合され、GNNに組織化されるかに関するマクロ構造を探索する。 4つのノード分類タスクに関する実証的研究は、DFG-NASがGNNの最先端手動設計やNASメソッドより優れていることを示している。
  論文  参考訳（メタデータ） (2022-06-17T06:47:21Z)
• Neural Architecture Search for Speech Emotion Recognition [72.1966266171951]
  本稿では,SERモデルの自動構成にニューラルアーキテクチャサーチ(NAS)技術を適用することを提案する。 NASはモデルパラメータサイズを維持しながらSER性能(54.89%から56.28%)を向上させることができることを示す。
  論文  参考訳（メタデータ） (2022-03-31T10:16:10Z)
• Edge-featured Graph Neural Architecture Search [131.4361207769865]
  最適GNNアーキテクチャを見つけるために,エッジ機能付きグラフニューラルアーキテクチャ探索を提案する。 具体的には、高次表現を学習するためにリッチなエンティティとエッジの更新操作を設計する。 EGNASは、現在最先端の人間設計および検索されたGNNよりも高い性能で、より優れたGNNを検索できることを示す。
  論文  参考訳（メタデータ） (2021-09-03T07:53:18Z)
• Interpretable Neural Architecture Search via Bayesian Optimisation with Weisfeiler-Lehman Kernels [17.945881805452288]
  現在のニューラルアーキテクチャサーチ(NAS)戦略は、単一の優れたアーキテクチャを見つけることに集中している。 そこで我々は,Weisfeiler-Lehmanグラフカーネルとガウス過程サロゲートを組み合わせたNASに対するベイズ最適化手法を提案する。 提案手法は,有用なネットワーク特徴とそれに伴うネットワーク性能への影響を発見することによって,解釈可能性を実現する。
  論文  参考訳（メタデータ） (2020-06-13T04:10:34Z)
• Neural Architecture Generator Optimization [9.082931889304723]
  我々はまず,NASを最適ネットワーク生成器の探索問題として検討する。 本稿では,非常に多様なネットワークタイプを表現可能な,階層的でグラフベースの検索空間を提案する。
  論文  参考訳（メタデータ） (2020-04-03T06:38:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。