論文の概要: LLMatic: Neural Architecture Search via Large Language Models and Quality Diversity Optimization
- arxiv url: http://arxiv.org/abs/2306.01102v7
- Date: Wed, 10 Apr 2024 13:18:37 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-11 19:45:16.804222
- Title: LLMatic: Neural Architecture Search via Large Language Models and Quality Diversity Optimization
- Title(参考訳): LLMatic: 大規模言語モデルによるニューラルネットワーク探索と品質多様性の最適化
- Authors: Muhammad U. Nasir, Sam Earle, Julian Togelius, Steven James, Christopher Cleghorn,
- Abstract要約: 大きな言語モデル(LLM)は、幅広いタスクをこなせる強力なツールとして登場した。
本稿では、LLMの符号化機能を用いて、ニューラルネットワークを定義するコードに意味のあるバリエーションを導入することを提案する。
本稿では,LLMのコード生成能力とQDソリューションの多様性と堅牢性を融合させることで,ニューラルネットワーク探索(NAS)アルゴリズムであるtextttLLMaticを導入する。
- 参考スコア(独自算出の注目度): 4.951599300340954
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large Language Models (LLMs) have emerged as powerful tools capable of accomplishing a broad spectrum of tasks. Their abilities span numerous areas, and one area where they have made a significant impact is in the domain of code generation. Here, we propose using the coding abilities of LLMs to introduce meaningful variations to code defining neural networks. Meanwhile, Quality-Diversity (QD) algorithms are known to discover diverse and robust solutions. By merging the code-generating abilities of LLMs with the diversity and robustness of QD solutions, we introduce \texttt{LLMatic}, a Neural Architecture Search (NAS) algorithm. While LLMs struggle to conduct NAS directly through prompts, \texttt{LLMatic} uses a procedural approach, leveraging QD for prompts and network architecture to create diverse and high-performing networks. We test \texttt{LLMatic} on the CIFAR-10 and NAS-bench-201 benchmarks, demonstrating that it can produce competitive networks while evaluating just $2,000$ candidates, even without prior knowledge of the benchmark domain or exposure to any previous top-performing models for the benchmark. The open-sourced code is available in \url{https://github.com/umair-nasir14/LLMatic}.
- Abstract(参考訳): 大きな言語モデル(LLM)は、幅広いタスクをこなせる強力なツールとして登場した。
それらの能力は、さまざまな領域にまたがっており、コード生成の領域において、それらが大きな影響を与えている分野のひとつです。
本稿では、LLMの符号化機能を用いて、ニューラルネットワークを定義するコードに意味のあるバリエーションを導入することを提案する。
一方、QD(Quality-Diversity)アルゴリズムは、多様で堅牢なソリューションを発見することが知られている。
本稿では,LLMのコード生成能力とQDソリューションの多様性とロバスト性を組み合わせることで,ニューラルネットワーク探索(NAS)アルゴリズムである \texttt{LLMatic} を導入する。
LLMはプロンプトを介してNASを直接実行するのに苦労するが、 \texttt{LLMatic} はプロシージャアプローチを採用し、QD を利用してプロンプトとネットワークアーキテクチャを利用して多様な高性能ネットワークを作成する。
CIFAR-10 と NAS-bench-201 ベンチマークで \texttt{LLMatic} をテストし、ベンチマークドメインの事前知識やベンチマークの過去のトップパフォーマンスモデルへの露出を必要とせずに、2000ドルの候補を評価しながら、競争力のあるネットワークを生成できることを実証した。
オープンソースコードは \url{https://github.com/umair-nasir14/LLMatic} で公開されている。
関連論文リスト
- An Empirical Study of Automated Vulnerability Localization with Large Language Models [21.84971967029474]
大規模言語モデル(LLM)は、様々な領域において可能性を示しているが、脆弱性のローカライゼーションにおけるその有効性は未解明のままである。
本調査では,ChatGPTや各種オープンソースモデルなど,コード解析に適した10以上のLLMを対象とする。
ゼロショット学習,ワンショット学習,識別的微調整,生成的微調整の4つのパラダイムを用いて,これらのLCMの有効性を検討する。
論文 参考訳(メタデータ) (2024-03-30T08:42:10Z) - Caught in the Quicksand of Reasoning, Far from AGI Summit: Evaluating
LLMs' Mathematical and Coding Competency through Ontology-guided
Interventions [50.68293377521595]
大規模言語モデル(LLM)は論理的推論ベンチマークで顕著な結果を示した。
算術的推論とコード生成という,2つの一般的な推論タスクに注目します。
質問に対して、すべてのモデルで大幅なパフォーマンス低下を見せています。
論文 参考訳(メタデータ) (2024-01-17T18:13:07Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳(メタデータ) (2023-11-30T03:59:31Z) - OFA$^2$: A Multi-Objective Perspective for the Once-for-All Neural
Architecture Search [79.36688444492405]
once-for-All(OFA)は、異なるリソース制約を持つデバイスのための効率的なアーキテクチャを探索する問題に対処するために設計された、ニューラルネットワーク検索(NAS)フレームワークである。
我々は,探索段階を多目的最適化問題として明示的に考えることにより,効率の追求を一歩進めることを目指している。
論文 参考訳(メタデータ) (2023-03-23T21:30:29Z) - DATA: Domain-Aware and Task-Aware Pre-training [94.62676913928831]
我々は、自己教師付き学習(SSL)に特化した、シンプルで効果的なNASアプローチであるDataを提示する。
提案手法は,画像分類,オブジェクト検出,セマンティックセグメンテーションなど,下流タスクにおける計算コストの広い範囲にわたる有望な結果を実現する。
論文 参考訳(メタデータ) (2022-03-17T02:38:49Z) - NASCaps: A Framework for Neural Architecture Search to Optimize the
Accuracy and Hardware Efficiency of Convolutional Capsule Networks [10.946374356026679]
我々は,異なるタイプのディープニューラルネットワーク(DNN)のハードウェア対応NASの自動フレームワークであるNASCapsを提案する。
多目的遺伝的アルゴリズム(NSGA-IIアルゴリズム)の展開の有効性について検討する。
我々のフレームワークは、NASフローの特別なカプセル層と動的ルーティングをモデル化し、サポートする最初のフレームワークです。
論文 参考訳(メタデータ) (2020-08-19T14:29:36Z) - CATCH: Context-based Meta Reinforcement Learning for Transferrable
Architecture Search [102.67142711824748]
CATCHは、転送可能なarChitecture searcHのための、Context-bAsed meTa強化学習アルゴリズムである。
メタラーニングとRLの組み合わせにより、CATCHは検索空間に依存しないまま、新しいタスクに効率的に適応できる。
また、ImageNet、COCO、Cityscapesの競合ネットワークとしてクロスドメインアーキテクチャサーチを扱うこともできる。
論文 参考訳(メタデータ) (2020-07-18T09:35:53Z) - NAS-Bench-NLP: Neural Architecture Search Benchmark for Natural Language
Processing [12.02718579660613]
我々は自然言語処理(NLP)の中核である言語モデリングタスクを活用することで、コンピュータビジョン領域の外部へ踏み出す。
テキストデータセット上にリカレントニューラルネットワークの検索スペースを提供し、その内部に14kのアーキテクチャをトレーニングしました。
我々は,意味的関連性および言語理解評価のためのデータセットを用いて,訓練されたモデルの内在的および外在的評価を行った。
論文 参考訳(メタデータ) (2020-06-12T12:19:06Z) - Local Search is a Remarkably Strong Baseline for Neural Architecture
Search [0.0]
ニューラルネットワーク探索(NAS)のための簡単な局所探索(LS)アルゴリズムを初めて検討する。
我々は、2つの確立された画像分類タスクに対して200Kのネットワーク評価を含む2つのベンチマークデータセット、MacroNAS-C10とMacroNAS-C100をリリースする。
論文 参考訳(メタデータ) (2020-04-20T00:08:34Z) - NAS-Count: Counting-by-Density with Neural Architecture Search [74.92941571724525]
ニューラルアーキテクチャサーチ(NAS)を用いたカウントモデルの設計を自動化する
エンド・ツー・エンドの検索エンコーダ・デコーダアーキテクチャであるAutomatic Multi-Scale Network(AMSNet)を導入する。
論文 参考訳(メタデータ) (2020-02-29T09:18:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。