論文の概要: Large Language Model Assisted Adversarial Robustness Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2406.05433v1
• Date: Sat, 8 Jun 2024 10:45:07 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-11 19:45:22.146566
• Title: Large Language Model Assisted Adversarial Robustness Neural Architecture Search
• Title（参考訳）: 対向ロバスト性ニューラルアーキテクチャ探索を支援する大言語モデル
• Authors: Rui Zhong, Yang Cao, Jun Yu, Masaharu Munetomo,
• Abstract要約: 本稿では,敵対的ニューラルアーキテクチャ探索(ARNAS)のためのLLMO(LLMO)を提案する。 標準CRISPEフレームワーク(キャパシティとロール、インサイト、ステートメント、パーソナリティ、実験)を用いてプロンプトを設計する。 我々はプロンプトを反復的に洗練し、Geminiからの応答はARNASインスタンスの解として適応される。
• 参考スコア（独自算出の注目度）: 14.122460940115069
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Motivated by the potential of large language models (LLMs) as optimizers for solving combinatorial optimization problems, this paper proposes a novel LLM-assisted optimizer (LLMO) to address adversarial robustness neural architecture search (ARNAS), a specific application of combinatorial optimization. We design the prompt using the standard CRISPE framework (i.e., Capacity and Role, Insight, Statement, Personality, and Experiment). In this study, we employ Gemini, a powerful LLM developed by Google. We iteratively refine the prompt, and the responses from Gemini are adapted as solutions to ARNAS instances. Numerical experiments are conducted on NAS-Bench-201-based ARNAS tasks with CIFAR-10 and CIFAR-100 datasets. Six well-known meta-heuristic algorithms (MHAs) including genetic algorithm (GA), particle swarm optimization (PSO), differential evolution (DE), and its variants serve as baselines. The experimental results confirm the competitiveness of the proposed LLMO and highlight the potential of LLMs as effective combinatorial optimizers. The source code of this research can be downloaded from \url{https://github.com/RuiZhong961230/LLMO}.
• Abstract（参考訳）: 本稿では,組合せ最適化問題の解法として,大規模言語モデル (LLM) のポテンシャルを活かして,対向ロバスト性ニューラルアーキテクチャサーチ (ARNAS) に対処する新しいLLM支援オプティマイザ (LLMO) を提案する。 我々は標準CRISPEフレームワーク(能力と役割、洞察、ステートメント、パーソナリティ、実験)を用いてプロンプトを設計する。 本研究では,Googleが開発した強力なLLMであるGeminiを採用する。 我々はプロンプトを反復的に洗練し、Geminiからの応答はARNASインスタンスの解として適応される。 NAS-Bench-201-based ARNAS task with CIFAR-10 and CIFAR-100 datas。 遺伝的アルゴリズム(GA)、粒子群最適化(PSO)、微分進化(DE)、およびその変種を含む6つのよく知られたメタヒューリスティックアルゴリズム(MHA)がベースラインとして機能する。 実験によりLLMOの競合性を確認し,LLMを効果的な組合せ最適化器としての可能性を強調した。 この研究のソースコードは \url{https://github.com/RuiZhong961230/LLMO} からダウンロードできる。

関連論文リスト

• Large Language Models for Combinatorial Optimization of Design Structure Matrix [4.513609458468522]
  エンジニアリングアプリケーションの効率と性能を改善するためには、組合せ最適化(CO)が不可欠である。 実世界の工学的問題に関しては、純粋数学的推論に基づくアルゴリズムは限定的であり、最適化に必要な文脈ニュアンスを捉えることができない。 本研究では,工学的CO問題の解法におけるLarge Language Models (LLMs) の可能性について,その推論能力と文脈的知識を活用して検討する。
  論文  参考訳（メタデータ） (2024-11-19T15:39:51Z)
• Optima: Optimizing Effectiveness and Efficiency for LLM-Based Multi-Agent System [75.25394449773052]
  大規模言語モデル (LLM) に基づくマルチエージェントシステム (MAS) は協調的問題解決において顕著な可能性を示している。 通信効率の低下、スケーラビリティの低下、効果的なパラメータ更新方法の欠如などです。 本稿では,コミュニケーション効率とタスク効率を両立させ,これらの課題に対処する新しいフレームワークOptimaを提案する。
  論文  参考訳（メタデータ） (2024-10-10T17:00:06Z)
• LLaMA-Berry: Pairwise Optimization for O1-like Olympiad-Level Mathematical Reasoning [56.273799410256075]
  このフレームワークはMonte Carlo Tree Search (MCTS)と反復的なSelf-Refineを組み合わせて推論パスを最適化する。 このフレームワークは、一般的なベンチマークと高度なベンチマークでテストされており、探索効率と問題解決能力の点で優れた性能を示している。
  論文  参考訳（メタデータ） (2024-10-03T18:12:29Z)
• Solving General Natural-Language-Description Optimization Problems with Large Language Models [34.50671063271608]
  外部ソルバでLLMを増強するOPtLLMという新しいフレームワークを提案する。 OptLLMは自然言語でユーザクエリを受け付け、それらを数学的定式化やプログラミングコードに変換し、解決者を呼び出して結果を計算する。 OptLLMフレームワークのいくつかの機能は、2023年6月から試用されている。
  論文  参考訳（メタデータ） (2024-07-09T07:11:10Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Large Language Models As Evolution Strategies [6.873777465945062]
  本研究では,大規模言語モデル (LLM) が進化的最適化アルゴリズムを実装可能であるかどうかを考察する。 我々は,最小から最多の集団集団を選別する新規なプロンプト戦略を導入する。 我々の設定により、ユーザがLLMベースの進化戦略を得ることができ、それはEvoLLM'と呼ばれ、ベースラインアルゴリズムを頑健に上回る。
  論文  参考訳（メタデータ） (2024-02-28T15:02:17Z)
• Unleashing the Potential of Large Language Models as Prompt Optimizers: An Analogical Analysis with Gradient-based Model Optimizers [108.72225067368592]
  本稿では,大規模言語モデル(LLM)に基づくプロンプトの設計について検討する。 モデルパラメータ学習における2つの重要な要素を同定する。 特に、勾配に基づく最適化から理論的な枠組みや学習手法を借用し、改良された戦略を設計する。
  論文  参考訳（メタデータ） (2024-02-27T15:05:32Z)
• Can LLMs Configure Software Tools [0.76146285961466]
  ソフトウェア工学では、複雑なシステム内での最適なパフォーマンスを確保するためには、ソフトウェアツールの精巧な構成が不可欠である。 本研究では,Large-Language Models (LLMs) を利用したソフトウェア構成プロセスの合理化について検討する。 本研究は,Chat-GPTなどのLCMを用いて,開始条件を特定し,検索空間を狭め,構成効率を向上する手法を提案する。
  論文  参考訳（メタデータ） (2023-12-11T05:03:02Z)
• Large Language Models as Evolutionary Optimizers [37.92671242584431]
  本稿では,大言語モデル(LLM)を進化論として初めて研究する。 主な利点は、最小限のドメイン知識と人間の努力が必要であり、モデルに追加のトレーニングは必要ありません。 また,進化探索における自己適応機構の有効性についても検討した。
  論文  参考訳（メタデータ） (2023-10-29T15:44:52Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)
• Off-Policy Reinforcement Learning for Efficient and Effective GAN Architecture Search [50.40004966087121]
  本稿では,GANアーキテクチャ探索のための強化学習に基づくニューラルアーキテクチャ探索手法を提案する。 鍵となる考え方は、よりスムーズなアーキテクチャサンプリングのためのマルコフ決定プロセス(MDP)として、GANアーキテクチャ探索問題を定式化することである。 我々は,従来の政策によって生成されたサンプルを効率的に活用する,非政治的なGANアーキテクチャ探索アルゴリズムを利用する。
  論文  参考訳（メタデータ） (2020-07-17T18:29:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。