論文の概要: SEKI: Self-Evolution and Knowledge Inspiration based Neural Architecture Search via Large Language Models

• arxiv url: http://arxiv.org/abs/2502.20422v1
• Date: Thu, 27 Feb 2025 09:17:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:44:00.626561
• Title: SEKI: Self-Evolution and Knowledge Inspiration based Neural Architecture Search via Large Language Models
• Title（参考訳）: SEKI: 大規模言語モデルによる自己進化と知識インスピレーションに基づくニューラルアーキテクチャ検索
• Authors: Zicheng Cai, Yaohua Tang, Yutao Lai, Hua Wang, Zhi Chen, Hao Chen,
• Abstract要約: 本稿では,新しい大規模言語モデル (LLM) に基づくニューラルアーキテクチャ探索 (NAS) 手法であるSEKIを紹介する。 現代のLLMにおけるチェーン・オブ・シント(CoT)パラダイムにインスパイアされたセキは、自己進化と知識蒸留という2つの重要な段階で動作している。
• 参考スコア（独自算出の注目度）: 11.670056503731905
• License:
• Abstract: We introduce SEKI, a novel large language model (LLM)-based neural architecture search (NAS) method. Inspired by the chain-of-thought (CoT) paradigm in modern LLMs, SEKI operates in two key stages: self-evolution and knowledge distillation. In the self-evolution stage, LLMs initially lack sufficient reference examples, so we implement an iterative refinement mechanism that enhances architectures based on performance feedback. Over time, this process accumulates a repository of high-performance architectures. In the knowledge distillation stage, LLMs analyze common patterns among these architectures to generate new, optimized designs. Combining these two stages, SEKI greatly leverages the capacity of LLMs on NAS and without requiring any domain-specific data. Experimental results show that SEKI achieves state-of-the-art (SOTA) performance across various datasets and search spaces while requiring only 0.05 GPU-days, outperforming existing methods in both efficiency and accuracy. Furthermore, SEKI demonstrates strong generalization capabilities, achieving SOTA-competitive results across multiple tasks.
• Abstract（参考訳）: 本稿では,新しい大規模言語モデル (LLM) に基づくニューラルアーキテクチャ探索 (NAS) 手法であるSEKIを紹介する。 現代のLLMにおけるチェーン・オブ・シント(CoT)パラダイムにインスパイアされたセキは、自己進化と知識蒸留という2つの重要な段階で動作している。 自己進化の段階では、LLMには十分な参照例がないため、我々は性能フィードバックに基づいてアーキテクチャを強化する反復的な改善機構を実装している。 時間の経過とともに、このプロセスは高性能アーキテクチャのリポジトリを蓄積する。 知識蒸留の段階では、LLMはこれらのアーキテクチャの共通パターンを分析し、新しい最適化された設計を生成する。 これらの2つのステージを組み合わせることで、SEKIはNAS上のLLMの容量を大幅に活用し、ドメイン固有のデータを必要としない。 実験結果から,SEKIはさまざまなデータセットや検索空間をまたいだSOTA(State-of-the-art)のパフォーマンスを達成でき,GPUの日数はわずか0.05で,効率と精度の両方で既存手法よりも優れていた。 さらに、SEKIは強力な一般化能力を示し、複数のタスクにまたがるSOTA競合的な結果を達成する。

関連論文リスト

• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• Building a Family of Data Augmentation Models for Low-cost LLM Fine-tuning on the Cloud [12.651588927599441]
  モデル微調整の効率を大幅に向上するために,データ拡張モデル群を提案する。 これらのモデルは十分に小さなLLMに基づいて訓練され、推論コストの低い重要な機能をサポートする。 実験と応用研究は、我々のアプローチの有効性を証明した。
  論文  参考訳（メタデータ） (2024-12-06T09:04:12Z)
• POMONAG: Pareto-Optimal Many-Objective Neural Architecture Generator [4.09225917049674]
  Transferable NASが登場し、データセット依存からタスク依存への探索プロセスを一般化した。 本稿では多目的拡散プロセスを通じて拡散NAGを拡張するPOMONAGを紹介する。 結果は、NAS201とMobileNetV3の2つの検索スペースで検証され、15の画像分類データセットで評価された。
  論文  参考訳（メタデータ） (2024-09-30T16:05:29Z)
• NVLM: Open Frontier-Class Multimodal LLMs [64.00053046838225]
  NVLM 1.0は、フロンティアクラスのマルチモーダル言語モデル(LLM)のファミリーであり、視覚言語タスクの最先端結果を実現する。 トレーニング効率とマルチモーダル推論能力を両立させる新しいアーキテクチャを提案する。 我々は、NVLM-1.0モデルのための生産級マルチモーダリティを開発し、視覚言語タスクに優れる。
  論文  参考訳（メタデータ） (2024-09-17T17:59:06Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• EvoPrompting: Language Models for Code-Level Neural Architecture Search [21.759268833999627]
  進化的ニューラルアーキテクチャ探索アルゴリズムにおける適応突然変異とクロスオーバー演算子としての言語モデル(LM)の利用について検討する。 EvoPromptingと呼ばれる手法であるソフトプロンプトチューニングと進化的プロンプトエンジニアリングの組み合わせは、常に多様かつ高性能なモデルを見つける。
  論文  参考訳（メタデータ） (2023-02-28T18:37:25Z)
• Surrogate-assisted Multi-objective Neural Architecture Search for Real-time Semantic Segmentation [11.866947846619064]
  ニューラルアーキテクチャサーチ(NAS)は、アーキテクチャ設計を自動化するための有望な道として登場した。 セマンティックセグメンテーションにNASを適用する際の課題を解決するために,サロゲート支援多目的手法を提案する。 提案手法は,人手による設計と他のNAS手法による自動設計の両方により,既存の最先端アーキテクチャを著しく上回るアーキテクチャを同定することができる。
  論文  参考訳（メタデータ） (2022-08-14T10:18:51Z)
• Incremental Learning with Differentiable Architecture and Forgetting Search [3.6868861317674524]
  本研究では,NASを漸進学習に活用することで,分類タスクの性能向上が期待できることを示す。 本手法はRF信号と画像分類タスクの両方で評価し,最先端手法よりも最大10%の性能向上を達成できることを実証した。
  論文  参考訳（メタデータ） (2022-05-19T21:47:26Z)
• AutoBERT-Zero: Evolving BERT Backbone from Scratch [94.89102524181986]
  そこで本稿では,提案するハイブリッドバックボーンアーキテクチャを自動検索するOP-NASアルゴリズムを提案する。 提案するOP-NASの効率を向上させるために,探索アルゴリズムと候補モデルの評価を最適化する。 実験の結果、検索されたアーキテクチャ(AutoBERT-Zero)は、様々な下流タスクにおいてBERTとそのバリエーションの異なるモデル容量を著しく上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-07-15T16:46:01Z)
• Stage-Wise Neural Architecture Search [65.03109178056937]
  ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。 これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。 各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。 しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
  論文  参考訳（メタデータ） (2020-04-23T14:16:39Z)
• NAS-Count: Counting-by-Density with Neural Architecture Search [74.92941571724525]
  ニューラルアーキテクチャサーチ(NAS)を用いたカウントモデルの設計を自動化する エンド・ツー・エンドの検索エンコーダ・デコーダアーキテクチャであるAutomatic Multi-Scale Network(AMSNet)を導入する。
  論文  参考訳（メタデータ） (2020-02-29T09:18:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。