論文の概要: NNGPT: Rethinking AutoML with Large Language Models

• arxiv url: http://arxiv.org/abs/2511.20333v1
• Date: Tue, 25 Nov 2025 14:10:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-26 17:37:04.497528
• Title: NNGPT: Rethinking AutoML with Large Language Models
• Title（参考訳）: NNGPT: 大規模言語モデルによるAutoMLの再考
• Authors: Roman Kochnev, Waleed Khalid, Tolgay Atinc Uzun, Xi Zhang, Yashkumar Sanjaybhai Dhameliya, Furui Qin, Chandini Vysyaraju, Raghuvir Duvvuri, Avi Goyal, Dmitry Ignatov, Radu Timofte,
• Abstract要約: NNGPTは、大規模な言語モデル(LLM)を、ニューラルネットワーク開発のための自己改善型のAutoMLエンジンに変換する、オープンソースのフレームワークである。 ゼロショットアーキテクチャ合成、ハイパーパラメータ最適化、コード認識精度/早期停止予測、強化学習の5つのシナジスティックLLMベースのパイプラインに統合されている。 このシステムは、すでに5K以上の検証済みモデルを生成しており、自律的なAutoMLエンジンとしてNNGPTを証明している。
• 参考スコア（独自算出の注目度）: 36.90850535125572
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Building self-improving AI systems remains a fundamental challenge in the AI domain. We present NNGPT, an open-source framework that turns a large language model (LLM) into a self-improving AutoML engine for neural network development, primarily for computer vision. Unlike previous frameworks, NNGPT extends the dataset of neural networks by generating new models, enabling continuous fine-tuning of LLMs based on closed-loop system of generation, assessment, and self-improvement. It integrates within one unified workflow five synergistic LLM-based pipelines: zero-shot architecture synthesis, hyperparameter optimization (HPO), code-aware accuracy/early-stop prediction, retrieval-augmented synthesis of scope-closed PyTorch blocks (NN-RAG), and reinforcement learning. Built on the LEMUR dataset as an audited corpus with reproducible metrics, NNGPT emits from a single prompt and validates network architecture, preprocessing code, and hyperparameters, executes them end-to-end, and learns from result. The PyTorch adapter makes NNGPT framework-agnostic, enabling strong performance: NN-RAG achieves 73% executability on 1,289 targets, 3-shot prompting boosts accuracy on common datasets, and hash-based deduplication saves hundreds of runs. One-shot prediction matches search-based AutoML, reducing the need for numerous trials. HPO on LEMUR achieves RMSE 0.60, outperforming Optuna (0.64), while the code-aware predictor reaches RMSE 0.14 with Pearson r=0.78. The system has already generated over 5K validated models, proving NNGPT as an autonomous AutoML engine. Upon acceptance, the code, prompts, and checkpoints will be released for public access to enable reproducibility and facilitate community usage.
• Abstract（参考訳）: 自己改善型AIシステムの構築は、AI領域における根本的な課題である。 我々は,大規模な言語モデル(LLM)をニューラルネットワーク開発のための自己改善型AutoMLエンジンに変換する,オープンソースのフレームワークであるNNGPTを紹介する。 従来のフレームワークとは異なり、NGPTは新しいモデルを生成することでニューラルネットワークのデータセットを拡張し、生成、アセスメント、自己改善のクローズドループシステムに基づくLLMの継続的な微調整を可能にする。 ゼロショットアーキテクチャ合成、ハイパーパラメータ最適化(HPO)、コード認識精度/アーリーストップ予測、スコープ閉鎖されたPyTorchブロック(NN-RAG)の検索強化合成、強化学習の5つのシナジスティックLLMベースのパイプラインに統合されている。 LEMURデータセットを再現可能なメトリクスを備えた監査コーパスとして構築し、NNGPTは単一のプロンプトから出力し、ネットワークアーキテクチャ、前処理コード、ハイパーパラメータを検証し、エンドツーエンドで実行し、結果から学習する。 NN-RAGは1,289のターゲットで73%のエグゼキュータビリティを実現し、3ショットのプロンプトによって一般的なデータセットの精度が向上し、ハッシュベースの重複が数百回の実行を節約する。 ワンショット予測は検索ベースのAutoMLと一致し、多数のトライアルの必要性が軽減される。 HPO on LEMUR は RMSE 0.60 を達成し、Optuna (0.64) を上回り、コード認識予測器は Pearson r=0.78 で RMSE 0.14 に達する。 このシステムは、すでに5K以上の検証済みモデルを生成しており、自律的なAutoMLエンジンとしてNNGPTを証明している。 承認されると、コード、プロンプト、チェックポイントが公開され、再現性とコミュニティの利用が促進される。

関連論文リスト

• LLM-AR: LLM-powered Automated Reasoning Framework [0.0]
  大規模言語モデル(LLM)はすでにパターンを識別し、推論を効果的に行うことができるが、その変動精度は高い意思決定アプリケーションで採用されている。 本稿では,LLM生成物をProbLog自動推論エンジンによって実行される確率的ルールに分解する,ニューラルシンボリックシステムにインスパイアされたパイプラインLLM-ARを紹介する。 LLM-ARは59.5%の精度と8.7%のリコールを達成し、5.9倍のランダムなベースライン精度を達成し、人間の検査のためのすべての決定経路を公開する。
  論文  参考訳（メタデータ） (2025-10-24T21:36:18Z)
• QiMeng-CodeV-R1: Reasoning-Enhanced Verilog Generation [51.393569044134445]
  大きな言語モデル(LLM)は、強化学習と検証可能な報酬(RLVR)によって訓練され、明示的で自動化可能な検証を伴うタスクにおいてブレークスルーを達成した。 しかし、自然言語(NL)仕様からVerilogのようなハードウェア記述言語(HDL)を自動的に生成するRLVRの拡張には、3つの大きな課題がある。 本稿では,Verilog 生成 LLM をトレーニングするための RLVR フレームワークである CodeV-R1 を紹介する。
  論文  参考訳（メタデータ） (2025-05-30T03:51:06Z)
• LLM-Based Emulation of the Radio Resource Control Layer: Towards AI-Native RAN Protocols [28.04609776570199]
  大型AIモデル(LAM)はAI-Native Air Interface(AI-AI)の重要な実現要因である 本稿では,デコーダのみのLAMを用いた無線リソース制御層の最初の標準準拠エミュレーションを提案する。 その結果,LSMをプロトコル対応推論で拡張すると,制御プレーンの手順を直接オーケストレーションできることがわかった。
  論文  参考訳（メタデータ） (2025-05-22T15:55:56Z)
• LEMUR Neural Network Dataset: Towards Seamless AutoML [35.57280723615144]
  我々は、PyTorchベースのニューラルネットワークの大規模なコレクションを提供するオープンソースのデータセットとフレームワークであるLEMURを紹介する。 各モデルは統一されたテンプレートに従い、構成と結果が構造化データベースに格納され、一貫性が保証される。 LEMURはAutoMLの研究を加速し、公正なベンチマークを可能にし、大規模ニューラルネットワーク研究の障壁を減らすことを目的としている。
  論文  参考訳（メタデータ） (2025-04-14T09:08:00Z)
• ProofAug: Efficient Neural Theorem Proving via Fine-grained Proof Structure Analysis [50.020850767257095]
  本稿では,LLMに様々な粒度で自動化手法を付加するProofAugを提案する。 本手法は,オープンソースのDeep-math-7bベースモデルとIsabelle証明アシスタントを用いて,MiniF2Fベンチマークで検証した。 また、ProofAugのLean 4バージョンを実装し、Kimina-Prover-seek-Distill-1.5Bのパス@1のパフォーマンスを44.3%から50.4%に改善します。
  論文  参考訳（メタデータ） (2025-01-30T12:37:06Z)
• Auto-PyTorch Tabular: Multi-Fidelity MetaLearning for Efficient and Robust AutoDL [53.40030379661183]
  Auto-PyTorchは、完全に自動化されたディープラーニング(AutoDL)を実現するフレームワーク ディープニューラルネットワーク(DNN)のウォームスタートとアンサンブルのためのマルチフィデリティ最適化とポートフォリオ構築を組み合わせる。 Auto-PyTorchは、いくつかの最先端の競合製品よりもパフォーマンスが良いことを示す。
  論文  参考訳（メタデータ） (2020-06-24T15:15:17Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。