論文の概要: From Code to Prediction: Fine-Tuning LLMs for Neural Network Performance Classification in NNGPT

• arxiv url: http://arxiv.org/abs/2605.03686v1
• Date: Tue, 05 May 2026 12:30:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.930324
• Title: From Code to Prediction: Fine-Tuning LLMs for Neural Network Performance Classification in NNGPT
• Title（参考訳）: コードから予測へ:NNGPTにおけるニューラルネットワーク性能分類のための微調整LDM
• Authors: Mahmoud Hanouneh, Radu Timofte, Dmitry Ignatov,
• Abstract要約: NNGPTフレームワークに組み込まれた分類タスクを提案する。 微調整されたLLMは、与えられたニューラルネットワークアーキテクチャの2つの画像分類データセットのうちどれがより高い精度を達成するかを予測する。 その結果、LLMはニューラルネットワークコードからデータセット間の適合性を予測するために微調整可能であることが判明した。
• 参考スコア（独自算出の注目度）: 48.83701310501069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Automated Machine Learning (AutoML) frameworks increasingly leverage Large Language Models (LLMs) for tasks such as hyperparameter optimization and neural architecture code generation. However, current LLM-based approaches focus on generative outputs and evaluate them by training the produced artifacts. Whether LLMs can learn to reason about neural network performance across datasets remains underexplored. We present a classification task integrated into the NNGPT framework, in which a fine-tuned LLM predicts which of two image classification datasets a given neural network architecture achieves higher accuracy on. The task is built on the LEMUR dataset, which provides standardized PyTorch implementations with reproducible performance metrics. Three prompt configurations of increasing difficulty are evaluated: a normalized-accuracy baseline (trivially reaching 100%), a metadata-enriched prompt replacing accuracies with dataset properties, and a code-only prompt presenting only architecture source code and dataset names. Using DeepSeek-Coder-7B-Instruct fine-tuned with LoRA, the code-only prompt reaches 80% peak accuracy over 15 epochs, while the metadata prompt peaks at 70%. Perdataset analysis reveals complementary strengths: metadata excels for datasets with distinctive properties (CelebAGender at 90.9%) but degrades for overlapping characteristics, whereas the code-only prompt shows more balanced performance. A comparison with DeepSeek-Coder1.3B confirms that model capacity affects this form of architectural reasoning. The results establish that LLMs can be fine-tuned to predict cross-dataset suitability from neural network code, suggesting that architecture source code contains richer discriminative signal than dataset metadata alone.
• Abstract（参考訳）: 自動機械学習(AutoML)フレームワークは、ハイパーパラメータ最適化やニューラルアーキテクチャコード生成といったタスクに、大規模言語モデル(LLM)をますます活用している。 しかし、現在のLLMベースのアプローチは、生成した成果物に焦点をあて、生成した成果物をトレーニングすることで評価する。 LLMがデータセット間でニューラルネットワークのパフォーマンスを推論できることを学べるかどうかはまだ未定だ。 NNGPTフレームワークに組み込まれた分類タスクでは、与えられたニューラルネットワークアーキテクチャの2つの画像分類データセットのうち、どれがより精度が高いかを微調整したLLMが予測する。 このタスクは、再現可能なパフォーマンスメトリクスを備えた標準化されたPyTorch実装を提供するLEMURデータセット上に構築されている。 難易度を高めるための3つのプロンプト構成が評価されている。正規化された精度ベースライン(自明に100%に達する)、メタデータに富んだプロンプトがデータセットプロパティに置き換えられ、コードのみのプロンプトがアーキテクチャのソースコードとデータセット名のみを表示する。 DeepSeek-Coder-7B-InstructをLoRAで微調整することで、コードのみのプロンプトは15時間で80%のピーク精度に達し、メタデータのプロンプトは70%に達する。 メタデータは特徴のあるデータセット(CelebAGenderは90.9%)に対して排他的だが、重複する特性では分解され、コードのみのプロンプトはよりバランスの取れたパフォーマンスを示す。 DeepSeek-Coder1.3Bとの比較では、モデルキャパシティがこのアーキテクチャの推論形式に影響を与えることが確認されている。 結果は、LLMがニューラルネットワークコードからデータセット間の適合性を予測するために微調整可能であることを証明し、アーキテクチャのソースコードは、データセットメタデータ単独よりも豊かな識別シグナルを含んでいることを示唆している。

関連論文リスト

• NNGPT: Rethinking AutoML with Large Language Models [36.90850535125572]
  NNGPTは、大規模な言語モデル(LLM)を、ニューラルネットワーク開発のための自己改善型のAutoMLエンジンに変換する、オープンソースのフレームワークである。 ゼロショットアーキテクチャ合成、ハイパーパラメータ最適化、コード認識精度/早期停止予測、強化学習の5つのシナジスティックLLMベースのパイプラインに統合されている。 このシステムは、すでに5K以上の検証済みモデルを生成しており、自律的なAutoMLエンジンとしてNNGPTを証明している。
  論文  参考訳（メタデータ） (2025-11-25T14:10:44Z)
• Private Training & Data Generation by Clustering Embeddings [74.00687214400021]
  差分プライバシー(DP)は、個々のデータを保護するための堅牢なフレームワークを提供する。 本稿では,DP合成画像埋め込み生成のための新しい原理的手法を提案する。 経験的に、合成的に生成された埋め込みに基づいて訓練された単純な2層ニューラルネットワークは、最先端(SOTA)分類の精度を達成する。
  論文  参考訳（メタデータ） (2025-06-20T00:17:14Z)
• LEMUR Neural Network Dataset: Towards Seamless AutoML [35.57280723615144]
  我々は、PyTorchベースのニューラルネットワークの大規模なコレクションを提供するオープンソースのデータセットとフレームワークであるLEMURを紹介する。 各モデルは統一されたテンプレートに従い、構成と結果が構造化データベースに格納され、一貫性が保証される。 LEMURはAutoMLの研究を加速し、公正なベンチマークを可能にし、大規模ニューラルネットワーク研究の障壁を減らすことを目的としている。
  論文  参考訳（メタデータ） (2025-04-14T09:08:00Z)
• SnipGen: A Mining Repository Framework for Evaluating LLMs for Code [51.07471575337676]
  言語モデル(LLM)は、コードリポジトリを含む広範なデータセットに基づいてトレーニングされる。 それらの有効性を評価することは、トレーニングに使用されるデータセットと評価に使用されるデータセットとが重複する可能性があるため、大きな課題となる。 SnipGenは、コード生成のために、様々な下流タスクをまたいだ迅速なエンジニアリングを活用するように設計された包括的なリポジトリマイニングフレームワークである。
  論文  参考訳（メタデータ） (2025-02-10T21:28:15Z)
• MLLM-DataEngine: An Iterative Refinement Approach for MLLM [62.30753425449056]
  本稿では,データ生成,モデルトレーニング,評価を橋渡しする新しいクローズドループシステムを提案する。 各ループ内で、MLLM-DataEngineはまず評価結果に基づいてモデルの弱点を分析する。 ターゲットとして,異なる種類のデータの比率を調整する適応型バッドケースサンプリングモジュールを提案する。 品質については、GPT-4を用いて、各データタイプで高品質なデータを生成する。
  論文  参考訳（メタデータ） (2023-08-25T01:41:04Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• Systematic Evaluation of Deep Learning Models for Log-based Failure Prediction [3.3810628880631226]
  本稿では,障害予測のためのログデータ埋め込み戦略とディープラーニング(DL)タイプの組み合わせを系統的に検討する。 そこで我々は,組込み戦略とDLベースのエンコーダの様々な構成に対応するモジュールアーキテクチャを提案する。 また,F1スコア測定値を用いて,Logkey2vecを用いたCNNベースのエンコーダが最適であることを示す。
  論文  参考訳（メタデータ） (2023-03-13T16:04:14Z)
• NASirt: AutoML based learning with instance-level complexity information [0.0]
  我々は、スペクトルデータセットの高精度CNNアーキテクチャを見つけるAutoML手法であるNASirtを提案する。 我々の手法は、ほとんどの場合、ベンチマークよりも優れた性能を示し、平均精度は97.40%に達する。
  論文  参考訳（メタデータ） (2020-08-26T22:21:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。