論文の概要: Delta-Based Neural Architecture Search: LLM Fine-Tuning via Code Diffs

• arxiv url: http://arxiv.org/abs/2605.04903v1
• Date: Wed, 06 May 2026 13:32:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-07 18:41:07.840192
• Title: Delta-Based Neural Architecture Search: LLM Fine-Tuning via Code Diffs
• Title（参考訳）: デルタベースのニューラルネットワークサーチ:コードディフによるLLMファインチューニング
• Authors: Santosh Premi Adhikari, Radu Timofte, Dmitry Ignatov,
• Abstract要約: 大規模言語モデル(LLM)は、ニューラルアーキテクチャ生成の強力な可能性を示している。 既存のアプローチは、ゼロから完全なモデル実装を生成します。 我々はデルタ符号生成法を提案し、細調整されたLLMはコンパクトな統一差分を生成する。
• 参考スコア（独自算出の注目度）: 48.83701310501069
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) show strong potential for neural architecture generation, yet existing approaches produce complete model implementations from scratch -- computationally expensive and yielding verbose code. We propose Delta-Code Generation, where fine-tuned LLMs generate compact unified diffs (deltas) to refine baseline architectures rather than synthesizing entire models. Our pipeline iteratively fine-tunes the LLM via LoRA on curated architectures from the LEMUR dataset, with MinHash-Jaccard novelty filtering for structural diversity. We evaluate three 7B-class LLMs -- DeepSeek-Coder-7B, Qwen2.5-Coder-7B, and Mistral-7B -- across six datasets (CIFAR-10, CIFAR-100, MNIST, SVHN, ImageNette, CelebA) using a 22-cycle protocol (1,100 candidates per LLM). All three substantially surpass the full-generation baseline (50.6% valid rate, 42.3% mean first-epoch accuracy): DeepSeek-Coder reaches 75.3% valid rate and 65.8% mean accuracy; Qwen2.5-Coder 72.1%/64.6%; Mistral 66.6%/66.1%. On CIFAR-10, best first-epoch accuracies reach 85.5% (Mistral), 85.2% (DeepSeek), 80.6% (Qwen) -- well above 63.98% full generation and 71.5% for the concurrent approach of Gu et al. Output lengths are 30-50 lines versus 200+ for full generation (75-85% reduction). A 50-epoch study confirms the 1-epoch proxy preserves rankings (Mistral: Spearman $ρ$ = 0.926). Delta-based generation is a token-efficient, multi-domain, LLM-agnostic alternative to full-model synthesis for LLM-driven NAS.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ニューラルネットワーク生成の強力な可能性を示しているが、既存のアプローチは、計算コストが高く、冗長なコードを生成する、ゼロから完全なモデル実装を生成する。 モデル全体を合成するのではなく,コンパクトな統一差分(差分)を生成するデルタ符号生成法を提案する。 我々のパイプラインは、LEMURデータセットのキュレートされたアーキテクチャをLoRA経由で繰り返し微調整し、MinHash-Jaccardノベルティフィルタリングを構造多様性のために使用しています。 我々は,22サイクルプロトコル(LLM当たり1,100候補)を用いて,6つのデータセット(CIFAR-10,CIFAR-100,MNIST,SVHN,ImageNette,CelebA)にわたって,DeepSeek-Coder-7B,Qwen2.5-Coder-7B,Mistral-7Bの3種類の7Bクラスを評価した。 いずれもフル世代のベースライン(50.6%の有効率、42.3%の初回精度)をはるかに上回り、DeepSeek-Coderは75.3%の有効レート、65.8%の平均精度、Qwen2.5-Coderは72.1%/64.6%、Mistral 66.6%/66.1%である。 CIFAR-10では、最初期のアキュラシーは85.5%(ミストラル)、85.2%(ディープシーク)、80.6%(クウェン)、63.98%のフルジェネレーション、71.5%のコンカレントアプローチは30～50行、フルジェネレーションは200行(75～85%)である。 50エポックの研究では、1エポックのプロキシがランクを保っていることが確認されている(ミストラル: Spearman $ρ$ = 0.926)。 デルタ・ベース・ジェネレーション(Delta-based generation)は、LLM駆動NASのためのフルモデル合成に代わるトークン効率、マルチドメイン、LCMに依存しない代替品である。

関連論文リスト

• From Code to Prediction: Fine-Tuning LLMs for Neural Network Performance Classification in NNGPT [48.83701310501069]
  NNGPTフレームワークに組み込まれた分類タスクを提案する。 微調整されたLLMは、与えられたニューラルネットワークアーキテクチャの2つの画像分類データセットのうちどれがより高い精度を達成するかを予測する。 その結果、LLMはニューラルネットワークコードからデータセット間の適合性を予測するために微調整可能であることが判明した。
  論文  参考訳（メタデータ） (2026-05-05T12:30:19Z)
• ChipCraftBrain: Validation-First RTL Generation via Multi-Agent Orchestration [0.0]
  MAGEのようなマルチエージェントのアプローチはVerilogEvalでは95.9%に達したが、厳しい産業ベンチマークではテストされていない。 本稿では,シンボリック・ニューラル推論と適応型マルチエージェントオーケストレーションを組み合わせた自動RTL生成フレームワークChipCraftBrainを提案する。
  論文  参考訳（メタデータ） (2026-04-21T17:20:24Z)
• Benchmarking Linguistic Adaptation in Comparable-Sized LLMs: A Study of Llama-3.1-8B, Mistral-7B-v0.1, and Qwen3-8B on Romanized Nepali [0.0]
  ネパール語はラテン文字で書かれたネパール語であり、ネパールにおける非公式なデジタルコミュニケーションの主流となっている。 本研究では、3つの同等サイズのオープンウェイトモデルにまたがる言語適応の系統的ベンチマークを示す。
  論文  参考訳（メタデータ） (2026-03-25T07:02:51Z)
• Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
  ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。 本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-03-12T16:00:22Z)
• From Memorization to Creativity: LLM as a Designer of Novel Neural-Architectures [48.83701310501069]
  大規模言語モデル(LLM)は、プログラム合成において優れているが、ニューラルネットワーク設計(信頼性、性能、構造的ノベルティ)を自律的にナビゲートする能力は、未調査のままである。 コード指向LLMをクローズドループ合成フレームワークに配置し、22の教師付き微調整サイクルの進化を解析することによって、この問題に対処する。
  論文  参考訳（メタデータ） (2026-01-06T13:20:28Z)
• DataComp-LM: In search of the next generation of training sets for language models [200.5293181577585]
  DataComp for Language Models (DCLM)は、制御されたデータセット実験のためのテストベッドであり、言語モデルを改善することを目的としている。 我々は、Common Crawlから抽出された240Tトークンの標準化コーパス、OpenLMフレームワークに基づく効果的な事前学習レシピ、53の下流評価スイートを提供する。 DCLMベンチマークの参加者は、412Mから7Bパラメータのモデルスケールでの重複、フィルタリング、データ混合などのデータキュレーション戦略を実験することができる。
  論文  参考訳（メタデータ） (2024-06-17T17:42:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。