Fugu-MT 論文翻訳(概要): Similarity-Guided Curriculum Fine-Tuning of LLMs for Neural Architecture Synthesis

論文の概要: Similarity-Guided Curriculum Fine-Tuning of LLMs for Neural Architecture Synthesis

arxiv url: http://arxiv.org/abs/2607.11591v1
Date: Mon, 13 Jul 2026 14:14:30 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-14 17:47:21.500062
Title: Similarity-Guided Curriculum Fine-Tuning of LLMs for Neural Architecture Synthesis
Title（参考訳）: ニューラルアーキテクチャ合成のためのLCMの類似性ガイドによる微調整
Abstract要約: ニューラルアーキテクチャ探索(NAS)のためのニューラルネットワークコードにプログレッシブなカリキュラムを構築するMinHashベースの類似性スケジューリングフレームワークを導入する。我々は,CIFAR-10画像分類におけるLEMURベンチマークにおいて,オリンピックコード7Bの枠組みを評価する。 SVHNでは,カリキュラムなしの直接ベースモデル生成により,CIFAR-10相当値よりもかなり低い精度(60.5%)で27%のSRが得られる。
参考スコア（独自算出の注目度）: 48.83701310501069
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Introduce a MinHash-based similarity scheduling framework that constructs a progressive curriculum over neural architecture code for LLM-based neural architecture search (NAS). Using 128-permutation MinHash signatures over normalised 7-gram source code shingles, we partition the reference pool into similarity bands and present them in increasing architectural heterogeneity, with the best LoRA adapter from each stage merged cumulatively into the backbone. We evaluate the framework on OlympicCoder-7B within the LEMUR benchmark on CIFAR-10 image classification, generating N =15 candidate architectures per epoch across six progressive fine-tuning steps. The curriculum achieves 60% peak success rate at the high-similarity level without post-processing repair. A 2*2 ablation at the most diverse level curriculum versus base model, with versus without partial interface repair reveals that without repair the base model (47% peak SR) substantially outperforms the curriculum model (7% SR), while adding partial repair brings both to 53% SR. This pattern is consistent with merge-level weight drift progressively erasing evaluator-interface priors, and suggests that interface repair and curriculum scheduling target distinct failure modes. We further report a cross-dataset transfer observation on SVHN, where direct base-model generation without curriculum warmup yields 27% peak SR at substantially lower accuracy (60.5%) than the CIFAR-10 equivalent, consistent with the increased synthesis difficulty of the unq-family anchor architecture.
Abstract（参考訳）: MinHashベースの類似性スケジューリングフレームワークを導入し、LLMベースのニューラルアーキテクチャサーチ(NAS)のためのニューラルアーキテクチャコードのプログレッシブカリキュラムを構築する。正規化された7グラムのソースコードのシグネチャを128置換したMinHashシグネチャを用いて、参照プールを類似したバンドに分割し、アーキテクチャ上の不均一性を増大させ、各ステージの最高のLoRAアダプタを累積的にバックボーンにマージする。 CIFAR-10 画像分類の LEMUR ベンチマークにおいて,CIFAR-10 画像分類におけるオリンピックコード7B の枠組みを評価する。このカリキュラムは、処理後修復することなく、高相似レベルで60%のピーク成功率を達成する。最も多様なレベルのカリキュラムとベースモデルの2*2のアブレーションは、部分的なインタフェースの修復なしでは、ベースモデル(47%のピークSR)がカリキュラムモデル(7%のSR)を大幅に上回り、部分的な修復を加えると53%のSRとなる。このパターンは、マージレベルのウェイトドリフトにより、評価器とインタフェースの先行性を徐々に消去し、インタフェースの修復とカリキュラムのスケジューリングが、異なる障害モードをターゲットにしていることを示唆している。さらに、SVHN上でのクロスデータセット転送観測を行い、カリキュラムウォームアップなしでの直接ベースモデル生成は、Unqアンカーアーキテクチャの合成難易度の増加に応じて、CIFAR-10の等価値よりもかなり低い精度 (60.5%) で27%のピークSRが得られることを示した。

関連論文リスト

ISO: An RLVR-Native Optimization Stack [50.40395312897848]
アイソスペクトル最適化(ISO)としてスペクトル継承を運用するオフラインでは、ISO-Mergerは共有ベーススペシャリストのフレーム変更を単一の固定スペクトルモデルに統合する。オンラインのISO-Mergerは、AdamWやMuonを含む選択されたベースをフレーム変数に適用し、ベーススペクトルを固定する。
論文参考訳（メタデータ） (2026-07-21T17:51:36Z)
Systematic Evaluation of Learning Rate Scheduling Strategies Across Heterogeneous Architectures [48.83701310501069]
多様なアーキテクチャのプールにおけるスケジューラの分類精度への影響について検討する。我々は9つのPyTorchファミリーに25のスケジューラ構成を適用し、CIFAR-10で合計3,938のモデル変種を評価した。 CosineAnnealingWarmRestarts と CyclicLR は、基本的な崩壊戦略を一貫して上回ります。
論文参考訳（メタデータ） (2026-07-09T14:06:39Z)
DynaGraph: Lightweight Multi-Model Interaction Framework via Dynamic Topological Reconfiguration [7.0972889296550825]
DynaGraphは、動的トポロジ的再構成によって駆動される軽量なマルチモデルフレームワークである。タイムディビジョンのPEFTアダプタを共有ベースモデルに倍増し、完全なシステムトレーニングとデプロイメントを可能にする。制限のない動的アーキテクチャと比較してレイテンシを最大68.1%削減し、トークン消費を68.6%削減する。
論文参考訳（メタデータ） (2026-05-28T07:33:29Z)
Delta-Based Neural Architecture Search: LLM Fine-Tuning via Code Diffs [48.83701310501069]
大規模言語モデル(LLM)は、ニューラルアーキテクチャ生成の強力な可能性を示している。既存のアプローチは、ゼロから完全なモデル実装を生成します。我々はデルタ符号生成法を提案し、細調整されたLLMはコンパクトな統一差分を生成する。
論文参考訳（メタデータ） (2026-05-06T13:32:05Z)
Multi-Frequency Local Plasticity for Visual Representation Learning [0.40048696135519796]
本研究では,視覚認識におけるエンドツーエンドの勾配に基づく表現学習の欠如を補う構造的アーキテクチャバイアスについて検討する。 i) 固定多周波ガボルのF=7並列ストリームへの分解, (ii) ヘビアンとオジャの更新と反ヘビアンデコリレーションによるストリーム内競合学習, (iii) 現代のホプフィールド検索にインスパイアされた連想メモリモジュール。
論文参考訳（メタデータ） (2026-04-09T18:30:47Z)
From Memorization to Creativity: LLM as a Designer of Novel Neural-Architectures [48.83701310501069]
大規模言語モデル(LLM)は、プログラム合成において優れているが、ニューラルネットワーク設計(信頼性、性能、構造的ノベルティ)を自律的にナビゲートする能力は、未調査のままである。コード指向LLMをクローズドループ合成フレームワークに配置し、22の教師付き微調整サイクルの進化を解析することによって、この問題に対処する。
論文参考訳（メタデータ） (2026-01-06T13:20:28Z)
Is Architectural Complexity Overrated? Competitive and Interpretable Knowledge Graph Completion with RelatE [6.959701672059059]
RelatEは、エンティティとリレーションの二重表現を効率的に統合する、解釈可能でモジュラーな方法である。標準ベンチマークにおいて、競争力や優れたパフォーマンスを達成する。摂動実験では、MRRはTransEと比較して最大61%、RotatEと比較して最大19%減少し、ロバスト性が改善された。
論文参考訳（メタデータ） (2025-05-25T04:36:52Z)
Restore Anything Model via Efficient Degradation Adaptation [129.38475243424563]
RAMは、様々な劣化にまたがる固有の類似性を活用して、効率的で包括的な復元を可能にする統一された経路を取る。 RAMのSOTA性能はRAMのSOTA性能を確認し、トレーニング可能なパラメータで約82%、FLOPで約85%のモデルの複雑さを減少させる。
論文参考訳（メタデータ） (2024-07-18T10:26:53Z)
Open-Set Recognition: A Good Closed-Set Classifier is All You Need [146.6814176602689]
分類器が「ゼロ・オブ・ア・ア・ア・ベ」決定を行う能力は、閉集合クラスにおける精度と高い相関関係があることが示される。この相関を利用して、閉セット精度を向上させることにより、クロスエントロピーOSR'ベースライン'の性能を向上させる。また、セマンティックノベルティを検出するタスクをより尊重する新しいベンチマークを構築した。
論文参考訳（メタデータ） (2021-10-12T17:58:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。