論文の概要: LLM-Driven Neural Network Generation with Same-Family Architecture Guidance: Disentangling Transfer and Adaptation
- arxiv url: http://arxiv.org/abs/2607.05704v1
- Date: Mon, 06 Jul 2026 23:59:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-08 21:24:51.353075
- Title: LLM-Driven Neural Network Generation with Same-Family Architecture Guidance: Disentangling Transfer and Adaptation
- Title(参考訳): LLM-Driven Neural Network Generation with Sam-Family Architecture Guidance: Disentangling Transfer and Adaptation
- Abstract要約: 大規模言語モデル(LLM)はニューラルネットの修正を生成することができるが、制限のない生成はしばしば無効または有害である。
本稿では、ニューラルネットワークデータベースからより強力な同族源モデルを用いて、弱いターゲットモデルを改善するという、より狭い設定について研究する。
我々は,ソース制御,ソース条件付き候補,非LLM hp_copy アブレーションを含むソース誘導型候補生成プロトコルを,同等の評価予算の下で提案する。
- 参考スコア(独自算出の注目度): 48.83701310501069
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) can generate neural-network modifications, but unrestricted generation is often invalid or harmful. This paper studies a narrower setting: improving a weak target model using a stronger same-family source model from a neural-network database. We propose a source-guided candidate-generation protocol with non-source controls, source-conditioned candidates, and a no-LLM hp_copy ablation under equal evaluation budgets. The protocol reports validity separately from accuracy and selects the best valid candidate only when it improves the target. On CIFAR-10, the strongest source-guided candidate reaches 0.5049 accuracy versus 0.2398 for the best non-source candidate, a +0.2651 advantage, while improving a weak target originally at 0.1254; a five-epoch check preserves the gain at 0.7686 versus 0.4839. On SVHN AlexNet with DeepSeek-Coder-6.7B, source-guided transfer reaches 0.7880 versus 0.2254, a +0.5626 advantage; a fresh repeat reaches 0.8069 versus 0.2509, a +0.5560 advantage. Direct source-recipe copy produces 0.1959 on SVHN AlexNet, matching the original target, while hp_transfer reaches 0.7880, showing that the LLM adapts rather than copies the source recipe. Family-level analysis shows the clearest positive signals for AlexNet, with 6/8 wins across SVHN, Imagenette, and CelebA-Gender, and alt_nn1, with 8/10 wins on CIFAR-10.
- Abstract(参考訳): 大規模言語モデル(LLM)はニューラルネットの修正を生成することができるが、制限のない生成はしばしば無効または有害である。
本稿では、ニューラルネットワークデータベースからより強力な同族源モデルを用いて、弱いターゲットモデルを改善するという、より狭い設定について研究する。
我々は,ソース制御,ソース条件付き候補,非LLM hp_copy アブレーションを含むソース誘導型候補生成プロトコルを,同等の評価予算の下で提案する。
プロトコルは、精度とは別々に妥当性を報告し、目標を改善する場合にのみ最適な候補を選択する。
CIFAR-10では、最強のソース誘導候補は0.5049の精度で、最高の非ソース候補では0.2398で、+0.2651の優位性を持つが、元々は0.1254で弱いターゲットを改良し、5エポックチェックでは0.7686と0.4839で利得を維持する。
SVHN AlexNet with DeepSeek-Coder-6.7Bでは、ソース誘導転送は0.7880、0.2254、+0.5626、新しいリピートは0.8069、0.2509、+0.5560となる。
SVHN AlexNetでは0. 1959が生成され、元のターゲットと一致し、hp_transferは0.7880に達した。
家族レベルの分析では、SVHN、Imagenette、CelebA-Genderの6/8で、Allt_nn1はCIFAR-10で8/10で、AlexNetの最も明確な陽性信号を示している。
関連論文リスト
- X-KGRank: A Knowledge Graph RAG Framework for Explainable Recommendations via Pattern Mining and LLM Re-Ranking [0.0]
X-KGRankは、構造的協調フィルタリングとLLMに基づく説明を統合する知識グラフ検索フレームワークである。
我々は3つの関係型(Rated, HAS_GENRE, CO_Rated)にまたがる9,762個のノードと999,264個のエッジからなる異種知識グラフを構築した。
X-KGRank は NDCG@10 = 0.2956 と Recall@10 = 0.5371 を達成する。
論文 参考訳(メタデータ) (2026-08-03T05:56:40Z) - Membership Inference Attacks on Discrete Diffusion Language Models [0.0]
MDLMの微調整によるMIA攻撃について検討し、現在の灰色のボックスベースラインが示唆しているよりもかなり脆弱であることを示す。
また、Kは非関連領域のデータに基づいて訓練された3つの代理MDLMに等しいシャドーモデル転送攻撃を設計し、ターゲット領域へのアクセスのないラベルを生成する。
論文 参考訳(メタデータ) (2026-05-15T01:38:26Z) - Delta-Based Neural Architecture Search: LLM Fine-Tuning via Code Diffs [48.83701310501069]
大規模言語モデル(LLM)は、ニューラルアーキテクチャ生成の強力な可能性を示している。
既存のアプローチは、ゼロから完全なモデル実装を生成します。
我々はデルタ符号生成法を提案し、細調整されたLLMはコンパクトな統一差分を生成する。
論文 参考訳(メタデータ) (2026-05-06T13:32:05Z) - Zero-Shot Confidence Estimation for Small LLMs: When Supervised Baselines Aren't Worth Training [0.0]
RouteLLMスタイルの教師付きベースラインは、3つの7-8Bモデルファミリと2つのデータセットで比較される。
トレーニングデータを必要としない平均トークンログ確率は、配布中の教師付きベースラインにマッチするか、超過する。
前世代の信号である検索条件自己評価は、ログプロビタビリティよりも3~10倍のレイテンシで、最大0.069 AUROCで裸の自己評価を改善する。
論文 参考訳(メタデータ) (2026-05-04T05:33:03Z) - A Comparative Study of Modern Object Detectors for Robust Apple Detection in Orchard Imagery [0.0]
本研究は,AppleBBCH81データセットを用いた単一クラスリンゴ検出のベンチマークを確立する。
検証分割では、YOLOv10nが最も厳格なローカライゼーション性能を達成する。
YOLOv10nは最高F1スコアを獲得し、RT-DETR-Lは非常に高いリコールを達成できるが、精度は低い。
論文 参考訳(メタデータ) (2026-04-11T02:56:42Z) - Qwen3-ASR Technical Report [71.87071808763484]
2つの強力なオールインワン音声認識モデルと、新しい非自己回帰音声強制アライメントモデルを含むQwen3-ASRファミリを紹介する。
Qwen3-ASR-1.7BとQwen3-ASR-0.6Bは、言語識別と52の言語および方言のASRをサポートするASRモデルである。
論文 参考訳(メタデータ) (2026-01-29T06:58:13Z) - Robust Fine-tuning of Zero-shot Models via Variance Reduction [56.360865951192324]
微調整ゼロショットモデルの場合、このデシドラトゥムは細調整モデルで、分布内(ID)と分布外(OOD)の両方で優れる。
トレードオフを伴わずに最適なIDとOODの精度を同時に達成できるサンプルワイズアンサンブル手法を提案する。
論文 参考訳(メタデータ) (2024-11-11T13:13:39Z) - Towards General Robustness Verification of MaxPool-based Convolutional Neural Networks via Tightening Linear Approximation [51.235583545740674]
MaxLinは、線形近似が厳密なMaxPoolベースのCNNの堅牢性検証器である。
我々は、MNIST、CIFAR-10、Tiny ImageNetデータセットでトレーニングされたLeNetやネットワークを含むオープンソースのベンチマークでMaxLinを評価した。
論文 参考訳(メタデータ) (2024-06-02T10:33:04Z) - Self-Play Preference Optimization for Language Model Alignment [75.83359213697854]
近年の進歩は、嗜好の確率で直接作業することで、人間の嗜好をより正確に反映できることを示している。
本稿では,言語モデルアライメントのためのセルフプレイ方式を提案する。
我々の手法はSPPO(Self-Play Preference Optimization)と呼ばれ、繰り返しポリシー更新を利用してナッシュ均衡を確実に近似する。
論文 参考訳(メタデータ) (2024-05-01T17:59:20Z) - Non-Parametric Adaptive Network Pruning [125.4414216272874]
アルゴリズム設計を簡略化するノンパラメトリックモデリングを導入。
顔認識コミュニティに触発されて,メッセージパッシングアルゴリズムを用いて,適応的な例示数を求める。
EPrunerは「重要」フィルタを決定する際にトレーニングデータへの依存を壊します。
論文 参考訳(メタデータ) (2021-01-20T06:18:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。