論文の概要: Structured Progressive Knowledge Activation for LLM-Driven Neural Architecture Search

• arxiv url: http://arxiv.org/abs/2605.04057v2
• Date: Thu, 07 May 2026 04:08:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 06:56:26.543617
• Title: Structured Progressive Knowledge Activation for LLM-Driven Neural Architecture Search
• Title（参考訳）: LLM駆動型ニューラルネットワーク探索のための構造化プログレッシブ知識活性化
• Authors: Zhen Liu, Yuhan Liu, Jinjun Wang, Wei Song, Jianyi Liu, Jingwen Fu,
• Abstract要約: 本稿では,ニューラルネットワーク探索 (NAS) における重要な課題に焦点をあてる: 高価な評価の下で新しい設計を探求しながら,確立したアーキテクチャ知識を統合すること。 そこで本研究では,機能的因子を明示的に選択し,その因子の編集を条件づけることにより,関連する先行情報を活性化する構造化プログレッシブ・ナレッジ・アクティベーション(SPARK)を提案する。 CLRS-DFSでは、SPARKは28.1倍のサンプル効率のアーキテクチャ進化速度を達成し、OODの精度は22.9%向上した。
• 参考スコア（独自算出の注目度）: 38.77209165510599
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper focuses on a key challenge in Neural Architecture Search (NAS): integrating established architectural knowledge while exploring new designs under expensive evaluations. Large language models (LLMs) are a promising assistant for NAS because they can translate rich architectural and coding priors into executable code edits. However, in practice, seemingly local revisions often propagate into non-local behavioral and performance shifts because a single edit can inadvertently couple multiple interacting functional factors, a phenomenon we refer to as functional entanglement. To make LLM knowledge usable under such entanglement, we propose Structured Progressive Knowledge Activation (SPARK), which activates relevant priors by explicitly selecting the functional factor to modify and conditioning the edit on that factor. This factor-conditioned editing reduces entangled side effects and yields more targeted, reliable architecture modifications. On CLRS-DFS, SPARK achieves a 28.1x sample-efficient architecture evolution speedup and yields a 22.9 percent relative improvement in OOD accuracy.
• Abstract（参考訳）: 本稿では,ニューラルネットワーク探索 (NAS) における重要な課題に焦点をあてる: 高価な評価の下で新しい設計を探求しながら,確立したアーキテクチャ知識を統合すること。 大きな言語モデル(LLM)はNASの有望なアシスタントである。 しかし、実際には、局所的なリビジョンはしばしば非局所的な行動やパフォーマンスの変化へと伝播する。なぜなら、単一の編集が複数の相互作用する機能的要因を不注意に2つにまとめることができるからであり、これは機能的絡み合いと呼ばれる現象である。 このような絡み合いの下でLLMの知識を利用できるようにするために、我々は、機能的因子を明示的に選択し、その因子を編集し条件付けすることで、関連する事前を活性化する構造化プログレッシブ・ナレッジ・アクティベーション(SPARK)を提案する。 この因子条件付き編集は、絡み合った副作用を低減し、よりターゲット的で信頼性の高いアーキテクチャ修正をもたらす。 CLRS-DFSでは、SPARKは28.1倍のサンプル効率のアーキテクチャ進化速度を達成し、OODの精度は22.9%向上した。

関連論文リスト

• The Anatomy of an Edit: Mechanism-Guided Activation Steering for Knowledge Editing [52.315369633116255]
  大規模言語モデル(LLM)は知識ベースとしてますます使われているが、それらを最新の状態に保つには、目標とする知識編集(KE)が必要である。 ニューロンレベルの知識属性(NLKA)を用いたKEの力学的考察 代表的KE法全体にわたって、我々は一貫したパターンを見出す: ミッド・トゥ・レイト・アテンションは、主に新しいターゲットを促進するが、アテンションとFFNモジュールは、元の事実を抑えるために協力する。 本研究の目的は,MEGA(Mechanism-Guided Activation steering method)を提案することである。
  論文  参考訳（メタデータ） (2026-03-21T12:40:15Z)
• Closed-Loop LLM Discovery of Non-Standard Channel Priors in Vision Models [48.83701310501069]
  大規模言語モデル(LLM)はニューラルアーキテクチャサーチ(NAS)に対する変換的アプローチを提供する 我々は、LLMが性能テレメトリに基づいてアーキテクチャ仕様を洗練する条件付きコード生成タスクのシーケンスとして検索を定式化する。 AST(Abstract Syntax Tree)変異を用いて,有効かつ整合性のあるアーキテクチャの膨大なコーパスを生成する。 CIFAR-100の実験結果は、この手法の有効性を検証し、精度の統計的に有意な改善をもたらすことを示した。
  論文  参考訳（メタデータ） (2026-01-13T13:00:30Z)
• ALEX:A Light Editing-knowledge Extractor [4.356025557149574]
  本稿では,軽量な知識編集フレームワークであるALEXを紹介する。 ALEXの中核となるイノベーションは階層型メモリアーキテクチャであり、知識更新(編集)をセマンティッククラスタにまとめる。 MQUAKEベンチマークの実験では、ALEXはマルチホップ回答の精度と推論パスの信頼性の両方を著しく改善している。
  論文  参考訳（メタデータ） (2025-11-18T00:54:15Z)
• Disentangling Knowledge Representations for Large Language Model Editing [38.244171146682206]
  我々は,LLM編集のための知識表現を分割する新しいアプローチであるDiKEを提案する。 DiKEは2つの主要なコンポーネントから構成される: 対象表現を対象知識関連および非関連コンポーネントに分解する知識表現(KRD)モジュールと、対象コンポーネントのみを更新する知識編集(DKE)モジュールである。 本研究では, 微粒な無関係知識の保存を厳密に評価するため, FINE-KEDという, 微粒な無関係知識を, 編集された知識と異なるレベルの類似度で構成した新しいベンチマークを構築した。
  論文  参考訳（メタデータ） (2025-05-24T16:24:04Z)
• SEKI: Self-Evolution and Knowledge Inspiration based Neural Architecture Search via Large Language Models [11.670056503731905]
  本稿では,新しい大規模言語モデル (LLM) に基づくニューラルアーキテクチャ探索 (NAS) 手法であるSEKIを紹介する。 現代のLLMにおけるチェーン・オブ・シント(CoT)パラダイムにインスパイアされたセキは、自己進化と知識蒸留という2つの重要な段階で動作している。
  論文  参考訳（メタデータ） (2025-02-27T09:17:49Z)
• NADER: Neural Architecture Design via Multi-Agent Collaboration [37.48197934228379]
  ニューラルアーキテクチャ設計(NAD)を多エージェント協調問題として定式化する新しいフレームワークであるNADERを紹介する。 本稿では,即時フィードバックと長期経験から効果的に学習するリフレクタを提案する。 ニューラルアーキテクチャを表現するためにコードを使った従来のLCMベースの手法とは異なり、グラフベースの表現を用いる。
  論文  参考訳（メタデータ） (2024-12-26T13:07:03Z)
• Everything is Editable: Extend Knowledge Editing to Unstructured Data in Large Language Models [65.10456412127405]
  本稿では,非構造化知識編集手法,すなわちUnKEを提案する。 そこで本研究では,非局所ブロック鍵値記憶方式を提案する。 トークンのディメンションでは、コンテキストを保存しながら最後のトークンを直接編集する"期間駆動最適化"を"原因駆動最適化"に置き換えます。
  論文  参考訳（メタデータ） (2024-05-24T08:42:40Z)
• Learning to Edit: Aligning LLMs with Knowledge Editing [101.96620267293731]
  本稿では,大規模言語モデルに新たな知識を入力問題に適用する学習 to LTE(Learning to Edit)フレームワークを提案する。 LTEには2段階のプロセスがある: (i) アライメントフェーズ(アライメントフェーズ)。 LTEの知識編集性能の優位性、バッチおよびシーケンシャルな編集の堅牢性、一般的なタスクに対する最小限の干渉、高速な編集速度を示す。
  論文  参考訳（メタデータ） (2024-02-19T07:45:17Z)
• Operation Embeddings for Neural Architecture Search [15.033712726016255]
  最適化プロセスにおいて、固定演算子エンコーディングを学習可能な表現に置き換えることを提案する。 本手法は,同様の操作とグラフパターンを共有するトップパフォーマンスアーキテクチャを生成する。
  論文  参考訳（メタデータ） (2021-05-11T09:17:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。