論文の概要: Learning to Flow from Generative Pretext Tasks for Neural Architecture Encoding

• arxiv url: http://arxiv.org/abs/2510.18360v1
• Date: Tue, 21 Oct 2025 07:29:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:13.127526
• Title: Learning to Flow from Generative Pretext Tasks for Neural Architecture Encoding
• Title（参考訳）: ニューラルアーキテクチャエンコーディングのための生成的前提課題からのフロー学習
• Authors: Sunwoo Kim, Hyunjin Hwang, Kijung Shin,
• Abstract要約: ニューラルアーキテクチャ符号化のための新しい事前学習手法であるFGPを提案する。 FGPは、ニューラルネットワークの情報フローの表現であるフローサロゲートを再構築するためにエンコーダを訓練する。 実験の結果,FGPは教師付き学習でのみ訓練されたのと同じエンコーダに比べて,精度-1%で最大106%向上することがわかった。
• 参考スコア（独自算出の注目度）: 32.929829644407256
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The performance of a deep learning model on a specific task and dataset depends heavily on its neural architecture, motivating considerable efforts to rapidly and accurately identify architectures suited to the target task and dataset. To achieve this, researchers use machine learning models-typically neural architecture encoders-to predict the performance of a neural architecture. Many state-of-the-art encoders aim to capture information flow within a neural architecture, which reflects how information moves through the forward pass and backpropagation, via a specialized model structure. However, due to their complicated structures, these flow-based encoders are significantly slower to process neural architectures compared to simpler encoders, presenting a notable practical challenge. To address this, we propose FGP, a novel pre-training method for neural architecture encoding that trains an encoder to capture the information flow without requiring specialized model structures. FGP trains an encoder to reconstruct a flow surrogate, our proposed representation of the neural architecture's information flow. Our experiments show that FGP boosts encoder performance by up to 106% in Precision-1%, compared to the same encoder trained solely with supervised learning.
• Abstract（参考訳）: 特定のタスクとデータセットに対するディープラーニングモデルのパフォーマンスは、そのニューラルアーキテクチャに大きく依存しており、ターゲットタスクとデータセットに適したアーキテクチャを迅速かつ正確に識別するためのかなりの努力を動機付けている。 これを実現するために、研究者は機械学習モデル(典型的にはニューラルアーキテクチャエンコーダ)を使用して、ニューラルアーキテクチャのパフォーマンスを予測する。 多くの最先端エンコーダは、特殊なモデル構造を通じて、フォワードパスとバックプロパゲーションを通過する情報の流れを反映した、ニューラルアーキテクチャ内の情報フローをキャプチャすることを目的としている。 しかし、それらの複雑な構造のため、これらのフローベースのエンコーダはより単純なエンコーダに比べて、ニューラルネットワークを処理するのに著しく遅いため、顕著な実践上の課題が提示される。 そこで本研究では,ニューラルアーキテクチャの新たな事前学習手法であるFGPを提案し,エンコーダが特別なモデル構造を必要とせず,情報の流れを捉えるように訓練する。 FGPは、ニューラルネットワークの情報フローの表現であるフローサロゲートを再構築するためにエンコーダを訓練する。 実験の結果,FGPは教師付き学習でのみ訓練されたのと同じエンコーダに比べて,精度-1%で最大106%向上することがわかった。

関連論文リスト

• FlowerFormer: Empowering Neural Architecture Encoding using a Flow-aware Graph Transformer [22.99322654701362]
  本稿では,ニューラルネットワーク内に情報フローを組み込んだ強力なグラフトランスフォーマーであるFlowerFormerを紹介する。 本研究では,既存のニューラルエンコーディング法よりもFlowerFormerの方が優れていることを示す。
  論文  参考訳（メタデータ） (2024-03-19T15:21:10Z)
• Set-based Neural Network Encoding Without Weight Tying [91.37161634310819]
  本稿では,ネットワーク特性予測のためのニューラルネットワーク重み符号化手法を提案する。 我々のアプローチは、混合アーキテクチャのモデル動物園でニューラルネットワークを符号化することができる。 ニューラルネットワークのプロパティ予測には,クロスデータセットとクロスアーキテクチャという,2つの新しいタスクを導入する。
  論文  参考訳（メタデータ） (2023-05-26T04:34:28Z)
• NAR-Former: Neural Architecture Representation Learning towards Holistic Attributes Prediction [37.357949900603295]
  本稿では,属性の全体的推定に使用できるニューラルネットワーク表現モデルを提案する。 実験の結果,提案するフレームワークは,セルアーキテクチャとディープニューラルネットワーク全体の遅延特性と精度特性を予測できることがわかった。
  論文  参考訳（メタデータ） (2022-11-15T10:15:21Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
  本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。 実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
  論文  参考訳（メタデータ） (2022-07-04T09:05:25Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Learning Structures for Deep Neural Networks [99.8331363309895]
  我々は,情報理論に根ざし,計算神経科学に発達した効率的な符号化原理を採用することを提案する。 スパース符号化は出力信号のエントロピーを効果的に最大化できることを示す。 公開画像分類データセットを用いた実験により,提案アルゴリズムでスクラッチから学習した構造を用いて,最も優れた専門家設計構造に匹敵する分類精度が得られることを示した。
  論文  参考訳（メタデータ） (2021-05-27T12:27:24Z)
• A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
  我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。 アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
  論文  参考訳（メタデータ） (2020-05-14T09:02:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。