論文の概要: Network of Theseus (like the ship)
- arxiv url: http://arxiv.org/abs/2512.04198v1
- Date: Wed, 03 Dec 2025 19:15:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-05 21:11:45.833764
- Title: Network of Theseus (like the ship)
- Title（参考訳）: テセウスのネットワーク(船のように)
- Authors: Vighnesh Subramaniam, Colin Conwell, Boris Katz, Andrei Barbu, Brian Cheung,
- Abstract要約: Network of Theseus (NoT) は、トレーニングされた、あるいは訓練されていないガイドネットワークアーキテクチャを、完全に異なるターゲットネットワークアーキテクチャに変換する方法である。
各段階で、ガイドネットワークアーキテクチャのコンポーネントは、ターゲットアーキテクチャモジュールに徐々に置き換えられ、表現的類似度メトリクスを介して整列される。
NoTは、実行可能な推論時アーキテクチャの空間を拡張し、精度と効率のトレードオフを改善する機会を開放し、アーキテクチャ設計空間をより直接的に探索することを可能にする。
- 参考スコア（独自算出の注目度）: 17.044332179158392
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A standard assumption in deep learning is that the inductive bias introduced by a neural network architecture must persist from training through inference. The architecture you train with is the architecture you deploy. This assumption constrains the community from selecting architectures that may have desirable efficiency or design properties due to difficulties with optimization. We challenge this assumption with Network of Theseus (NoT), a method for progressively converting a trained, or even untrained, guide network architecture part-by-part into an entirely different target network architecture while preserving the performance of the guide network. At each stage, components in the guide network architecture are incrementally replaced with target architecture modules and aligned via representational similarity metrics. This procedure largely preserves the functionality of the guide network even under substantial architectural changes-for example, converting a convolutional network into a multilayer perceptron, or GPT-2 into a recurrent neural network. By decoupling optimization from deployment, NoT expands the space of viable inference-time architectures, opening opportunities for better accuracy-efficiency tradeoffs and enabling more directed exploration of the architectural design space.
- Abstract（参考訳）: ディープラーニングにおける標準的な前提は、ニューラルネットワークアーキテクチャによって導入された帰納バイアスは、推論を通じてトレーニングから継続しなければならない、というものである。
トレーニングするアーキテクチャは、デプロイするアーキテクチャです。
この仮定は、最適化の難しさのために、望ましい効率性や設計特性を持つアーキテクチャを選択することを、コミュニティが制限します。
我々は、トレーニングされた、あるいは訓練されていないガイドネットワークアーキテクチャを、ガイドネットワークの性能を維持しながら、完全に異なるターゲットネットワークアーキテクチャに部分的に変換する手法であるNetwork of Theseus (NoT) で、この仮定に挑戦する。
各段階で、ガイドネットワークアーキテクチャのコンポーネントは、ターゲットアーキテクチャモジュールに徐々に置き換えられ、表現的類似度メトリクスを介して整列される。
この手順は、例えば畳み込みネットワークを多層パーセプトロン、GPT-2をリカレントニューラルネットワークに変換するなど、大規模なアーキテクチャ変更の下でも、ガイドネットワークの機能を大幅に維持する。
デプロイメントから最適化を分離することで、NoTは実行可能な推論タイムアーキテクチャの領域を拡張し、精度と効率のトレードオフを改善する機会を開放し、アーキテクチャ設計空間をより直接的に探索できるようにする。
関連論文リスト
- Training the Untrainable: Introducing Inductive Bias via Representational Alignment [17.222963037741327]
伝統的にタスクに適さないと考えられるアーキテクチャは、別のアーキテクチャからの帰納的バイアスを使ってトレーニングできることを示す。
我々は,イメージネット上でFCNが過度に適合することを防止し,バニラRNN-Transformerギャップを狭めるとともに,通常のCNNをResNetの精度に向けて強化し,RNNが好むタスクに対してトランスフォーマーを補助することを示す。
論文 参考訳（メタデータ） (2024-10-26T01:04:03Z) - EM-DARTS: Hierarchical Differentiable Architecture Search for Eye Movement Recognition [20.209756662832365]
微分可能なニューラルアーキテクチャサーチ(DARTS)は、高い探索効率でアーキテクチャ設計のマニュアルプロセスを自動化する。
眼球運動認識のためのDLアーキテクチャを自動設計する階層的微分可能なアーキテクチャ探索アルゴリズムEM-DARTSを提案する。
EM-DARTSは、最先端の認識性能につながる最適なアーキテクチャを実現できることを示す。
論文 参考訳（メタデータ） (2024-09-22T13:11:08Z) - FlowNAS: Neural Architecture Search for Optical Flow Estimation [65.44079917247369]
本研究では,フロー推定タスクにおいて,より優れたエンコーダアーキテクチャを自動で見つけるために,FlowNASというニューラルアーキテクチャ探索手法を提案する。
実験の結果、スーパーネットワークから受け継いだ重み付きアーキテクチャは、KITTI上で4.67%のF1-allエラーを達成していることがわかった。
論文 参考訳（メタデータ） (2022-07-04T09:05:25Z) - Hysteretic Behavior Simulation Based on Pyramid Neural
Network:Principle, Network Architecture, Case Study and Explanation [0.0]
ニューラルネットワークに基づく代理モデルでは、効率と精度のバランスをとる大きな可能性を示している。
単一レベルの特徴に基づく連続的な情報フローと予測は、ネットワーク性能に悪影響を及ぼす。
ここでは重み付けされたピラミッドニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2022-04-29T16:42:00Z) - SIRe-Networks: Skip Connections over Interlaced Multi-Task Learning and
Residual Connections for Structure Preserving Object Classification [28.02302915971059]
本稿では、オブジェクト分類タスクにおける消失勾配を低減するために、SIReを定義したインターレース型マルチタスク学習戦略を提案する。
提案手法は、自動エンコーダを介して入力画像構造を保存することにより、畳み込みニューラルネットワーク(CNN)を直接改善する。
提案手法を検証するため、SIRe戦略を介して単純なCNNと有名なネットワークの様々な実装を拡張し、CIFAR100データセットで広範囲にテストする。
論文 参考訳（メタデータ） (2021-10-06T13:54:49Z) - Analyze and Design Network Architectures by Recursion Formulas [4.085771561472743]
この研究は、新しいネットワークアーキテクチャを設計するための効果的な方法を見つけ出そうとする。
ネットワークアーキテクチャの主な違いは,それらの公式に反映できることが判明した。
ResNetに基づいた改良されたアーキテクチャを生成するためのケーススタディが提供されている。
CIFARとImageNetで大規模な実験が行われ、大幅なパフォーマンス改善が見られた。
論文 参考訳（メタデータ） (2021-08-18T06:53:30Z) - Firefly Neural Architecture Descent: a General Approach for Growing
Neural Networks [50.684661759340145]
firefly neural architecture descentは、ニューラルネットワークを漸進的かつ動的に成長させるための一般的なフレームワークである。
ホタルの降下は、より広く、より深くネットワークを柔軟に成長させ、正確だがリソース効率のよいニューラルアーキテクチャを学習するために応用できることを示す。
特に、サイズは小さいが、最先端の手法で学習したネットワークよりも平均精度が高いネットワークを学習する。
論文 参考訳（メタデータ） (2021-02-17T04:47:18Z) - Adversarially Robust Neural Architectures [43.74185132684662]
本稿では,NASフレームワークを用いたアーキテクチャの観点から,ネットワークの対角的ロバスト性を改善することを目的とする。
本稿では, 対向ロバスト性, リプシッツ定数, アーキテクチャパラメータの関係について検討する。
提案アルゴリズムは,異なるデータセットに対する様々な攻撃の下で,すべてのモデルの中で最高の性能を実証的に達成する。
論文 参考訳（メタデータ） (2020-09-02T08:52:15Z) - Structured Convolutions for Efficient Neural Network Design [65.36569572213027]
畳み込みニューラルネットワーク構築ブロックのテクスト単純構造における冗長性を利用してモデル効率に取り組む。
この分解が2Dカーネルや3Dカーネルだけでなく、完全に接続されたレイヤにも適用可能であることを示す。
論文 参考訳（メタデータ） (2020-08-06T04:38:38Z) - A Semi-Supervised Assessor of Neural Architectures [157.76189339451565]
我々は、ニューラルネットワークの有意義な表現を見つけるためにオートエンコーダを用いる。
アーキテクチャの性能を予測するために、グラフ畳み込みニューラルネットワークを導入する。
論文 参考訳（メタデータ） (2020-05-14T09:02:33Z) - Stage-Wise Neural Architecture Search [65.03109178056937]
ResNetやNASNetのような現代の畳み込みネットワークは、多くのコンピュータビジョンアプリケーションで最先端の結果を得た。
これらのネットワークは、同じ解像度で表現を操作するレイヤのセットであるステージで構成されている。
各ステージにおけるレイヤー数の増加はネットワークの予測能力を向上させることが示されている。
しかし、結果として得られるアーキテクチャは、浮動小数点演算、メモリ要求、推論時間の観点から計算的に高価になる。
論文 参考訳（メタデータ） (2020-04-23T14:16:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。