論文の概要: Inheritance Between Feedforward and Convolutional Networks via Model Projection

• arxiv url: http://arxiv.org/abs/2602.06245v1
• Date: Thu, 05 Feb 2026 22:50:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.144058
• Title: Inheritance Between Feedforward and Convolutional Networks via Model Projection
• Title（参考訳）: モデル投影によるフィードフォワードと畳み込みネットワークの継承
• Authors: Nicolas Ewen, Jairo Diaz-Rodriguez, Kelly Ramsay,
• Abstract要約: フィードフォワードネットワーク (FFN) と畳み込みネットワーク (CNN) の技法は家族間で頻繁に再利用されるが、基礎となるモデルクラスとの関係は明確ではない。 テンソル値の活性化を伴うノードレベルの統一形式を導入し、一般化されたフィードフォワードネットワークが一般化された畳み込みネットワークの厳密なサブセットを形成することを示す。 2つのファミリー間の入力ごとのパラメータ化におけるミスマッチの動機付けにより,モデル投影を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Techniques for feedforward networks (FFNs) and convolutional networks (CNNs) are frequently reused across families, but the relationship between the underlying model classes is rarely made explicit. We introduce a unified node-level formalization with tensor-valued activations and show that generalized feedforward networks form a strict subset of generalized convolutional networks. Motivated by the mismatch in per-input parameterization between the two families, we propose model projection, a parameter-efficient transfer learning method for CNNs that freezes pretrained per-input-channel filters and learns a single scalar gate for each (output channel, input channel) contribution. Projection keeps all convolutional layers adaptable to downstream tasks while substantially reducing the number of trained parameters in convolutional layers. We prove that projected nodes take the generalized FFN form, enabling projected CNNs to inherit feedforward techniques that do not rely on homogeneous layer inputs. Experiments across multiple ImageNet-pretrained backbones and several downstream image classification datasets show that model projection is a strong transfer learning baseline under simple training recipes.
• Abstract（参考訳）: フィードフォワードネットワーク (FFN) と畳み込みネットワーク (CNN) の技法は家族間で頻繁に再利用されるが、基礎となるモデルクラスとの関係は明確ではない。 テンソル値の活性化を伴うノードレベルの統一形式を導入し、一般化されたフィードフォワードネットワークが一般化された畳み込みネットワークの厳密なサブセットを形成することを示す。 提案するモデルプロジェクションは,事前学習した各入力チャネルフィルタを凍結し,各(出力チャネル,入力チャネル)コントリビューションに対して単一のスカラーゲートを学習する,CNNのパラメータ効率のよい転送学習手法である。 プロジェクションは、すべての畳み込み層を下流のタスクに適応させつつ、畳み込み層でトレーニングされたパラメータの数を著しく削減します。 我々は、投影されたノードが一般化されたFFN形式をとることを証明し、同質層入力に依存しないフィードフォワード手法をプロジェクションされたCNNが継承できるようにする。 複数のImageNet事前トレーニングされたバックボーンと、いくつかの下流画像分類データセットにわたる実験により、モデルプロジェクションは単純なトレーニングレシピの下で強力な転送学習ベースラインであることが示されている。

関連論文リスト

• Information-Theoretic Greedy Layer-wise Training for Traffic Sign Recognition [0.5024983453990065]
  レイヤワイズトレーニングは、クロスエントロピー損失とバックプロパゲーションの必要性を排除する。 既存の階層的なトレーニングアプローチの多くは、比較的小さなデータセットでのみ評価されている。 本稿では,最近開発された決定論的情報ボトルネック(DIB)と行列に基づくR'enyiの$alpha$-orderエントロピー関数に基づく,階層的学習手法を提案する。
  論文  参考訳（メタデータ） (2025-10-31T17:24:58Z)
• ChannelDropBack: Forward-Consistent Stochastic Regularization for Deep Networks [5.00301731167245]
  既存のテクニックでは、しばしば特別なレイヤを追加することによってネットワークのアーキテクチャを変更する必要がある。 本稿では,逆情報フローにのみランダム性を導入する単純な正規化手法であるChannelDropBackを提案する。 アーキテクチャを変更することなく、任意のモデルやレイヤのトレーニングプロセスにシームレスに統合することができます。
  論文  参考訳（メタデータ） (2024-11-16T21:24:44Z)
• Neural networks trained with SGD learn distributions of increasing complexity [78.30235086565388]
  勾配降下法を用いてトレーニングされたニューラルネットワークは、まず低次入力統計を用いて入力を分類する。 その後、トレーニング中にのみ高次の統計を利用する。 本稿では,DSBと他の単純度バイアスとの関係について論じ,学習における普遍性の原理にその意味を考察する。
  論文  参考訳（メタデータ） (2022-11-21T15:27:22Z)
• ResMLP: Feedforward networks for image classification with data-efficient training [73.26364887378597]
  画像分類のための多層パーセプトロン上に構築されたアーキテクチャであるResMLPを提案する。 Timmライブラリと事前トレーニングされたモデルに基づいたコードを共有します。
  論文  参考訳（メタデータ） (2021-05-07T17:31:44Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Pre-Trained Models for Heterogeneous Information Networks [57.78194356302626]
  異種情報ネットワークの特徴を捉えるための自己教師付き事前学習・微調整フレームワークPF-HINを提案する。 PF-HINは4つのデータセットにおいて、各タスクにおける最先端の代替よりも一貫して、大幅に優れています。
  論文  参考訳（メタデータ） (2020-07-07T03:36:28Z)
• Model Fusion via Optimal Transport [64.13185244219353]
  ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。 これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
  論文  参考訳（メタデータ） (2019-10-12T22:07:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。