論文の概要: Towards a More Complete Theory of Function Preserving Transforms

• arxiv url: http://arxiv.org/abs/2410.11038v1
• Date: Mon, 14 Oct 2024 19:37:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-16 14:03:43.147979
• Title: Towards a More Complete Theory of Function Preserving Transforms
• Title（参考訳）: 変換を保存する関数のより完全な理論に向けて
• Authors: Michael Painter,
• Abstract要約: 我々は、ニューラルネットワークのアーキテクチャを変更できる技術を開発し、表現する機能を維持します。 我々の方法では、残余接続を関数保存変換に統合することができるので、それらを R2R と呼ぶ。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: In this paper, we develop novel techniques that can be used to alter the architecture of a neural network, while maintaining the function it represents. Such operations are known as function preserving transforms and have proven useful in transferring knowledge between networks to evaluate architectures quickly, thus having applications in efficient architectures searches. Our methods allow the integration of residual connections into function preserving transforms, so we call them R2R. We provide a derivation for R2R and show that it yields competitive performance with other function preserving transforms, thereby decreasing the restrictions on deep learning architectures that can be extended through function preserving transforms. We perform a comparative analysis with other function preserving transforms such as Net2Net and Network Morphisms, where we shed light on their differences and individual use cases. Finally, we show the effectiveness of R2R to train models quickly, as well as its ability to learn a more diverse set of filters on image classification tasks compared to Net2Net and Network Morphisms.
• Abstract（参考訳）: 本稿では,ニューラルネットワークのアーキテクチャを,その表現する機能を維持しながら変更できる新しい手法を開発する。 このような操作は関数保存変換として知られており、アーキテクチャを迅速に評価するためにネットワーク間で知識を伝達するのに有用であることが証明されている。 我々の手法は、残余接続を関数保存変換に統合することを可能にするので、それらを R2R と呼ぶ。 本稿では、R2Rの導出を行い、他の関数保存変換と競合する性能を示し、関数保存変換によって拡張可能なディープラーニングアーキテクチャの制約を小さくする。 我々は、Net2NetやNet Morphismsのような他の関数保存変換と比較分析を行い、それらの違いと個々のユースケースに光を当てた。 最後に,R2Rの有効性と,Net2Net や Network Morphism と比較して,画像分類タスクにおいて,より多様なフィルタ集合を学習する能力を示す。

関連論文リスト

• LeRF: Learning Resampling Function for Adaptive and Efficient Image Interpolation [64.34935748707673]
  最近のディープニューラルネットワーク(DNN)は、学習データ前処理を導入することで、パフォーマンスを著しく向上させた。 本稿では,DNNが学習した構造的前提と局所的連続仮定の両方を活かした学習再サンプリング(Learning Resampling, LeRF)を提案する。 LeRFは空間的に異なる再サンプリング関数を入力画像ピクセルに割り当て、ニューラルネットワークを用いてこれらの再サンプリング関数の形状を予測する。
  論文  参考訳（メタデータ） (2024-07-13T16:09:45Z)
• Single image super-resolution based on trainable feature matching attention network [0.0]
  畳み込みニューラルネットワーク(CNN)は画像超解法(SR)に広く利用されている トレーニング可能な特徴マッチング(TFM)を導入し、CNNに明示的な特徴学習を導入し、その表現能力を増強する。 また,非局所演算の計算要求を軽減するため,SRNL (Same-size-divided Region-level Non-Local) という変種も提案する。
  論文  参考訳（メタデータ） (2024-05-29T08:31:54Z)
• TCCT-Net: Two-Stream Network Architecture for Fast and Efficient Engagement Estimation via Behavioral Feature Signals [58.865901821451295]
  本稿では,新しい2ストリーム機能融合 "Tensor-Convolution and Convolution-Transformer Network" (TCCT-Net) アーキテクチャを提案する。 時間空間領域における意味のあるパターンをよりよく学習するために、ハイブリッド畳み込み変換器を統合する「CT」ストリームを設計する。 並行して、時間周波数領域からリッチなパターンを効率的に抽出するために、連続ウェーブレット変換(CWT)を用いて情報を2次元テンソル形式で表現する「TC」ストリームを導入する。
  論文  参考訳（メタデータ） (2024-04-15T06:01:48Z)
• ReLU Neural Networks with Linear Layers are Biased Towards Single- and Multi-Index Models [9.96121040675476]
  この原稿は、2層以上の深さのニューラルネットワークによって学習された関数の性質が予測にどのように影響するかを考察している。 我々のフレームワークは、すべて同じキャパシティを持つが表現コストが異なる、様々な深さのネットワーク群を考慮に入れている。
  論文  参考訳（メタデータ） (2023-05-24T22:10:12Z)
• GoogLe2Net: Going Transverse with Convolutions [0.0]
  本稿では,GoogLe2Netと呼ばれる新しいCNNアーキテクチャを提案する。 ResFRI(Reslit Feature Reutilization Inception)またはSplit-ResFRI(Split Feature Reutilization Inception)から構成される。 当社のGoogLe2Netは、畳み込みレイヤのグループによってキャプチャされた情報を再利用し、きめ細かいレベルでマルチスケールの機能を表現することができます。
  論文  参考訳（メタデータ） (2023-01-01T15:16:10Z)
• Breaking the Architecture Barrier: A Method for Efficient Knowledge Transfer Across Networks [0.0]
  本稿では,異なるアーキテクチャのニューラルネットワーク間でパラメータを転送する手法を提案する。 我々の手法はDPIATと呼ばれ、動的プログラミングを用いてアーキテクチャ間のブロックとレイヤをマッチングし、パラメータを効率的に転送する。 ImageNetの実験では,50時間後の平均1.6倍の検証精度が向上した。
  論文  参考訳（メタデータ） (2022-12-28T17:35:41Z)
• Magic ELF: Image Deraining Meets Association Learning and Transformer [63.761812092934576]
  本稿では,CNN と Transformer を統合化して,画像デライニングにおける学習のメリットを活用することを目的とする。 降雨除去と背景復旧を関連づける新しいマルチインプット・アテンション・モジュール (MAM) を提案する。 提案手法(ELF)は,最先端手法(MPRNet)を平均0.25dB向上させる。
  論文  参考訳（メタデータ） (2022-07-21T12:50:54Z)
• Rich CNN-Transformer Feature Aggregation Networks for Super-Resolution [50.10987776141901]
  近年の視覚変換器と自己注意は,様々なコンピュータビジョンタスクにおいて有望な成果を上げている。 我々は,CNNの局所的特徴とトランスフォーマーが捉えた長距離依存性を活用する,超解像(SR)タスクのための効果的なハイブリッドアーキテクチャを提案する。 提案手法は,多数のベンチマークデータセットから最先端のSR結果を得る。
  論文  参考訳（メタデータ） (2022-03-15T06:52:25Z)
• CSformer: Bridging Convolution and Transformer for Compressive Sensing [65.22377493627687]
  本稿では,CNNからの詳細な空間情報を活用するためのハイブリッドフレームワークと,表現学習の強化を目的としたトランスフォーマーが提供するグローバルコンテキストを統合することを提案する。 提案手法は、適応的なサンプリングとリカバリからなるエンドツーエンドの圧縮画像センシング手法である。 実験により, 圧縮センシングにおける専用トランスアーキテクチャの有効性が示された。
  論文  参考訳（メタデータ） (2021-12-31T04:37:11Z)
• Rethinking and Improving the Robustness of Image Style Transfer [70.86976598145111]
  トレーニング済みのVGGネットワークによって抽出された特徴間の相関は、画像の視覚的スタイルをキャプチャする顕著な能力を有することを示す。 この品質は堅牢ではなく、より先進的で軽量なネットワークの機能に適用すると、しばしば大幅に劣化する。 本稿では,そのエントロピーを高める機能アクティベーションのソフトマックス変換に基づく解を提案する。
  論文  参考訳（メタデータ） (2021-04-08T03:24:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。