論文の概要: Towards Flexible Inductive Bias via Progressive Reparameterization Scheduling

• arxiv url: http://arxiv.org/abs/2210.01370v1
• Date: Tue, 4 Oct 2022 04:20:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-05 14:25:06.899629
• Title: Towards Flexible Inductive Bias via Progressive Reparameterization Scheduling
• Title（参考訳）: 漸進的再パラメータスケジューリングによるフレキシブルインダクティブバイアス
• Authors: Yunsung Lee, Gyuseong Lee, Kwangrok Ryoo, Hyojun Go, Jihye Park, and Seungryong Kim
• Abstract要約: コンピュータビジョンには、畳み込みニューラルネットワーク(CNN)とビジョントランスフォーマー(ViT)の2つのデファクト標準アーキテクチャがある。 これらのアプローチの見落としとして、最適な帰納バイアスも、対象データスケールの変化に応じて変化することを示す。 畳み込みのような帰納バイアスがモデルに含まれるほど、ViTのようなモデルがResNetのパフォーマンスを上回っている場合、データスケールが小さくなります。
• 参考スコア（独自算出の注目度）: 25.76814731638375
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There are two de facto standard architectures in recent computer vision: Convolutional Neural Networks (CNNs) and Vision Transformers (ViTs). Strong inductive biases of convolutions help the model learn sample effectively, but such strong biases also limit the upper bound of CNNs when sufficient data are available. On the contrary, ViT is inferior to CNNs for small data but superior for sufficient data. Recent approaches attempt to combine the strengths of these two architectures. However, we show these approaches overlook that the optimal inductive bias also changes according to the target data scale changes by comparing various models' accuracy on subsets of sampled ImageNet at different ratios. In addition, through Fourier analysis of feature maps, the model's response patterns according to signal frequency changes, we observe which inductive bias is advantageous for each data scale. The more convolution-like inductive bias is included in the model, the smaller the data scale is required where the ViT-like model outperforms the ResNet performance. To obtain a model with flexible inductive bias on the data scale, we show reparameterization can interpolate inductive bias between convolution and self-attention. By adjusting the number of epochs the model stays in the convolution, we show that reparameterization from convolution to self-attention interpolates the Fourier analysis pattern between CNNs and ViTs. Adapting these findings, we propose Progressive Reparameterization Scheduling (PRS), in which reparameterization adjusts the required amount of convolution-like or self-attention-like inductive bias per layer. For small-scale datasets, our PRS performs reparameterization from convolution to self-attention linearly faster at the late stage layer. PRS outperformed previous studies on the small-scale dataset, e.g., CIFAR-100.
• Abstract（参考訳）: 最近のコンピュータビジョンには、convolutional neural networks (cnns) と vision transformers (vits) の2つのデファクト標準アーキテクチャがある。 畳み込みの強い帰納バイアスは、モデルがサンプルを効果的に学習するのに役立つが、そのような強いバイアスは十分なデータが利用できる場合にCNNの上限を制限する。 一方、ViTは小さなデータではCNNに劣るが、十分なデータでは優れている。 最近のアプローチでは、これらの2つのアーキテクチャの強みを組み合わせようとしている。 しかし,これらの手法は,サンプル画像ネットのサブセットに対する様々なモデルの精度を異なる比率で比較することにより,対象データスケールの変化に応じて最適な帰納バイアスも変化することを示す。 さらに,特徴マップのフーリエ解析により,信号の周波数変化に応じてモデルの応答パターンが変化し,各データスケールにおいてどの帰納バイアスが有利かを観察した。 畳み込みのような帰納的バイアスがモデルに含まれるほど、vitのようなモデルがresnetのパフォーマンスを上回るデータスケールが小さくなる。 データスケールにおけるフレキシブルなインダクティブバイアスを持つモデルを得るため、再パラメータ化は畳み込みと自己アテンションの間のインダクティブバイアスを補間できることを示す。 モデルが畳み込みに残るエポックの数を調整することで、畳み込みから自己アテンションへの再パラメータ化がCNNとViT間のフーリエ解析パターンを補間することを示す。 これらの知見に適応して,各層ごとの畳み込みや自己意図的帰納バイアスの要求量を調整するプログレッシブ・リパラメトリゼーション・スケジューリング(PRS)を提案する。 小規模データセットでは,後期層では畳み込みから自己アテンションへの再パラメータ化を線形に高速化する。 PRSは、CIFAR-100のような小規模データセットに関する以前の研究より優れていた。

関連論文リスト

• Visual Fourier Prompt Tuning [63.66866445034855]
  本稿では,大規模なトランスフォーマーモデルに適用するための汎用的で効果的な方法として,Visual Fourier Prompt Tuning (VFPT)法を提案する。 提案手法では,高速フーリエ変換を即時埋め込みに取り入れ,空間領域情報と周波数領域情報の両方を調和的に検討する。 提案手法は,2つのベンチマークにおいて,現状のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-02T18:18:35Z)
• Convolutional Initialization for Data-Efficient Vision Transformers [38.63299194992718]
  小さなデータセット上のビジョントランスフォーマーネットワークのトレーニングには課題がある。 CNNはアーキテクチャ上の帰納バイアスを利用して最先端のパフォーマンスを達成することができる。 我々のアプローチは、ランダムなインパルスフィルタがCNNの学習フィルタとほぼ同等の性能を達成できるという発見に動機づけられている。
  論文  参考訳（メタデータ） (2024-01-23T06:03:16Z)
• Assessing Neural Network Representations During Training Using Noise-Resilient Diffusion Spectral Entropy [55.014926694758195]
  ニューラルネットワークにおけるエントロピーと相互情報は、学習プロセスに関する豊富な情報を提供する。 データ幾何を利用して基礎となる多様体にアクセスし、これらの情報理論測度を確実に計算する。 本研究は,高次元シミュレーションデータにおける固有次元と関係強度の耐雑音性の測定結果である。
  論文  参考訳（メタデータ） (2023-12-04T01:32:42Z)
• Winner-Take-All Column Row Sampling for Memory Efficient Adaptation of Language Model [89.8764435351222]
  分散を低減した行列生成のために, WTA-CRS と呼ばれる新しい非バイアス推定系を提案する。 我々の研究は、チューニング変換器の文脈において、提案した推定器が既存のものよりも低い分散を示すという理論的および実験的証拠を提供する。
  論文  参考訳（メタデータ） (2023-05-24T15:52:08Z)
• Bias-variance decomposition of overparameterized regression with random linear features [0.0]
  パラメータ化モデル」は、トレーニングデータに完全に適合するのに十分な数のパラメータが適合している場合でも、過度に適合しないようにする。 ヘッセン行列の非零固有値が小さいため、各遷移がどのように生じるかを示す。 ランダムな線形特徴モデルの位相図とランダムな非線形特徴モデルと通常の回帰とを比較して比較する。
  論文  参考訳（メタデータ） (2022-03-10T16:09:21Z)
• How Well Do Sparse Imagenet Models Transfer? [75.98123173154605]
  転送学習は、大規模な"上流"データセットで事前訓練されたモデルが、"下流"データセットで良い結果を得るために適応される古典的なパラダイムである。 本研究では、ImageNetデータセットでトレーニングされた畳み込みニューラルネットワーク(CNN)のコンテキストにおいて、この現象を詳細に調査する。 スパースモデルでは, 高空間であっても, 高密度モデルの転送性能にマッチしたり, 性能に優れることを示す。
  論文  参考訳（メタデータ） (2021-11-26T11:58:51Z)
• Vision Transformers are Robust Learners [65.91359312429147]
  ビジョントランスフォーマー(ViT)の一般的な腐敗や摂動、分布シフト、自然逆転例に対する堅牢性について検討します。 ViTsが実際により堅牢な学習者である理由を説明するために、定量的および定性的な指標を提供する分析を提示します。
  論文  参考訳（メタデータ） (2021-05-17T02:39:22Z)
• Disentangled Recurrent Wasserstein Autoencoder [17.769077848342334]
  Recurrent Wasserstein Autoencoder (R-WAE)はシーケンシャルデータの生成モデリングのための新しいフレームワークである。 R-WAEは入力シーケンスの表現を静的および動的因子に切り離す。 私達のモデルは無条件のビデオ生成およびdisentanglementの点では同じ設定の他のベースラインを上回ります。
  論文  参考訳（メタデータ） (2021-01-19T07:43:25Z)
• Memorizing without overfitting: Bias, variance, and interpolation in over-parameterized models [0.0]
  バイアス分散トレードオフは教師あり学習における中心的な概念である。 現代のDeep Learningメソッドは、最先端のパフォーマンスを達成するために、このドグマを浮かび上がらせる。
  論文  参考訳（メタデータ） (2020-10-26T22:31:04Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。