論文の概要: Equivariant Adaptation of Large Pretrained Models

• arxiv url: http://arxiv.org/abs/2310.01647v2
• Date: Sun, 29 Oct 2023 13:46:45 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 20:02:11.312764
• Title: Equivariant Adaptation of Large Pretrained Models
• Title（参考訳）: 大規模事前学習モデルの等変適応
• Authors: Arnab Kumar Mondal, Siba Smarak Panigrahi, S\'ekou-Oumar Kaba, Sai Rajeswar, Siamak Ravanbakhsh
• Abstract要約: 正規化ネットワークは,大規模な事前学習ネットワークの同種化に有効であることを示す。 データセットに依存した事前情報を用いて正準化関数を通知し、その性能を維持しながら、大きな事前訓練されたモデルを同変させることができる。
• 参考スコア（独自算出の注目度）: 20.687626756753563
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Equivariant networks are specifically designed to ensure consistent behavior with respect to a set of input transformations, leading to higher sample efficiency and more accurate and robust predictions. However, redesigning each component of prevalent deep neural network architectures to achieve chosen equivariance is a difficult problem and can result in a computationally expensive network during both training and inference. A recently proposed alternative towards equivariance that removes the architectural constraints is to use a simple canonicalization network that transforms the input to a canonical form before feeding it to an unconstrained prediction network. We show here that this approach can effectively be used to make a large pretrained network equivariant. However, we observe that the produced canonical orientations can be misaligned with those of the training distribution, hindering performance. Using dataset-dependent priors to inform the canonicalization function, we are able to make large pretrained models equivariant while maintaining their performance. This significantly improves the robustness of these models to deterministic transformations of the data, such as rotations. We believe this equivariant adaptation of large pretrained models can help their domain-specific applications with known symmetry priors.
• Abstract（参考訳）: 等価ネットワークは、入力変換のセットに関して一貫した振る舞いを保証するよう特別に設計されており、高いサンプル効率とより正確でロバストな予測をもたらす。 しかしながら、一般的なディープニューラルネットワークアーキテクチャの各コンポーネントを再設計して、選択された等価性を達成することは難しい問題であり、トレーニングと推論の両方において計算コストの高いネットワークとなる可能性がある。 アーキテクチャ上の制約を取り除くために最近提案された等価性(equivariance)の代替案は、入力を標準形式に変換して、制約のない予測ネットワークに渡す単純な標準化ネットワークを使用することである。 本稿では,この手法を大規模事前学習ネットワークの等価化に効果的に利用できることを示す。 しかし, 生成した正準方向は, トレーニング分布の方向と誤一致し, 性能を阻害することが観察された。 標準化関数にデータセット依存の事前情報を使うことで、性能を維持しながら、事前学習された大規模モデルに等価性を持たせることができる。 これにより、回転のようなデータの決定論的変換にこれらのモデルの堅牢性を大幅に改善する。 この大きな事前訓練されたモデルの同変適応は、既知の対称性を持つ領域固有の応用に役立つと信じている。

関連論文リスト

• Spatially-varying Regularization with Conditional Transformer for Unsupervised Image Registration [11.498623409184225]
  ニューラルネットワークを用いてデータから直接変形正規化器を学習するエンドツーエンドフレームワークを提案する。 提案手法はTransformerベースのモデルに基づいて構築されるが,任意のネットワークアーキテクチャに容易に適応できる。
  論文  参考訳（メタデータ） (2023-03-10T19:11:16Z)
• Self-Supervised Learning for Group Equivariant Neural Networks [75.62232699377877]
  群同変ニューラルネットワーク(英: Group equivariant Neural Network)は、入力の変換で通勤する構造に制限されたモデルである。 自己教師型タスクには、同変プリテキストラベルと異変コントラスト損失という2つの概念を提案する。 標準画像認識ベンチマークの実験では、同変ニューラルネットワークが提案された自己教師型タスクを利用することを示した。
  論文  参考訳（メタデータ） (2023-03-08T08:11:26Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Faithful Heteroscedastic Regression with Neural Networks [2.2835610890984164]
  パラメータマップにニューラルネットワークを使用するパラメトリックメソッドは、データ内の複雑な関係をキャプチャすることができる。 ヘテロスセダティックなモデルを生成するために最適化に2つの簡単な修正を加え、ホモスセダティックなモデルとほぼ同等の精度で推定する。 提案手法は,等しくフレキシブルな平均値のみのモデルの精度を維持しつつ,クラスごとの分散キャリブレーションも提供する。
  論文  参考訳（メタデータ） (2022-12-18T22:34:42Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Relaxing Equivariance Constraints with Non-stationary Continuous Filters [20.74154804898478]
  提案したパラメータ化は、ニューラルネットワークの調整可能な対称性構造を可能にするビルディングブロックと考えることができる。 CIFAR-10 および CIFAR-100 画像分類タスクにおいて, ソフトな等式が試験精度の向上につながることを実験的に検証した。
  論文  参考訳（メタデータ） (2022-04-14T18:08:36Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Training or Architecture? How to Incorporate Invariance in Neural Networks [14.162739081163444]
  本稿では,グループ行動に関して,ネットワークアーキテクチャを確実に不変化する手法を提案する。 簡単に言えば、実際のネットワークにデータを送る前に、可能なトランスフォーメーションを“無効化”するつもりです。 このような手法の特性を解析し、等変ネットワークに拡張し、その利点を頑健さと計算効率の両面からいくつかの数値例で示す。
  論文  参考訳（メタデータ） (2021-06-18T10:31:00Z)
• More Is More -- Narrowing the Generalization Gap by Adding Classification Heads [8.883733362171032]
  我々は「TransNet」と呼ばれる入力変換に基づく既存のニューラルネットワークモデルのためのアーキテクチャ拡張を導入する。 私たちのモデルは、トレーニング時間のみに使用でき、予測のために刈り取られ、結果としてベースモデルと同等のアーキテクチャになります。
  論文  参考訳（メタデータ） (2021-02-09T16:30:33Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。