論文の概要: Resource-Efficient Invariant Networks: Exponential Gains by Unrolled Optimization

• arxiv url: http://arxiv.org/abs/2203.05006v1
• Date: Wed, 9 Mar 2022 19:04:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-11 14:41:12.396874
• Title: Resource-Efficient Invariant Networks: Exponential Gains by Unrolled Optimization
• Title（参考訳）: 資源効率の良い不変ネットワーク:アンロール最適化による指数ゲイン
• Authors: Sam Buchanan, Jingkai Yan, Ellie Haber, John Wright
• Abstract要約: 本稿では,最適化に基づく不変ネットワーク構築のための新しい計算プリミティブを提案する。 提案手法の効率向上と音質の実証的,理論的検討を行った。 単純な階層的オブジェクト検出タスクに対して,効率的な不変ネットワークを構築する上で,その有用性を実証する。
• 参考スコア（独自算出の注目度）: 8.37077056358265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Achieving invariance to nuisance transformations is a fundamental challenge in the construction of robust and reliable vision systems. Existing approaches to invariance scale exponentially with the dimension of the family of transformations, making them unable to cope with natural variabilities in visual data such as changes in pose and perspective. We identify a common limitation of these approaches--they rely on sampling to traverse the high-dimensional space of transformations--and propose a new computational primitive for building invariant networks based instead on optimization, which in many scenarios provides a provably more efficient method for high-dimensional exploration than sampling. We provide empirical and theoretical corroboration of the efficiency gains and soundness of our proposed method, and demonstrate its utility in constructing an efficient invariant network for a simple hierarchical object detection task when combined with unrolled optimization. Code for our networks and experiments is available at https://github.com/sdbuch/refine.
• Abstract（参考訳）: ニュアンス変換への不変性を達成することは、堅牢で信頼性の高い視覚システムの構築における根本的な課題である。 既存の不変性に対するアプローチは、変換の族次元と指数関数的にスケールし、ポーズや視点の変化のような視覚データの自然な変動に対処できない。 我々は,これらの手法の共通する限界を明らかにした。それらは,変換の高次元空間を横断するサンプリングに依存する - そして,多くのシナリオにおいてサンプリングよりも高次元探索に有効な方法を提供する最適化に代えて,不変ネットワークを構築するための新しい計算プリミティブを提案する。 本研究では,提案手法の効率向上と健全性に関する実証的・理論的確証を与え,簡単な階層的物体検出タスクのための効率的な不変ネットワークの構築と未進行最適化の併用の有用性を実証する。 私たちのネットワークと実験のコードは、https://github.com/sdbuch/refine.comで利用可能です。

関連論文リスト

• Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
  異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。 この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。 本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。 ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
  論文  参考訳（メタデータ） (2024-09-17T19:59:57Z)
• Improving Equivariant Model Training via Constraint Relaxation [31.507956579770088]
  等価ニューラルネットワークは、基礎となるデータ対称性が知られているタスクでうまく一般化できるため、様々なアプリケーションで広く利用されている。 そこで本研究では,トレーニング中の厳密な均衡制約を緩和することにより,そのようなモデルの最適化を改善する新しい枠組みを提案する。 本研究では,様々な最先端ネットワークアーキテクチャの実験結果を提供し,このトレーニングフレームワークが一般化性能を向上した同変モデルを実現する方法を示す。
  論文  参考訳（メタデータ） (2024-08-23T17:35:08Z)
• Variational Learning of Gaussian Process Latent Variable Models through Stochastic Gradient Annealed Importance Sampling [22.256068524699472]
  本研究では,これらの問題に対処するために,Annealed Importance Smpling (AIS)アプローチを提案する。 シークエンシャルモンテカルロサンプリング器とVIの強度を組み合わせることで、より広い範囲の後方分布を探索し、徐々にターゲット分布に接近する。 実験結果から,本手法はより厳密な変動境界,高い対数類似度,より堅牢な収束率で最先端の手法より優れていることが示された。
  論文  参考訳（メタデータ） (2024-08-13T08:09:05Z)
• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Deep Neural Networks with Efficient Guaranteed Invariances [77.99182201815763]
  我々は、性能改善の問題、特にディープニューラルネットワークのサンプル複雑性に対処する。 群同変畳み込みは同変表現を得るための一般的なアプローチである。 本稿では,各ストリームが異なる変換に不変なマルチストリームアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2023-03-02T20:44:45Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• A Simple Strategy to Provable Invariance via Orbit Mapping [14.127786615513978]
  本稿では,グループ行動に関して,ネットワークアーキテクチャを確実に不変にする方法を提案する。 簡単に言えば、実際のネットワークにデータを送る前に、可能なトランスフォーメーションを“無効化”するつもりです。
  論文  参考訳（メタデータ） (2022-09-24T03:40:42Z)
• The Self-Optimal-Transport Feature Transform [2.804721532913997]
  ダウンストリームマッチングや関連するタスクのグループ化を容易にするために、データインスタンスの機能セットをアップグレードする方法を示します。 エントロピー正規化バージョンを最適輸送 (OT) 最適化により近似できる, 特定の min-コスト-max-flow 分数マッチング問題により, トランスダクティブ・トランスフォーメーションが生じる。 経験的に、この変換は、その使用において非常に効果的で柔軟性があり、挿入されるネットワークを一貫して改善している。
  論文  参考訳（メタデータ） (2022-04-06T20:00:39Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Revisiting Transformation Invariant Geometric Deep Learning: Are Initial Representations All You Need? [80.86819657126041]
  変換不変および距離保存初期表現は変換不変性を達成するのに十分であることを示す。 具体的には、多次元スケーリングを変更することで、変換不変かつ距離保存された初期点表現を実現する。 我々は、TinvNNが変換不変性を厳密に保証し、既存のニューラルネットワークと組み合わせられるほど汎用的で柔軟なことを証明した。
  論文  参考訳（メタデータ） (2021-12-23T03:52:33Z)
• Exploring Complementary Strengths of Invariant and Equivariant Representations for Few-Shot Learning [96.75889543560497]
  多くの現実世界では、多数のラベル付きサンプルの収集は不可能です。 少ないショット学習はこの問題に対処するための主要なアプローチであり、目的は限られた数のサンプルの存在下で新しいカテゴリに迅速に適応することです。 幾何学的変換の一般集合に対する等分散と不変性を同時に強制する新しい訓練機構を提案する。
  論文  参考訳（メタデータ） (2021-03-01T21:14:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。