論文の概要: Rethink Deep Learning with Invariance in Data Representation

• arxiv url: http://arxiv.org/abs/2412.04858v1
• Date: Fri, 06 Dec 2024 08:52:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-09 15:56:30.447249
• Title: Rethink Deep Learning with Invariance in Data Representation
• Title（参考訳）: データ表現の不変性によるディープラーニングの再考
• Authors: Shuren Qi, Fei Wang, Tieyong Zeng, Fenglei Fan,
• Abstract要約: 不変設計は、深層学習以前の様々な表現の基盤となっている。 本チュートリアルでは,データ表現の不変性に関する歴史的考察を紹介する。 これらの研究のジレンマ、有望な作業、今後の方向性、そしてWebアプリケーションを特定します。
• 参考スコア（独自算出の注目度）: 23.49898692565483
• License:
• Abstract: Integrating invariance into data representations is a principled design in intelligent systems and web applications. Representations play a fundamental role, where systems and applications are both built on meaningful representations of digital inputs (rather than the raw data). In fact, the proper design/learning of such representations relies on priors w.r.t. the task of interest. Here, the concept of symmetry from the Erlangen Program may be the most fruitful prior -- informally, a symmetry of a system is a transformation that leaves a certain property of the system invariant. Symmetry priors are ubiquitous, e.g., translation as a symmetry of the object classification, where object category is invariant under translation. The quest for invariance is as old as pattern recognition and data mining itself. Invariant design has been the cornerstone of various representations in the era before deep learning, such as the SIFT. As we enter the early era of deep learning, the invariance principle is largely ignored and replaced by a data-driven paradigm, such as the CNN. However, this neglect did not last long before they encountered bottlenecks regarding robustness, interpretability, efficiency, and so on. The invariance principle has returned in the era of rethinking deep learning, forming a new field known as Geometric Deep Learning (GDL). In this tutorial, we will give a historical perspective of the invariance in data representations. More importantly, we will identify those research dilemmas, promising works, future directions, and web applications.
• Abstract（参考訳）: データ表現への不変性の統合は、インテリジェントシステムやWebアプリケーションにおいて原則化された設計である。 システムとアプリケーションは、(生のデータではなく)デジタル入力の有意義な表現に基づいて構築される。 実際、そのような表現の適切な設計/学習は、関心のあるタスクに関する事前の知識に依存している。 ここでは、Erlangen Program からの対称性の概念は最も実りのある事前概念であり、非公式に言えば、システムの対称性はシステム不変性の特定の性質を残した変換である。 対称性の先行は、例えば、オブジェクト分類の対称性としての変換としてユビキタスであり、対象圏は翻訳の下で不変である。 不変性の探求は、パターン認識とデータマイニングそのものと同じくらい古い。 不変設計は、SIFTのような深層学習以前の様々な表現の基盤となっている。 ディープラーニングの初期に入ると、不変原理は無視され、CNNのようなデータ駆動パラダイムに置き換えられる。 しかし、この無視は、堅牢性、解釈可能性、効率性などに関するボトルネックに遭遇するまでに長くは続かなかった。 不変原理は、深層学習を再考する時代に復活し、幾何深層学習(Geometric Deep Learning, GDL)と呼ばれる新しい分野を形成した。 本チュートリアルでは,データ表現の不変性に関する歴史的考察を紹介する。 さらに重要なことは、これらの研究のジレンマ、有望な作業、今後の方向性、そしてWebアプリケーションを特定します。

関連論文リスト

• Unsupervised Representation Learning from Sparse Transformation Analysis [79.94858534887801]
  本稿では,潜在変数のスパース成分への変換を分解し,シーケンスデータから表現を学習することを提案する。 入力データは、まず潜伏活性化の分布として符号化され、その後確率フローモデルを用いて変換される。
  論文  参考訳（メタデータ） (2024-10-07T23:53:25Z)
• Deep networks for system identification: a Survey [56.34005280792013]
  システム識別は、入力出力データから動的システムの数学的記述を学習する。 同定されたモデルの主な目的は、以前の観測から新しいデータを予測することである。 我々は、フィードフォワード、畳み込み、リカレントネットワークなどの文献で一般的に採用されているアーキテクチャについて論じる。
  論文  参考訳（メタデータ） (2023-01-30T12:38:31Z)
• In What Ways Are Deep Neural Networks Invariant and How Should We Measure This? [5.757836174655293]
  我々は、これらの特性を損失や精度などの他の指標から切り離す方法で定量化することができる、不変および等分散メトリクスのファミリーを導入する。 本研究では,事前学習した重み付きモデルの初期化がトレーニングモデルの不変性に影響を及ぼすか否かから,トレーニングによって学習した不変性が分布外データに一般化できる範囲まで,ディープラーニングモデルにおける不変性と等価性に関するさまざまな結論を導出する。
  論文  参考訳（メタデータ） (2022-10-07T18:43:21Z)
• The Lie Derivative for Measuring Learned Equivariance [84.29366874540217]
  我々は、CNN、トランスフォーマー、ミキサーアーキテクチャにまたがる数百の事前訓練されたモデルの同値性について検討する。 その結果,不等式違反の多くは,不等式などのユビキタスネットワーク層における空間エイリアスに関連付けられることがわかった。 例えば、トランスはトレーニング後の畳み込みニューラルネットワークよりも同種である。
  論文  参考訳（メタデータ） (2022-10-06T15:20:55Z)
• Learning sparse features can lead to overfitting in neural networks [9.2104922520782]
  機能学習は遅延トレーニングよりもパフォーマンスが良くないことを示す。 空間性は異方性データの学習に不可欠であることが知られているが、対象関数が一定あるいは滑らかな場合に有害である。
  論文  参考訳（メタデータ） (2022-06-24T14:26:33Z)
• Fair Interpretable Learning via Correction Vectors [68.29997072804537]
  我々は「補正ベクトル」の学習を中心とした公正表現学習のための新しい枠組みを提案する。 修正は単純に元の特徴にまとめられるので、各特徴に対して明確なペナルティやボーナスとして分析することができる。 このような方法で制約された公平な表現学習問題が性能に影響を与えないことを実験的に示す。
  論文  参考訳（メタデータ） (2022-01-17T10:59:33Z)
• Perspective: A Phase Diagram for Deep Learning unifying Jamming, Feature Learning and Lazy Training [4.318555434063275]
  ディープラーニングアルゴリズムは、画像認識やgoプレイなど、さまざまなタスクにおける技術革命の責任を負う。 しかし、なぜ働くのかは分かっていない。 最終的に、彼らは高い次元に横たわるデータを分類することに成功しました。 我々は、異なる学習体制をフェーズダイアグラムにまとめることができると論じる。
  論文  参考訳（メタデータ） (2020-12-30T11:00:36Z)
• Learning Invariances in Neural Networks [51.20867785006147]
  ネットワークパラメータや拡張パラメータに関して,拡張性よりも分布をパラメータ化し,トレーニング損失を同時に最適化する方法を示す。 画像分類,回帰,セグメンテーション,分子特性予測における不均一性の正確なセットと範囲を,拡張の広い空間から復元することができる。
  論文  参考訳（メタデータ） (2020-10-22T17:18:48Z)
• Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
  実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。 本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。 このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
  論文  参考訳（メタデータ） (2020-10-10T14:04:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。