論文の概要: Learning Invariances with Generalised Input-Convex Neural Networks
- arxiv url: http://arxiv.org/abs/2204.07009v1
- Date: Thu, 14 Apr 2022 15:03:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-15 17:28:54.769292
- Title: Learning Invariances with Generalised Input-Convex Neural Networks
- Title(参考訳): 一般入力凸ニューラルネットワークによる学習不変性
- Authors: Vitali Nesterov, Fabricio Arend Torres, Monika Nagy-Huber, Maxim
Samarin, Volker Roth
- Abstract要約: 本稿では,スムーズなネットワークを形成する連結レベルセットを持つことが保証される関数を表現する,フレキシブルニューラルネットワークの新たなクラスを紹介する。
計算化学などの実世界の応用において,不変性を特徴付ける新しい手法が強力な生成データ探索ツールであることを示す。
- 参考スコア(独自算出の注目度): 3.5611181253285253
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Considering smooth mappings from input vectors to continuous targets, our
goal is to characterise subspaces of the input domain, which are invariant
under such mappings. Thus, we want to characterise manifolds implicitly defined
by level sets. Specifically, this characterisation should be of a global
parametric form, which is especially useful for different informed data
exploration tasks, such as building grid-based approximations, sampling points
along the level curves, or finding trajectories on the manifold. However,
global parameterisations can only exist if the level sets are connected. For
this purpose, we introduce a novel and flexible class of neural networks that
generalise input-convex networks. These networks represent functions that are
guaranteed to have connected level sets forming smooth manifolds on the input
space. We further show that global parameterisations of these level sets can be
always found efficiently. Lastly, we demonstrate that our novel technique for
characterising invariances is a powerful generative data exploration tool in
real-world applications, such as computational chemistry.
- Abstract(参考訳): 入力ベクトルから連続目標への滑らかな写像を考えると、そのような写像の下で不変な入力領域の部分空間を特徴づけることが目的である。
したがって、我々はレベル集合によって暗黙的に定義される多様体を特徴づけたい。
特に、この特徴付けは、グリッドベースの近似の構築、レベル曲線に沿った点のサンプリング、多様体上の軌跡の発見など、異なる情報データ探索タスクに特に有用であるグローバルパラメトリック形式であるべきである。
しかし、グローバルなパラメータ化は、レベルセットが連結されている場合にのみ存在する。
そこで本研究では,入力凸ネットワークを一般化する,新しいフレキシブルなニューラルネットワークのクラスを提案する。
これらのネットワークは、入力空間上の滑らかな多様体を形成する連結レベル集合を持つことを保証する関数を表す。
さらに、これらのレベルセットのグローバルなパラメータ化は常に効率的に見つけることができることを示す。
最後に,計算化学などの実世界の応用において,不変性を特徴付ける新しい手法が強力な生成データ探索ツールであることを示す。
関連論文リスト
- FUNCK: Information Funnels and Bottlenecks for Invariant Representation
Learning [7.804994311050265]
データから不変表現を学習すると主張する一連の関連する情報漏えいとボトルネック問題について検討する。
本稿では,この情報理論の目的である「側情報付き条件付きプライバシ・ファンネル」の新たな要素を提案する。
一般に難解な目的を考慮し、ニューラルネットワークによってパラメータ化された補正変分推論を用いて、抽出可能な近似を導出する。
論文 参考訳(メタデータ) (2022-11-02T19:37:55Z) - SemAffiNet: Semantic-Affine Transformation for Point Cloud Segmentation [94.11915008006483]
ポイントクラウドセマンティックセグメンテーションのためのSemAffiNetを提案する。
我々はScanNetV2とNYUv2データセットについて広範な実験を行った。
論文 参考訳(メタデータ) (2022-05-26T17:00:23Z) - On the Effective Number of Linear Regions in Shallow Univariate ReLU
Networks: Convergence Guarantees and Implicit Bias [50.84569563188485]
我々は、ラベルが$r$のニューロンを持つターゲットネットワークの符号によって決定されるとき、勾配流が方向収束することを示す。
我々の結果は、標本サイズによらず、幅が$tildemathcalO(r)$である、緩やかなオーバーパラメータ化をすでに維持しているかもしれない。
論文 参考訳(メタデータ) (2022-05-18T16:57:10Z) - Origami in N dimensions: How feed-forward networks manufacture linear
separability [1.7404865362620803]
フィードフォワードアーキテクチャは,非占有高次元におけるデータ多様体のプログレッシブフォールディング(プログレッシブフォールディング)という,分離性を達成するための主要なツールを手元に持っていることを示す。
せん断に基づく代替手法は、非常に深いアーキテクチャを必要とするが、現実のネットワークでは小さな役割しか果たさないと我々は主張する。
メカニスティックな洞察に基づいて、分離性の生成は必然的に、混合選択性およびバイモーダルチューニング曲線を示すニューロンを伴っていると予測する。
論文 参考訳(メタデータ) (2022-03-21T21:33:55Z) - Learning Prototype-oriented Set Representations for Meta-Learning [85.19407183975802]
集合構造データから学ぶことは、近年注目を集めている根本的な問題である。
本稿では,既存の要約ネットワークを改善するための新しい最適輸送方式を提案する。
さらに、少数ショット分類と暗黙的メタ生成モデリングの事例にインスタンス化する。
論文 参考訳(メタデータ) (2021-10-18T09:49:05Z) - Deep Parametric Continuous Convolutional Neural Networks [92.87547731907176]
Parametric Continuous Convolutionは、非グリッド構造化データ上で動作する、新たな学習可能な演算子である。
室内および屋外シーンの点雲セグメンテーションにおける最先端技術よりも顕著な改善が見られた。
論文 参考訳(メタデータ) (2021-01-17T18:28:23Z) - Federated Self-Supervised Learning of Multi-Sensor Representations for
Embedded Intelligence [8.110949636804772]
スマートフォン、ウェアラブル、IoT(Internet of Things)デバイスは、教師付きモデルを学習するための集中リポジトリに蓄積できない豊富なデータを生成する。
本稿では,ウェーブレット変換に基づくテキストカルグラム・信号対応学習という自己教師付きアプローチを提案し,ラベルなしセンサ入力から有用な表現を学習する。
さまざまなパブリックデータセットのマルチビュー戦略を用いて,学習機能の品質を広範囲に評価し,すべての領域で高いパフォーマンスを実現している。
論文 参考訳(メタデータ) (2020-07-25T21:59:17Z) - Localized convolutional neural networks for geospatial wind forecasting [0.0]
畳み込みニューラルネットワーク(CNN)は多くの空間データに関して正の特性を有する。
本研究では,CNNがグローバルな特徴に加えて,局所的な特徴を学習することのできる局所畳み込みニューラルネットワークを提案する。
どのような畳み込みレイヤにも追加可能で、簡単にエンドツーエンドのトレーニングが可能で、最小限の複雑さを導入でき、CNNは必要な範囲でそのメリットの大部分を維持できる。
論文 参考訳(メタデータ) (2020-05-12T17:14:49Z) - Neural Subdivision [58.97214948753937]
本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。
すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。
単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
論文 参考訳(メタデータ) (2020-05-04T20:03:21Z) - Global Context-Aware Progressive Aggregation Network for Salient Object
Detection [117.943116761278]
我々は,低レベルな外観特徴,高レベルな意味特徴,グローバルな文脈特徴を統合化するための新しいネットワークGCPANetを提案する。
提案手法は, 定量的かつ定性的に, 最先端の手法よりも優れていることを示す。
論文 参考訳(メタデータ) (2020-03-02T04:26:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。