論文の概要: Minimal Neural Network Models for Permutation Invariant Agents

• arxiv url: http://arxiv.org/abs/2205.07868v1
• Date: Thu, 12 May 2022 08:03:29 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-22 12:31:38.694179
• Title: Minimal Neural Network Models for Permutation Invariant Agents
• Title（参考訳）: 置換不変エージェントのための最小ニューラルネットワークモデル
• Authors: Joachim Winther Pedersen, Sebastian Risi
• Abstract要約: ほとんどの人工ニューラルネットワーク(ANN)は、様々な入力サイズを許容しない剛体構造を持つ。 これら2つのANNの柔軟性は緩和でき、それらの解は単純で非常に関連性が高い。 複数の制御問題に対してモデルの特性を実証し、入力指標の非常に高速な置換に対処可能であることを示す。
• 参考スコア（独自算出の注目度）: 9.387749254963595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Organisms in nature have evolved to exhibit flexibility in face of changes to the environment and/or to themselves. Artificial neural networks (ANNs) have proven useful for controlling of artificial agents acting in environments. However, most ANN models used for reinforcement learning-type tasks have a rigid structure that does not allow for varying input sizes. Further, they fail catastrophically if inputs are presented in an ordering unseen during optimization. We find that these two ANN inflexibilities can be mitigated and their solutions are simple and highly related. For permutation invariance, no optimized parameters can be tied to a specific index of the input elements. For size invariance, inputs must be projected onto a common space that does not grow with the number of projections. Based on these restrictions, we construct a conceptually simple model that exhibit flexibility most ANNs lack. We demonstrate the model's properties on multiple control problems, and show that it can cope with even very rapid permutations of input indices, as well as changes in input size. Ablation studies show that is possible to achieve these properties with simple feedforward structures, but that it is much easier to optimize recurrent structures.
• Abstract（参考訳）: 自然界の生物は、環境やそれ自身に対する変化に対して柔軟性を示すように進化してきた。 人工ニューラルネットワーク(anns)は、環境に作用する人工エージェントの制御に有用であることが証明されている。 しかし、強化学習型タスクに使用されるほとんどのANNモデルは、様々な入力サイズを許容しない剛体構造を持つ。 さらに、最適化中に見知らぬ順序で入力が提示されると破滅的に失敗する。 これら2つのANNの柔軟性は緩和でき、それらの解は単純で非常に関連性が高い。 置換不変性に対して、最適化されたパラメータは入力要素の特定のインデックスに結び付けられない。 サイズ不変性では、入力は射影数で成長しない共通の空間に投影されなければならない。 これらの制約に基づき、ANNに欠けている柔軟性を示す概念的にシンプルなモデルを構築する。 複数の制御問題に対してモデルの特性を実証し、入力指標の非常に高速な置換や入力サイズの変化に対処可能であることを示す。 アブレーション研究では、これらの特性を単純なフィードフォワード構造で達成できることが示されているが、再帰構造を最適化するのはずっと容易である。

関連論文リスト

• Structurally Flexible Neural Networks: Evolving the Building Blocks for General Agents [7.479827648985631]
  我々は、対称性ジレンマの緩和を可能にする、異なるニューロン型とシナプス型のセットを最適化することが可能であることを示す。 一つのニューロンとシナプスの集合を最適化して、複数の強化学習制御タスクを同時に解くことで、これを実証する。
  論文  参考訳（メタデータ） (2024-04-06T14:04:14Z)
• Universal Neural Functionals [67.80283995795985]
  多くの現代の機械学習タスクでは、ウェイトスペース機能を処理することが難しい問題である。 最近の研究は、単純なフィードフォワードネットワークの置換対称性に同値な有望な重み空間モデルを開発した。 本研究は,任意の重み空間に対する置換同変モデルを自動的に構築するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-02-07T20:12:27Z)
• Equivariant Adaptation of Large Pretrained Models [20.687626756753563]
  正規化ネットワークは,大規模な事前学習ネットワークの同種化に有効であることを示す。 データセットに依存した事前情報を用いて正準化関数を通知し、その性能を維持しながら、大きな事前訓練されたモデルを同変させることができる。
  論文  参考訳（メタデータ） (2023-10-02T21:21:28Z)
• Equivariant Transduction through Invariant Alignment [71.45263447328374]
  グループ内ハードアライメント機構を組み込んだ,新しいグループ同変アーキテクチャを提案する。 我々のネットワーク構造は、既存のグループ同変アプローチよりも強い同変特性を発達させることができる。 また、SCANタスクにおいて、従来のグループ同変ネットワークよりも経験的に優れていたことが判明した。
  論文  参考訳（メタデータ） (2022-09-22T11:19:45Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• Improving the Sample-Complexity of Deep Classification Networks with Invariant Integration [77.99182201815763]
  変換によるクラス内分散に関する事前知識を活用することは、ディープニューラルネットワークのサンプル複雑性を改善するための強力な方法である。 そこで本研究では,アプリケーションの複雑な問題に対処するために,プルーニング法に基づく新しい単項選択アルゴリズムを提案する。 本稿では,Rotated-MNIST,SVHN,CIFAR-10データセットにおけるサンプルの複雑さの改善について述べる。
  論文  参考訳（メタデータ） (2022-02-08T16:16:11Z)
• Implicit Equivariance in Convolutional Networks [1.911678487931003]
  IEN(Implicitly Equivariant Networks)は標準CNNモデルの異なる層で同変を誘導する。 IENは、高速な推論速度を提供しながら、最先端の回転同変追跡法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2021-11-28T14:44:17Z)
• Characterizing possible failure modes in physics-informed neural networks [55.83255669840384]
  科学機械学習における最近の研究は、いわゆる物理情報ニューラルネットワーク(PINN)モデルを開発した。 既存のPINN方法論は比較的自明な問題に対して優れたモデルを学ぶことができるが、単純なPDEであっても、関連する物理現象を学習するのに失敗する可能性があることを実証する。 これらの障害モードは,NNアーキテクチャの表現力の欠如によるものではなく,PINNのセットアップによって損失状況の最適化が極めて困難であることを示す。
  論文  参考訳（メタデータ） (2021-09-02T16:06:45Z)
• Exchangeable Neural ODE for Set Modeling [13.582728834152062]
  常微分方程式(ODE)による置換等式を実現するためのより一般的な定式化を提案する。 提案するモジュールであるExNODE(Exchangeable Neural ODE)は,識別タスクと生成タスクの両方にシームレスに適用できる。 また、時間次元における集合モデリングを拡張し、時間的集合モデリングのためのVAEベースモデルを提案する。
  論文  参考訳（メタデータ） (2020-08-06T14:11:36Z)
• Learning to Encode Position for Transformer with Continuous Dynamical Model [88.69870971415591]
  本研究では,トランスフォーマーモデルなどの非リカレントモデルの位置情報をエンコードする新しい学習方法を提案する。 このような力学系による位置指数に沿った符号化結果の進化をモデル化する。
  論文  参考訳（メタデータ） (2020-03-13T00:41:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。