論文の概要: S2RMs: Spatially Structured Recurrent Modules

• arxiv url: http://arxiv.org/abs/2007.06533v1
• Date: Mon, 13 Jul 2020 17:44:30 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-10 23:06:34.646712
• Title: S2RMs: Spatially Structured Recurrent Modules
• Title（参考訳）: S2RM:空間構造リカレントモジュール
• Authors: Nasim Rahaman, Anirudh Goyal, Muhammad Waleed Gondal, Manuel Wuthrich, Stefan Bauer, Yash Sharma, Yoshua Bengio, Bernhard Sch\"olkopf
• Abstract要約: モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
• 参考スコア（独自算出の注目度）: 105.0377129434636
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Capturing the structure of a data-generating process by means of appropriate inductive biases can help in learning models that generalize well and are robust to changes in the input distribution. While methods that harness spatial and temporal structures find broad application, recent work has demonstrated the potential of models that leverage sparse and modular structure using an ensemble of sparingly interacting modules. In this work, we take a step towards dynamic models that are capable of simultaneously exploiting both modular and spatiotemporal structures. We accomplish this by abstracting the modeled dynamical system as a collection of autonomous but sparsely interacting sub-systems. The sub-systems interact according to a topology that is learned, but also informed by the spatial structure of the underlying real-world system. This results in a class of models that are well suited for modeling the dynamics of systems that only offer local views into their state, along with corresponding spatial locations of those views. On the tasks of video prediction from cropped frames and multi-agent world modeling from partial observations in the challenging Starcraft2 domain, we find our models to be more robust to the number of available views and better capable of generalization to novel tasks without additional training, even when compared against strong baselines that perform equally well or better on the training distribution.
• Abstract（参考訳）: 適切な帰納バイアスによってデータ生成プロセスの構造を捉えることは、よく一般化され、入力分布の変化にロバストな学習モデルに役立つ。 空間的構造と時間的構造を利用する手法は広く応用されているが、最近の研究はスパースとモジュラー構造を利用するモデルの可能性を示した。 本研究では,モジュール構造と時空間構造の両方を同時に活用できる動的モデルへの一歩を踏み出す。 モデル化された力学系を,自律的だが軽微に相互作用するサブシステムの集合として抽象化することで,これを実現する。 サブシステムは、学習されるトポロジーに従って相互作用するが、基礎となる実世界のシステムの空間構造にも影響される。 これにより、状態への局所的なビューのみを提供するシステムのダイナミクスと、それらのビューの対応する空間的位置のモデリングによく適合するモデルクラスが生まれる。 クロッピングフレームからの映像予測や,starcraft2領域における部分的観測による多エージェント世界モデリングの課題について,我々は,本モデルが利用可能なビュー数に対してより堅牢であり,トレーニングを伴わずに新たなタスクに一般化できることを見出した。

関連論文リスト

• Topological Deep Learning with State-Space Models: A Mamba Approach for Simplicial Complexes [4.787059527893628]
  本稿では,Mamba状態空間モデルをバックボーンとして利用して,単純な複素数を扱うように設計された新しいアーキテクチャを提案する。 提案手法は, 隣接セルをベースとしたノードのシーケンスを生成し, ランクに関わらず, 上位構造間の直接通信を可能にする。
  論文  参考訳（メタデータ） (2024-09-18T14:49:25Z)
• Learnable & Interpretable Model Combination in Dynamic Systems Modeling [0.0]
  我々は、通常、どのモデルが組み合わされるかについて議論し、様々な混合方程式に基づくモデルを表現することができるモデルインターフェースを提案する。 本稿では,2つの組み合わせモデル間の汎用的な接続を,容易に解釈可能な方法で記述できる新しいワイルドカードトポロジーを提案する。 本稿では、2つのモデル間の異なる接続トポロジを学習し、解釈し、比較する。
  論文  参考訳（メタデータ） (2024-06-12T11:17:11Z)
• Modular Deep Learning [120.36599591042908]
  トランスファーラーニングは近年、機械学習の主要なパラダイムとなっている。 負の干渉を伴わずに複数のタスクを専門とするモデルを開発する方法はまだ不明である。 これらの課題に対する有望な解決策として、モジュール型ディープラーニングが登場した。
  論文  参考訳（メタデータ） (2023-02-22T18:11:25Z)
• Learning Modular Simulations for Homogeneous Systems [23.355189771765644]
  等質多体力学系をモデル化するためのモジュラーシミュレーションフレームワークを提案する。 任意の数の加群を組み合わせることで、様々な結合トポロジーの系をシミュレートすることができる。 我々のモデルは、スクラッチからトレーニングされたモデルと比較して、データ要件やトレーニングの労力が低い新しいシステム構成に移行可能であることを示しています。
  論文  参考訳（メタデータ） (2022-10-28T17:48:01Z)
• ModLaNets: Learning Generalisable Dynamics via Modularity and Physical Inductive Bias [14.474273671369584]
  モジュラリティと物理的帰納バイアスを有する構造的ニューラルネットワークフレームワークを提案する。 このフレームワークはモジュラリティを用いて各要素のエネルギーをモデル化し、ラグランジュ力学を介して対象の力学系を構築する。 トレーニングデータセットの小さい二重振り子または3体システムのモデリングフレームワークについて検討する。
  論文  参考訳（メタデータ） (2022-06-24T14:54:25Z)
• Model LEGO: Creating Models Like Disassembling and Assembling Building Blocks [53.09649785009528]
  本稿では,新しいモデルを得るためのトレーニングを必要としないパラダイムについて検討する。 生体視覚系における受容野にインスパイアされたCNNの誕生と同様、モデル分解と組み立てを提案する。 モデル組立には、特定のタスクに適した新しいモデルを構築するために、アライメントパディング戦略とパラメータスケーリング戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:27:28Z)
• Low-Rank Constraints for Fast Inference in Structured Models [110.38427965904266]
  この研究は、大規模構造化モデルの計算とメモリの複雑さを低減するための単純なアプローチを示す。 言語モデリング,ポリフォニック・ミュージック・モデリング,教師なし文法帰納法,ビデオ・モデリングのためのニューラルパラメータ構造モデルを用いた実験により,我々の手法は大規模状態空間における標準モデルの精度と一致することを示した。
  論文  参考訳（メタデータ） (2022-01-08T00:47:50Z)
• GEM: Group Enhanced Model for Learning Dynamical Control Systems [78.56159072162103]
  サンプルベースの学習が可能な効果的なダイナミクスモデルを構築します。 リー代数ベクトル空間上のダイナミクスの学習は、直接状態遷移モデルを学ぶよりも効果的であることを示す。 この研究は、ダイナミクスの学習とリー群の性質の関連性を明らかにし、新たな研究の方向への扉を開く。
  論文  参考訳（メタデータ） (2021-04-07T01:08:18Z)
• Learning Stable Deep Dynamics Models [91.90131512825504]
  状態空間全体にわたって安定することが保証される力学系を学習するためのアプローチを提案する。 このような学習システムは、単純な力学系をモデル化することができ、複雑な力学を学習するために追加の深層生成モデルと組み合わせることができることを示す。
  論文  参考訳（メタデータ） (2020-01-17T00:04:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。