論文の概要: Neuro-algorithmic Policies enable Fast Combinatorial Generalization
- arxiv url: http://arxiv.org/abs/2102.07456v1
- Date: Mon, 15 Feb 2021 11:07:59 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-17 07:55:31.669856
- Title: Neuro-algorithmic Policies enable Fast Combinatorial Generalization
- Title（参考訳）: 高速コンビナトリアル・ジェネリゼーションを可能にする神経・自律神経政策
- Authors: Marin Vlastelica, Michal Rol\'inek and Georg Martius
- Abstract要約: 近年, 標準アーキテクチャの一般化は, 排他的データ取得後にのみ改善されることが示唆されている。
MDPフレームワークの特定のサブクラスに対して、これは神経アルゴリズムアーキテクチャーによって緩和できることを示す。
本稿では,ニューラルネットワークと組込み時間に依存した最短経路ソルバからなる自律神経系ポリシアーキテクチャを提案する。
- 参考スコア（独自算出の注目度）: 16.74322664734553
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Although model-based and model-free approaches to learning the control of
systems have achieved impressive results on standard benchmarks, generalization
to task variations is still lacking. Recent results suggest that generalization
for standard architectures improves only after obtaining exhaustive amounts of
data. We give evidence that generalization capabilities are in many cases
bottlenecked by the inability to generalize on the combinatorial aspects of the
problem. Furthermore, we show that for a certain subclass of the MDP framework,
this can be alleviated by neuro-algorithmic architectures.
Many control problems require long-term planning that is hard to solve
generically with neural networks alone. We introduce a neuro-algorithmic policy
architecture consisting of a neural network and an embedded time-dependent
shortest path solver. These policies can be trained end-to-end by blackbox
differentiation. We show that this type of architecture generalizes well to
unseen variations in the environment already after seeing a few examples.
- Abstract（参考訳）: システムの制御を学習するためのモデルベースおよびモデルフリーなアプローチは、標準ベンチマークで目覚ましい結果を得たが、タスクのバリエーションへの一般化はいまだに不足している。
近年, 標準アーキテクチャの一般化は, 排他的データ取得後にのみ改善されることが示唆されている。
一般化能力は、多くの場合、問題の組合せ的な側面で一般化できないことがボトルネックになっていることを示す。
さらに、MDPフレームワークの特定のサブクラスに対して、これは神経-アルゴリズムアーキテクチャーによって緩和できることを示す。
多くの制御問題は、ニューラルネットワークだけでは一般的な解決が難しい長期計画を必要とする。
本稿では,ニューラルネットワークと組込み時間に依存した最短経路ソルバからなる自律神経系ポリシアーキテクチャを提案する。
これらのポリシーは、ブラックボックスの差別化によってエンドツーエンドでトレーニングできます。
このタイプのアーキテクチャは、いくつかの例を見て、既に見つからない環境のバリエーションによく応用できることを示す。
関連論文リスト
- A Neural Rewriting System to Solve Algorithmic Problems [47.129504708849446]
ネストされた数学的公式を解くための一般的な手順を学習するために設計されたモジュラーアーキテクチャを提案する。
シンボリック人工知能の古典的なフレームワークである書き換えシステムに触発され、アーキテクチャには3つの専門的で対話的なモジュールが含まれます。
我々は、系統的な一般化に特化した最近のモデルであるNeural Data Routerと、先進的なプロンプト戦略で探索された最先端の大規模言語モデル(GPT-4)とを比較した。
論文 参考訳（メタデータ） (2024-02-27T10:57:07Z) - Generalization and Estimation Error Bounds for Model-based Neural
Networks [78.88759757988761]
スパースリカバリのためのモデルベースネットワークの一般化能力は、通常のReLUネットワークよりも優れていることを示す。
我々は,高一般化を保証したモデルベースネットワークの構築を可能にする実用的な設計規則を導出する。
論文 参考訳（メタデータ） (2023-04-19T16:39:44Z) - Multilevel-in-Layer Training for Deep Neural Network Regression [1.6185544531149159]
ニューラルネットワークの階層構造を構築し,訓練する多段階正規化戦略を提案する。
我々はPDE回帰問題を用いて,本手法が効果的な正則化手法であることを示す。
論文 参考訳（メタデータ） (2022-11-11T23:53:46Z) - Neural Networks and the Chomsky Hierarchy [27.470857324448136]
チョムスキー理論の知見が実際にニューラルネットワークの一般化の限界を予測できるかどうかを考察する。
膨大なデータとトレーニング時間さえも、非自明な一般化に繋がらない負の結果を示す。
この結果から,RNNとTransformerは非正規タスクの一般化に失敗し,構造化メモリで拡張されたネットワークのみがコンテキストレス・コンテキスト依存タスクの一般化に成功していることがわかった。
論文 参考訳（メタデータ） (2022-07-05T15:06:11Z) - Polynomial-Spline Neural Networks with Exact Integrals [0.0]
我々は,実験モデルの混合と自由結び目B1-スプライン基底関数を組み合わせた新しいニューラルネットワークアーキテクチャを開発した。
我々のアーキテクチャは近似理論から期待される収束率での回帰問題に対する$h$-および$p$-の洗練を示す。
ネットワークアーキテクチャの一貫性と正確な統合性を示す様々な回帰問題と変分問題において、我々のネットワークの成功を実証する。
論文 参考訳（メタデータ） (2021-10-26T22:12:37Z) - Generalization of Neural Combinatorial Solvers Through the Lens of
Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。
本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。
他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。
驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文 参考訳（メタデータ） (2021-10-21T07:28:11Z) - Wide Network Learning with Differential Privacy [7.453881927237143]
現在のニューラルネットの世代は、最も実質的に関連するプライバシトレーニング体制下で大きな損失を被っている。
プライベートな経験最小化(ERM)の勾配を生かしたこれらのモデルを訓練するための一般的なアプローチを開発する。
同じパラメータの数に従って、ニューラルネットワークをプライベートにトレーニングするための新しいアルゴリズムを提案します。
論文 参考訳（メタデータ） (2021-03-01T20:31:50Z) - Automated Search for Resource-Efficient Branched Multi-Task Networks [81.48051635183916]
我々は,多タスクニューラルネットワークにおける分岐構造を自動的に定義する,微分可能なニューラルネットワーク探索に根ざした原理的アプローチを提案する。
本手法は,限られた資源予算内で高い性能の分岐構造を見いだすことができる。
論文 参考訳（メタデータ） (2020-08-24T09:49:19Z) - Neural Complexity Measures [96.06344259626127]
本稿では,一般化を予測するメタラーニングフレームワークであるNeural Complexity(NC)を提案する。
我々のモデルは、データ駆動方式で、多くの異種タスクとの相互作用を通じてスカラー複雑性尺度を学習する。
論文 参考訳（メタデータ） (2020-08-07T02:12:10Z) - Multipole Graph Neural Operator for Parametric Partial Differential
Equations [57.90284928158383]
物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。
線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。
実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
論文 参考訳（メタデータ） (2020-06-16T21:56:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。