論文の概要: Efficient Learning of Discrete-Continuous Computation Graphs

• arxiv url: http://arxiv.org/abs/2307.14193v1
• Date: Wed, 26 Jul 2023 13:47:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-27 12:19:33.621924
• Title: Efficient Learning of Discrete-Continuous Computation Graphs
• Title（参考訳）: 離散連続計算グラフの効率的な学習
• Authors: David Friede and Mathias Niepert
• Abstract要約: 離散連続計算を構築するための一般的なアプローチは、ソフトマックストリックを使用して離散確率分布をニューラルネットワークに一般化することである。 これらのモデルのパラメータを最適化することは、主に小さな勾配と局所的なミニマのために困難であることを示す。 従来のソフトマックスのトリックでは訓練できない複雑な離散連続モデルを訓練できることが示される。
• 参考スコア（独自算出の注目度）: 15.26733033527393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Numerous models for supervised and reinforcement learning benefit from combinations of discrete and continuous model components. End-to-end learnable discrete-continuous models are compositional, tend to generalize better, and are more interpretable. A popular approach to building discrete-continuous computation graphs is that of integrating discrete probability distributions into neural networks using stochastic softmax tricks. Prior work has mainly focused on computation graphs with a single discrete component on each of the graph's execution paths. We analyze the behavior of more complex stochastic computations graphs with multiple sequential discrete components. We show that it is challenging to optimize the parameters of these models, mainly due to small gradients and local minima. We then propose two new strategies to overcome these challenges. First, we show that increasing the scale parameter of the Gumbel noise perturbations during training improves the learning behavior. Second, we propose dropout residual connections specifically tailored to stochastic, discrete-continuous computation graphs. With an extensive set of experiments, we show that we can train complex discrete-continuous models which one cannot train with standard stochastic softmax tricks. We also show that complex discrete-stochastic models generalize better than their continuous counterparts on several benchmark datasets.
• Abstract（参考訳）: 教師付きおよび強化学習のための多数のモデルは、離散的および連続的なモデルコンポーネントの組み合わせから恩恵を受ける。 エンドツーエンド学習可能な離散連続モデルは合成であり、より一般化され、より解釈可能である。 離散連続計算グラフを構築する一般的なアプローチは、確率的ソフトマックストリックを用いて離散確率分布をニューラルネットワークに統合する手法である。 先行研究は主に、グラフの実行パスごとに単一の離散成分を持つ計算グラフに焦点を当てている。 複数の逐次離散成分を持つより複雑な確率計算グラフの挙動を解析する。 これらのモデルのパラメータを最適化することは、主に小さな勾配と局所的な極小さのために困難である。 次に、これらの課題を克服するための2つの新しい戦略を提案する。 まず,学習時のガムベルノイズ摂動のスケールパラメータの増大が学習行動を改善することを示す。 第二に,確率的離散連続計算グラフに専用に調整したドロップアウト残差接続を提案する。 広範な実験により、標準的な確率的ソフトマックスのトリックで訓練できない複雑な離散連続モデルを訓練できることが示される。 また、複雑な離散確率モデルが、いくつかのベンチマークデータセット上で連続的なモデルよりも一般化されていることを示す。

関連論文リスト

• A Complete Decomposition of KL Error using Refined Information and Mode Interaction Selection [11.994525728378603]
  我々は高次モード相互作用に着目したログ線形モデルの古典的定式化を再考する。 学習した分布は、実際に利用可能な有限量のデータをより効率的に利用することができる。
  論文  参考訳（メタデータ） (2024-10-15T18:08:32Z)
• Condensing Graphs via One-Step Gradient Matching [50.07587238142548]
  ネットワーク重みを訓練せずに1ステップのみの勾配マッチングを行う1ステップ勾配マッチング方式を提案する。 我々の理論的分析は、この戦略が実際のグラフの分類損失を減少させる合成グラフを生成することができることを示している。 特に、元のパフォーマンスの最大98%を近似しながら、データセットサイズを90%削減することが可能です。
  論文  参考訳（メタデータ） (2022-06-15T18:20:01Z)
• Learning Sparse and Continuous Graph Structures for Multivariate Time Series Forecasting [5.359968374560132]
  Learning Sparse and Continuous Graphs for Forecasting (LSCGF)は、グラフ学習と予測に結合する新しいディープラーニングモデルである。 本稿では,スムーズ・スパース・ユニット (SSU) という新しい手法を提案する。 我々のモデルは、訓練可能な小さなパラメータで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-01-24T13:35:37Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Regularization of Mixture Models for Robust Principal Graph Learning [0.0]
  D$次元データポイントの分布から主グラフを学習するために,Mixture Modelsの正規化バージョンを提案する。 モデルのパラメータは期待最大化手順によって反復的に推定される。
  論文  参考訳（メタデータ） (2021-06-16T18:00:02Z)
• Stochastic Iterative Graph Matching [11.128153575173213]
  本稿では,グラフマッチング問題に対処する新しいモデルであるIterative Graph MAtchingを提案する。 我々のモデルはグラフ対のマッチングの分布を定義し、モデルが様々な可能なマッチングを探索できるようにする。 我々は、生化学やコンピュータビジョンの応用と同様に、合成グラフデータセットにまたがる広範な実験を行う。
  論文  参考訳（メタデータ） (2021-06-04T02:05:35Z)
• Continuous-in-Depth Neural Networks [107.47887213490134]
  まず最初に、このリッチな意味では、ResNetsは意味のある動的でないことを示します。 次に、ニューラルネットワークモデルが連続力学系を表現することを実証する。 ResNetアーキテクチャの詳細な一般化としてContinuousNetを紹介します。
  論文  参考訳（メタデータ） (2020-08-05T22:54:09Z)
• Scaling Graph Clustering with Distributed Sketches [1.1011268090482575]
  スペクトルクラスタリングにインスパイアされた手法として,ランダムな次元還元プロジェクションから得られた行列スケッチを用いる。 提案手法は,完全に動的なブロックモデルストリームが与えられた場合,性能の高いクラスタリング結果が得られる埋め込みを生成する。 また、ブロックモデルパラメータがその後の埋め込みの必要次元に与える影響についても検討し、ランダムなプロジェクションが分散メモリにおけるグラフクラスタリングの性能を大幅に改善できることを示す。
  論文  参考訳（メタデータ） (2020-07-24T17:38:04Z)
• Multipole Graph Neural Operator for Parametric Partial Differential Equations [57.90284928158383]
  物理系をシミュレーションするためのディープラーニングベースの手法を使用する際の大きな課題の1つは、物理ベースのデータの定式化である。 線形複雑度のみを用いて、あらゆる範囲の相互作用をキャプチャする、新しいマルチレベルグラフニューラルネットワークフレームワークを提案する。 実験により, 離散化不変解演算子をPDEに学習し, 線形時間で評価できることを確認した。
  論文  参考訳（メタデータ） (2020-06-16T21:56:22Z)
• Convolutional Tensor-Train LSTM for Spatio-temporal Learning [116.24172387469994]
  本稿では,ビデオシーケンスの長期相関を効率的に学習できる高次LSTMモデルを提案する。 これは、時間をかけて畳み込み特徴を組み合わせることによって予測を行う、新しいテンソルトレインモジュールによって達成される。 この結果は,幅広いアプリケーションやデータセットにおいて,最先端のパフォーマンス向上を実現している。
  論文  参考訳（メタデータ） (2020-02-21T05:00:01Z)
• Graph Ordering: Towards the Optimal by Learning [69.72656588714155]
  グラフ表現学習は、ノード分類、予測、コミュニティ検出など、多くのグラフベースのアプリケーションで顕著な成功を収めている。 しかし,グラフ圧縮やエッジ分割などのグラフアプリケーションでは,グラフ表現学習タスクに還元することは極めて困難である。 本稿では,このようなアプリケーションの背後にあるグラフ順序付け問題に対して,新しい学習手法を用いて対処することを提案する。
  論文  参考訳（メタデータ） (2020-01-18T09:14:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。