論文の概要: DAG Learning on the Permutahedron

• arxiv url: http://arxiv.org/abs/2301.11898v1
• Date: Fri, 27 Jan 2023 18:22:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-30 14:43:28.486085
• Title: DAG Learning on the Permutahedron
• Title（参考訳）: ペルムタヘドロンによるDAG学習
• Authors: Valentina Zantedeschi, Luca Franceschi, Jean Kaddour, Matt J. Kusner, Vlad Niculae
• Abstract要約: 本稿では,観測データから潜在有向非巡回グラフ(DAG)を発見するための連続最適化フレームワークを提案する。 提案手法は、置換ベクトル(いわゆるペルムタヘドロン)のポリトープを最適化し、位相的順序付けを学習する。
• 参考スコア（独自算出の注目度）: 33.523216907730216
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a continuous optimization framework for discovering a latent directed acyclic graph (DAG) from observational data. Our approach optimizes over the polytope of permutation vectors, the so-called Permutahedron, to learn a topological ordering. Edges can be optimized jointly, or learned conditional on the ordering via a non-differentiable subroutine. Compared to existing continuous optimization approaches our formulation has a number of advantages including: 1. validity: optimizes over exact DAGs as opposed to other relaxations optimizing approximate DAGs; 2. modularity: accommodates any edge-optimization procedure, edge structural parameterization, and optimization loss; 3. end-to-end: either alternately iterates between node-ordering and edge-optimization, or optimizes them jointly. We demonstrate, on real-world data problems in protein-signaling and transcriptional network discovery, that our approach lies on the Pareto frontier of two key metrics, the SID and SHD.
• Abstract（参考訳）: 観測データから潜在有向非巡回グラフ(DAG)を発見するための連続最適化フレームワークを提案する。 提案手法は、置換ベクトル(いわゆるペルムタヘドロン)のポリトープを最適化し、位相的順序付けを学ぶ。 エッジは共同で最適化したり、微分不可能なサブルーチンを通じて順序付けを学習したりすることができる。 既存の継続的最適化アプローチと比較して、私たちの定式化には次のような利点があります。 1. 有効性:近似DAGを最適化する他の緩和とは対照的に、正確なDAGを最適化する。 2. モジュール性: エッジ最適化手順、エッジ構造パラメータ化、最適化損失に対応。 3. エンドツーエンド: ノード順序付けとエッジ最適化を交互に繰り返すか、共同で最適化する。 タンパク質シグナリングと転写ネットワーク発見における実世界のデータ問題において、我々のアプローチは2つの主要な指標であるSIDとSHDのParetoフロンティアにあることを実証する。

関連論文リスト

• A Continuous Relaxation for Discrete Bayesian Optimization [17.312618575552]
  推論と最適化は計算処理が可能であることを示す。 特に、観測と厳格な予算がほとんど存在しない最適化領域について検討する。 得られた取得関数は、連続的あるいは離散的な最適化アルゴリズムで最適化可能であることを示す。
  論文  参考訳（メタデータ） (2024-04-26T14:47:40Z)
• SGD with Partial Hessian for Deep Neural Networks Optimization [18.78728272603732]
  本稿では,チャネルワイドパラメータを更新するための2次行列と,他のパラメータを更新するための1次勾配降下(SGD)アルゴリズムを組み合わせた化合物を提案する。 一階述語と比較して、最適化を支援するためにヘッセン行列からの一定の量の情報を採用するが、既存の二階述語一般化と比較すると、一階述語一般化の性能は不正確である。
  論文  参考訳（メタデータ） (2024-03-05T06:10:21Z)
• SequentialAttention++ for Block Sparsification: Differentiable Pruning Meets Combinatorial Optimization [24.55623897747344]
  ニューラルネットワークプルーニングは、大規模で拡張性があり、解釈可能で、一般化可能なモデルを構築するための重要な技術である。 群スパース最適化の非正規化として,既存の微分可能なプルーニング手法がいくつあるかを示す。 我々は、ImageNetとCriteoデータセット上の大規模ニューラルネットワークブロックワイドプルーニングタスクの最先端技術であるSequentialAttention++を提案する。
  論文  参考訳（メタデータ） (2024-02-27T21:42:18Z)
• ALEXR: An Optimal Single-Loop Algorithm for Convex Finite-Sum Coupled Compositional Stochastic Optimization [53.14532968909759]
  ALEXRと呼ばれる,効率的な単ループプリマルデュアルブロックコーディネートアルゴリズムを提案する。 本研究では, ALEXR の凸面および強凸面の収束速度を滑らか性および非滑らか性条件下で確立する。 本稿では,ALEXRの収束速度が,検討されたcFCCO問題に対する1次ブロック座標アルゴリズムの中で最適であることを示すために,より低い複雑性境界を示す。
  論文  参考訳（メタデータ） (2023-12-04T19:00:07Z)
• Accelerating Cutting-Plane Algorithms via Reinforcement Learning Surrogates [49.84541884653309]
  凸離散最適化問題に対する現在の標準的なアプローチは、カットプレーンアルゴリズムを使うことである。 多くの汎用カット生成アルゴリズムが存在するにもかかわらず、大規模な離散最適化問題は、難易度に悩まされ続けている。 そこで本研究では,強化学習による切削平面アルゴリズムの高速化手法を提案する。
  論文  参考訳（メタデータ） (2023-07-17T20:11:56Z)
• n-Step Temporal Difference Learning with Optimal n [5.945710235932345]
  我々は,n段階時間差(TD)学習におけるnの最適値を求める問題を考察する。 最適化問題に対する目的関数は平均根平均二乗誤差(RMSE)である。
  論文  参考訳（メタデータ） (2023-03-13T12:44:32Z)
• Extrinsic Bayesian Optimizations on Manifolds [1.3477333339913569]
  オイクリッド多様体上の一般最適化問題に対する外部ベイズ最適化(eBO)フレームワークを提案する。 我々のアプローチは、まず多様体を高次元空間に埋め込むことによって、外部ガウス過程を採用することである。 これにより、複素多様体上の最適化のための効率的でスケーラブルなアルゴリズムが導かれる。
  論文  参考訳（メタデータ） (2022-12-21T06:10:12Z)
• An Empirical Evaluation of Zeroth-Order Optimization Methods on AI-driven Molecule Optimization [78.36413169647408]
  分子目的を最適化するための様々なZO最適化手法の有効性について検討する。 ZO符号に基づく勾配降下(ZO-signGD)の利点を示す。 本稿では,Guurcamol スイートから広く使用されているベンチマークタスクに対して,ZO 最適化手法の有効性を示す。
  論文  参考訳（メタデータ） (2022-10-27T01:58:10Z)
• DAGs with No Curl: An Efficient DAG Structure Learning Approach [62.885572432958504]
  近年のDAG構造学習は連続的な非巡回性制約を伴う制約付き連続最適化問題として定式化されている。 本稿では,DAG空間の重み付き隣接行列を直接モデル化し,学習するための新しい学習フレームワークを提案する。 本手法は, 線形および一般化された構造方程式モデルにおいて, ベースラインDAG構造学習法よりも精度が高いが, 効率がよいことを示す。
  論文  参考訳（メタデータ） (2021-06-14T07:11:36Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• Convergence of adaptive algorithms for weakly convex constrained optimization [59.36386973876765]
  モローエンベロープの勾配のノルムに対して$mathcaltilde O(t-1/4)$収束率を証明する。 我々の分析では、最小バッチサイズが1ドル、定数が1位と2位のモーメントパラメータが1ドル、そしておそらくスムーズな最適化ドメインで機能する。
  論文  参考訳（メタデータ） (2020-06-11T17:43:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。