論文の概要: Operator SVD with Neural Networks via Nested Low-Rank Approximation

• arxiv url: http://arxiv.org/abs/2402.03655v2
• Date: Wed, 21 Aug 2024 05:09:53 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-22 22:54:42.298966
• Title: Operator SVD with Neural Networks via Nested Low-Rank Approximation
• Title（参考訳）: Nested Low-Rank Approximationによるニューラルネットワークを用いた演算子SVD
• Authors: J. Jon Ryu, Xiangxiang Xu, H. S. Melihcan Erol, Yuheng Bu, Lizhong Zheng, Gregory W. Wornell,
• Abstract要約: 本稿では, トラッピング特異値分解の低ランク近似に基づく新しい最適化フレームワークを提案する。 最上位の$L$特異値と特異関数を正しい順序で学習するためのエンフェンシングと呼ばれる新しい手法。 本稿では,計算物理学と機械学習のユースケースに対する提案手法の有効性を実証する。
• 参考スコア（独自算出の注目度）: 19.562492156734653
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Computing eigenvalue decomposition (EVD) of a given linear operator, or finding its leading eigenvalues and eigenfunctions, is a fundamental task in many machine learning and scientific computing problems. For high-dimensional eigenvalue problems, training neural networks to parameterize the eigenfunctions is considered as a promising alternative to the classical numerical linear algebra techniques. This paper proposes a new optimization framework based on the low-rank approximation characterization of a truncated singular value decomposition, accompanied by new techniques called \emph{nesting} for learning the top-$L$ singular values and singular functions in the correct order. The proposed method promotes the desired orthogonality in the learned functions implicitly and efficiently via an unconstrained optimization formulation, which is easy to solve with off-the-shelf gradient-based optimization algorithms. We demonstrate the effectiveness of the proposed optimization framework for use cases in computational physics and machine learning.
• Abstract（参考訳）: 与えられた線形作用素の固有値分解(EVD)を計算したり、その主要な固有値や固有関数を見つけることは、多くの機械学習および科学計算問題において基本的な課題である。 高次元固有値問題に対して、固有関数をパラメータ化するためのニューラルネットワークの訓練は、古典的な数値線形代数手法の代替として有望であると考えられている。 本稿では,最上位の$L$特異値と特異関数を正しい順序で学習する「emph{nesting}」と呼ばれる新しい手法を伴って,切り捨てられた特異値分解の低ランク近似に基づく新しい最適化フレームワークを提案する。 提案手法は,非制約最適化の定式化により,学習関数における所望の直交性を暗黙的かつ効率的に促進する。 本稿では,計算物理学と機械学習のユースケースに対する最適化フレームワークの有効性を示す。

関連論文リスト

• Analyzing and Enhancing the Backward-Pass Convergence of Unrolled Optimization [50.38518771642365]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 この設定における中心的な課題は最適化問題の解によるバックプロパゲーションであり、しばしば閉形式を欠いている。 本稿では, 非線形最適化の後方通過に関する理論的知見を提供し, 特定の反復法による線形システムの解と等価であることを示す。 Folded Optimizationと呼ばれるシステムが提案され、非ローリングなソルバ実装からより効率的なバックプロパゲーションルールを構築する。
  論文  参考訳（メタデータ） (2023-12-28T23:15:18Z)
• Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
  線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。 ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
  論文  参考訳（メタデータ） (2023-04-17T14:23:43Z)
• Backpropagation of Unrolled Solvers with Folded Optimization [55.04219793298687]
  ディープネットワークにおけるコンポーネントとしての制約付き最適化モデルの統合は、多くの専門的な学習タスクに有望な進歩をもたらした。 1つの典型的な戦略はアルゴリズムのアンローリングであり、これは反復解法の操作による自動微分に依存している。 本稿では,非ロール最適化の後方通過に関する理論的知見を提供し,効率よく解けるバックプロパゲーション解析モデルを生成するシステムに繋がる。
  論文  参考訳（メタデータ） (2023-01-28T01:50:42Z)
• Maximum Optimality Margin: A Unified Approach for Contextual Linear Programming and Inverse Linear Programming [10.06803520598035]
  我々は、下流最適化の最適条件によって機械学習損失関数が機能する最大最適マージンと呼ばれる問題に対する新しいアプローチを開発する。
  論文  参考訳（メタデータ） (2023-01-26T17:53:38Z)
• Transformer-Based Learned Optimization [37.84626515073609]
  ニューラルネットワークを用いて計算の更新ステップを表現できる学習最適化手法を提案する。 私たちの革新は、古典的なBFGSアルゴリズムにインスパイアされた、新しいニューラルネットワークアーキテクチャです。 最適化アルゴリズムの評価に伝統的に用いられてきた目的関数からなるベンチマークにおいて,提案手法の利点を実証する。
  論文  参考訳（メタデータ） (2022-12-02T09:47:08Z)
• Teaching Networks to Solve Optimization Problems [13.803078209630444]
  反復解法をトレーニング可能なパラメトリック集合関数に置き換えることを提案する。 このようなパラメトリックな(集合)関数を学習することで、様々な古典的最適化問題を解くことができることを示す。
  論文  参考訳（メタデータ） (2022-02-08T19:13:13Z)
• Implicit Rate-Constrained Optimization of Non-decomposable Objectives [37.43791617018009]
  機械学習における制約付き最適化問題の一家系を考察する。 我々のキーとなる考え方は、閾値パラメータをモデルパラメータの関数として表現するレート制約のある最適化を定式化することである。 本稿では, 標準勾配法を用いて, 結果の最適化問題を解く方法を示す。
  論文  参考訳（メタデータ） (2021-07-23T00:04:39Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Bilevel Optimization: Convergence Analysis and Enhanced Design [63.64636047748605]
  バイレベル最適化は多くの機械学習問題に対するツールである。 Stoc-BiO という新しい確率効率勾配推定器を提案する。
  論文  参考訳（メタデータ） (2020-10-15T18:09:48Z)
• A Primer on Zeroth-Order Optimization in Signal Processing and Machine Learning [95.85269649177336]
  ZO最適化は、勾配推定、降下方向、ソリューション更新の3つの主要なステップを反復的に実行する。 我々は,ブラックボックス深層学習モデルによる説明文の評価や生成,効率的なオンラインセンサ管理など,ZO最適化の有望な応用を実証する。
  論文  参考訳（メタデータ） (2020-06-11T06:50:35Z)
• Learning Cost Functions for Optimal Transport [44.64193016158591]
  逆最適輸送(英: Inverse optimal transport, OT)とは、観測された輸送計画またはそのサンプルから、OTのコスト関数を学習する問題を指す。 逆OT問題の制約のない凸最適化式を導出し、任意のカスタマイズ可能な正規化によりさらに拡張することができる。
  論文  参考訳（メタデータ） (2020-02-22T07:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。