論文の概要: Neural Lattice Reduction: A Self-Supervised Geometric Deep Learning Approach

• arxiv url: http://arxiv.org/abs/2311.08170v2
• Date: Mon, 10 Feb 2025 13:57:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-11 18:57:48.333279
• Title: Neural Lattice Reduction: A Self-Supervised Geometric Deep Learning Approach
• Title（参考訳）: ニューラル格子低減 : 自己監督型幾何学的深層学習アプローチ
• Authors: Giovanni Luca Marchetti, Gabriele Cesa, Pratik Kumar, Arash Behboodi,
• Abstract要約: 本稿では,ニューラルネットワークによる格子縮小問題に対するアルゴリズム空間のパラメータ化と,教師付きデータを持たないアルゴリズムの探索を行うことが可能であることを示す。 本研究では,一様行列の因子を出力する深層ニューラルネットワークを設計し,非直交格子基底をペナルライズして自己指導的に学習する。 提案手法は,一連のベンチマークにおいて,Lenstra-Lenstra-Lov'aszアルゴリズムに匹敵する複雑性と性能を持つアルゴリズムが得られることを示す。
• 参考スコア（独自算出の注目度）: 12.679411410749521
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Lattice reduction is a combinatorial optimization problem aimed at finding the most orthogonal basis in a given lattice. The Lenstra-Lenstra-Lov\'asz (LLL) algorithm is the best algorithm in the literature for solving this problem. In light of recent research on algorithm discovery, in this work, we would like to answer this question: is it possible to parametrize the algorithm space for lattice reduction problem with neural networks and find an algorithm without supervised data? Our strategy is to use equivariant and invariant parametrizations and train in a self-supervised way. We design a deep neural model outputting factorized unimodular matrices and train it in a self-supervised manner by penalizing non-orthogonal lattice bases. We incorporate the symmetries of lattice reduction into the model by making it invariant to isometries and scaling of the ambient space and equivariant with respect to the hyperocrahedral group permuting and flipping the lattice basis elements. We show that this approach yields an algorithm with comparable complexity and performance to the LLL algorithm on a set of benchmarks. Additionally, motivated by certain applications for wireless communication, we extend our method to a convolutional architecture which performs joint reduction of spatially-correlated lattices arranged in a grid, thereby amortizing its cost over multiple lattices.
• Abstract（参考訳）: 格子還元は、与えられた格子において最も直交基底を求めることを目的とした組合せ最適化問題である。 Lenstra-Lenstra-Lov\'asz (LLL) アルゴリズムは、この問題を解決するのに最適なアルゴリズムである。 ニューラルネットワークによる格子縮小問題に対してアルゴリズム空間をパラメータ化して,教師付きデータを持たないアルゴリズムを見つけることは可能だろうか? 我々の戦略は、同変および不変なパラメトリゼーションを使用し、自己監督的な方法で訓練することである。 本研究では,一様行列の因子を出力する深層ニューラルネットワークを設計し,非直交格子基底をペナルライズして自己指導的に学習する。 格子基底要素を置換・反転する超正則群に対して、格子還元の対称性を等長写像に不変にし、周囲空間のスケーリングと同変を同型にすることでモデルに組み込む。 提案手法は,LLLアルゴリズムに匹敵する複雑性と性能を持つアルゴリズムをベンチマークで生成することを示す。 さらに,無線通信のための特定の応用を動機として,格子に配置された空間相関格子の結合還元を行う畳み込み構造に手法を拡張し,そのコストを複数の格子上で償却する。

関連論文リスト

• An Efficient Alternating Algorithm for ReLU-based Symmetric Matrix Decomposition [0.0]
  本稿では,正則線形単位(ReLU)アクティベーション関数を用いて,非負およびスパース行列の低ランク構造を活用することに焦点を当てる。 本稿では,ReLUに基づく非線形対称行列分解(ReLU-NSMD)モデルを提案し,その解に対して高速化された交互部分ブレグマン(AAPB)法を導入し,アルゴリズムの収束結果を示す。
  論文  参考訳（メタデータ） (2025-03-21T04:32:53Z)
• Precise asymptotics of reweighted least-squares algorithms for linear diagonal networks [15.074950361970194]
  我々は、IRLS、最近提案されたリンリン-RFMアルゴリズム、交互対角ニューラルネットワークを含むアルゴリズム群を統一的に分析する。 適切に選択された再重み付けポリシーにより、少数のスパース構造が良好な性能が得られることを示す。 また、これを再重み付け方式で活用することで、座標ワイド再重み付けよりもテスト誤差が良好に向上することを示す。
  論文  参考訳（メタデータ） (2024-06-04T20:37:17Z)
• ADMM-MM Algorithm for General Tensor Decomposition [7.0326155922512275]
  提案アルゴリズムは3つの基本損失関数(ell$-loss, $ell$-loss, KL divergence)と様々な低ランクテンソル分解モデル(CP, Tucker, TT, TR)をサポートする。 提案したアルゴリズムにより広帯域のアプリケーションを解くことができ、プラグイン・アンド・プレイ方式で既存のテンソル分解モデルに容易に拡張できることを示す。
  論文  参考訳（メタデータ） (2023-12-19T00:17:34Z)
• Stochastic Gradient Descent for Gaussian Processes Done Right [86.83678041846971]
  emphdone right -- 最適化とカーネルコミュニティからの具体的な洞察を使用するという意味で -- が、勾配降下は非常に効果的であることを示している。 本稿では,直感的に設計を記述し,設計選択について説明する。 本手法は,分子結合親和性予測のための最先端グラフニューラルネットワークと同程度にガウス過程の回帰を配置する。
  論文  参考訳（メタデータ） (2023-10-31T16:15:13Z)
• Infeasible Deterministic, Stochastic, and Variance-Reduction Algorithms for Optimization under Orthogonality Constraints [9.301728976515255]
  本稿では,着陸アルゴリズムの実用化と理論的展開について述べる。 まず、この方法はスティーフェル多様体に拡張される。 また、コスト関数が多くの関数の平均である場合の分散還元アルゴリズムについても検討する。
  論文  参考訳（メタデータ） (2023-03-29T07:36:54Z)
• Linearization Algorithms for Fully Composite Optimization [61.20539085730636]
  本稿では,完全合成最適化問題を凸コンパクト集合で解くための一階アルゴリズムについて検討する。 微分可能および非微分可能を別々に扱い、滑らかな部分のみを線形化することで目的の構造を利用する。
  論文  参考訳（メタデータ） (2023-02-24T18:41:48Z)
• Simplifying Momentum-based Positive-definite Submanifold Optimization with Applications to Deep Learning [24.97120654216651]
  部分多様体上の運動量を持つ難しい微分方程式の解法を示す。 我々はリーマン正規座標の一般化版を提案する。 我々は,行列乗算のみを用いることで,構造化共分散の既存手法を単純化し,低精度のディープラーニングのための行列非逆2textnd$ordersを開発する。
  論文  参考訳（メタデータ） (2023-02-20T03:31:11Z)
• Implicit Regularization for Group Sparsity [33.487964460794764]
  正方形回帰損失に対する勾配勾配は, 明示的な正則化を伴わずに, 群間隔構造を持つ解に偏りを示す。 一般雑音設定における回帰問題の勾配ダイナミクスを解析し,最小最適誤差率を求める。 サイズ 1 群の退化の場合、我々の手法は疎線形回帰の新しいアルゴリズムを生み出す。
  論文  参考訳（メタデータ） (2023-01-29T20:54:03Z)
• A Recursively Recurrent Neural Network (R2N2) Architecture for Learning Iterative Algorithms [64.3064050603721]
  本研究では,リカレントニューラルネットワーク (R2N2) にランゲ・クッタニューラルネットワークを一般化し,リカレントニューラルネットワークを最適化した反復アルゴリズムの設計を行う。 本稿では, 線形方程式系に対するクリロフ解法, 非線形方程式系に対するニュートン・クリロフ解法, 常微分方程式に対するルンゲ・クッタ解法と類似の繰り返しを計算問題クラスの入力・出力データに対して提案した超構造内における重みパラメータの正規化について述べる。
  論文  参考訳（メタデータ） (2022-11-22T16:30:33Z)
• Adaptive Stochastic Optimisation of Nonconvex Composite Objectives [2.1700203922407493]
  一般化された複合ミラー降下アルゴリズムの一群を提案し,解析する。 適応的なステップサイズでは、提案アルゴリズムは問題の事前知識を必要とせずに収束する。 決定集合の低次元構造を高次元問題に活用する。
  論文  参考訳（メタデータ） (2022-11-21T18:31:43Z)
• Learning Graphical Factor Models with Riemannian Optimization [70.13748170371889]
  本稿では,低ランク構造制約下でのグラフ学習のためのフレキシブルなアルゴリズムフレームワークを提案する。 この問題は楕円分布のペナルティ化された最大推定値として表される。 楕円モデルによく適合する正定行列と定ランクの正半定行列のジオメトリを利用する。
  論文  参考訳（メタデータ） (2022-10-21T13:19:45Z)
• Graph Polynomial Convolution Models for Node Classification of Non-Homophilous Graphs [52.52570805621925]
  本研究では,高階グラフ畳み込みからの効率的な学習と,ノード分類のための隣接行列から直接学習する。 得られたモデルが新しいグラフと残留スケーリングパラメータをもたらすことを示す。 提案手法は,非親和性パラメータのノード分類における精度の向上を実証する。
  論文  参考訳（メタデータ） (2022-09-12T04:46:55Z)
• The Dynamics of Riemannian Robbins-Monro Algorithms [101.29301565229265]
  本稿では,Robins と Monro のセミナル近似フレームワークを一般化し拡張するリーマンアルゴリズムの族を提案する。 ユークリッドのそれと比較すると、リーマンのアルゴリズムは多様体上の大域線型構造が欠如しているため、はるかに理解されていない。 ユークリッド・ロビンス=モンロスキームの既存の理論を反映し拡張するほぼ確実な収束結果の一般的なテンプレートを提供する。
  論文  参考訳（メタデータ） (2022-06-14T12:30:11Z)
• Semi-Supervised Subspace Clustering via Tensor Low-Rank Representation [64.49871502193477]
  本稿では,初期監視情報を同時に拡張し,識別親和性行列を構築することのできる,新しい半教師付きサブスペースクラスタリング手法を提案する。 6つの一般的なベンチマークデータセットの総合的な実験結果から,本手法が最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-05-21T01:47:17Z)
• An Inexact Augmented Lagrangian Algorithm for Training Leaky ReLU Neural Network with Group Sparsity [13.27709100571336]
  近年,グループ正規化期間を持つリーク型ReLUネットワークが広く利用されている。 定常点を決定論的に計算する手法が存在しないことを示す。 本稿では,新しいモデルを解くための不正確な拡張ラグランジアンアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-05-11T11:53:15Z)
• Nonlinear matrix recovery using optimization on the Grassmann manifold [18.655422834567577]
  本研究では,列が部分空間の結合などの非線形構造に従う部分観測された高階クラスタリング行列の復元問題について検討する。 交代極限はクルディカ・ロジャシ性質を用いて一意点に収束することを示す。
  論文  参考訳（メタデータ） (2021-09-13T16:13:13Z)
• Unfolding Projection-free SDP Relaxation of Binary Graph Classifier via GDPA Linearization [59.87663954467815]
  アルゴリズムの展開は、モデルベースのアルゴリズムの各イテレーションをニューラルネットワーク層として実装することにより、解釈可能で類似のニューラルネットワークアーキテクチャを生成する。 本稿では、Gershgorin disc perfect alignment (GDPA)と呼ばれる最近の線形代数定理を利用して、二進グラフの半定値プログラミング緩和(SDR)のためのプロジェクションフリーアルゴリズムをアンロールする。 実験結果から,我々の未学習ネットワークは純粋モデルベースグラフ分類器よりも優れ,純粋データ駆動ネットワークに匹敵する性能を示したが,パラメータははるかに少なかった。
  論文  参考訳（メタデータ） (2021-09-10T07:01:15Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• A Parallelizable Lattice Rescoring Strategy with Neural Language Models [62.20538383769179]
  自動音声認識のためのニューラルネットワークモデル(LM)を用いた効率的な格子相関のための後部格子拡張アルゴリズムを提案する。 スイッチボードデータセットにおける実験により,提案手法が同等の認識性能を得た。 PyTorchで訓練されたニューラル LM をKaldi との格子再構成に簡単に統合することで、並列再描画法により柔軟性が向上する。
  論文  参考訳（メタデータ） (2021-03-08T21:23:12Z)
• Optimal Randomized First-Order Methods for Least-Squares Problems [56.05635751529922]
  このアルゴリズムのクラスは、最小二乗問題に対する最も高速な解法のうち、いくつかのランダム化手法を含んでいる。 我々は2つの古典的埋め込み、すなわちガウス射影とアダマール変換のサブサンプリングに焦点を当てる。 得られたアルゴリズムは条件数に依存しない最小二乗問題の解法として最も複雑である。
  論文  参考訳（メタデータ） (2020-02-21T17:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。