論文の概要: Dictionary Learning under Symmetries via Group Representations
- arxiv url: http://arxiv.org/abs/2305.19557v1
- Date: Wed, 31 May 2023 04:54:06 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-01 18:28:14.335420
- Title: Dictionary Learning under Symmetries via Group Representations
- Title（参考訳）: 群表現による対称性に基づく辞書学習
- Authors: Subhroshekhar Ghosh, Aaron Y. R. Low, Yong Sheng Soh, Zhuohang Feng,
and Brendan K. Y. Tan
- Abstract要約: あらかじめ特定された変換群の下で不変な辞書を学習する問題について検討する。
本稿では,SO(2)群とSO(3)群の辞書学習問題を調査するために,本パラダイムを適用した。
- 参考スコア（独自算出の注目度）: 1.304892050913381
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The dictionary learning problem can be viewed as a data-driven process to
learn a suitable transformation so that data is sparsely represented directly
from example data. In this paper, we examine the problem of learning a
dictionary that is invariant under a pre-specified group of transformations.
Natural settings include Cryo-EM, multi-object tracking, synchronization, pose
estimation, etc. We specifically study this problem under the lens of
mathematical representation theory. Leveraging the power of non-abelian Fourier
analysis for functions over compact groups, we prescribe an algorithmic recipe
for learning dictionaries that obey such invariances. We relate the dictionary
learning problem in the physical domain, which is naturally modelled as being
infinite dimensional, with the associated computational problem, which is
necessarily finite dimensional. We establish that the dictionary learning
problem can be effectively understood as an optimization instance over certain
matrix orbitopes having a particular block-diagonal structure governed by the
irreducible representations of the group of symmetries. This perspective
enables us to introduce a band-limiting procedure which obtains dimensionality
reduction in applications. We provide guarantees for our computational ansatz
to provide a desirable dictionary learning outcome.
We apply our paradigm to investigate the dictionary learning problem for the
groups SO(2) and SO(3). While the SO(2) orbitope admits an exact spectrahedral
description, substantially less is understood about the SO(3) orbitope. We
describe a tractable spectrahedral outer approximation of the SO(3) orbitope,
and contribute an alternating minimization paradigm to perform optimization in
this setting. We provide numerical experiments to highlight the efficacy of our
approach in learning SO(3) invariant dictionaries, both on synthetic and on
real world data.
- Abstract（参考訳）: 辞書学習問題は、データがサンプルデータから直接スパースに表現されるように、適切な変換を学習するためのデータ駆動プロセスと見なすことができる。
本稿では,予め特定された変換群の下で不変な辞書を学習する問題を考察する。
自然設定には、cryo-em、マルチオブジェクトトラッキング、同期、ポーズ推定などが含まれる。
我々は、数学表現論のレンズの下でこの問題を具体的に研究する。
コンパクト群上の関数に対する非可換フーリエ解析の力を利用して,そのような不変性に従う辞書を学習するためのアルゴリズムレシピを定式化する。
我々は、自然に無限次元としてモデル化される物理領域における辞書学習問題と、必然的に有限次元である関連する計算問題とを関連づける。
本研究では, 辞書学習問題を, 特定のブロック対角構造を持つ行列軌道上において, 対称性群の既約表現によって支配される最適化例として効果的に理解できることを証明した。
この観点から,応用の次元的低減を実現する帯域制限手法を導入することができる。
我々は、望ましい辞書学習結果を提供するための計算 ansatz の保証を提供する。
本稿では,SO(2)群とSO(3)群の辞書学習問題に対して,本パラダイムを適用した。
SO(2)軌道は正確なスペクトル記述を持つが、SO(3)軌道についてはほとんど理解されていない。
本稿では、SO(3)軌道のトラクタブルなスペクトル外近似を記述し、この設定で最適化を行うための交互最小化パラダイムに寄与する。
本研究では,合成データと実世界データの両方において,so(3)不変辞書を学習する手法の有効性を強調する数値実験を行った。
関連論文リスト
- Symmetry Discovery for Different Data Types [52.2614860099811]
等価ニューラルネットワークは、そのアーキテクチャに対称性を取り入れ、より高度な一般化性能を実現する。
本稿では,タスクの入出力マッピングを近似したトレーニングニューラルネットワークによる対称性発見手法であるLieSDを提案する。
我々は,2体問題,慣性行列予測のモーメント,トップクォークタグ付けといった課題におけるLieSDの性能を検証した。
論文 参考訳（メタデータ） (2024-10-13T13:39:39Z) - Variational Learning ISTA [13.894911545678635]
本研究では,センサ行列条件の異なるスパース表現と再構成を学習するためのアーキテクチャを提案する。
変分学習ISTA(VLISTA)と呼ばれる変分アプローチを用いて辞書上の分布を学習する。
結果として、VLISTAは、辞書分布と再構成アルゴリズムを様々な知覚行列で共同で学習する確率的方法を提供する。
論文 参考訳（メタデータ） (2024-07-09T08:17:06Z) - Convergence of alternating minimisation algorithms for dictionary
learning [4.5687771576879594]
辞書学習のための2つの交互最小化アルゴリズムの収束に十分な条件を導出する。
我々は、生成辞書に少なくとも1/log(K)$の距離で、あるいは、初期化の各要素が1つの生成要素のみを指していることを保証する特別な構造を持つような、よく知られた初期化が与えられた場合、どちらのアルゴリズムも生成辞書への幾何収束率に収束することを示す。
論文 参考訳（メタデータ） (2023-04-04T12:58:47Z) - Learning Invariant Subspaces of Koopman Operators--Part 2: Heterogeneous
Dictionary Mixing to Approximate Subspace Invariance [0.0]
この研究は、データからクープマン作用素の近似辞書表現を学ぶために、パート1で提示されたモデルと概念に基づいている。
ヘテロジニアス辞書関数の構造化混合はディープラーニングに基づくディープDMDアルゴリズムと同じ精度と次元のスケーリングを実現する。
論文 参考訳（メタデータ） (2022-12-14T17:40:00Z) - Equivalence Between SE(3) Equivariant Networks via Steerable Kernels and
Group Convolution [90.67482899242093]
近年, 入力の回転と変換において等価な3次元データに対して, ニューラルネットワークを設計するための幅広い手法が提案されている。
両手法とその等価性を詳細に解析し,その2つの構成をマルチビュー畳み込みネットワークに関連付ける。
また、同値原理から新しいTFN非線形性を導出し、実用的なベンチマークデータセット上でテストする。
論文 参考訳（メタデータ） (2022-11-29T03:42:11Z) - Equivariance with Learned Canonicalization Functions [77.32483958400282]
正規化を行うために小さなニューラルネットワークを学習することは、事前定義を使用することよりも優れていることを示す。
実験の結果,正準化関数の学習は多くのタスクで同変関数を学習する既存の手法と競合することがわかった。
論文 参考訳（メタデータ） (2022-11-11T21:58:15Z) - Simple Alternating Minimization Provably Solves Complete Dictionary
Learning [13.056764072568749]
本稿では、与えられた信号の集合を学習辞書からの原子の線形結合として再パラメータ化することを目的とする完全な辞書問題に焦点を当てる。
理論的および実践的な辞書学習には、実用的なアルゴリズムに対する理論的保証の欠如と、大規模データセットを扱う際のスケーラビリティの低下という2つの大きな課題がある。
論文 参考訳（メタデータ） (2022-10-23T18:30:45Z) - Sparse Quadratic Optimisation over the Stiefel Manifold with Application
to Permutation Synchronisation [71.27989298860481]
二次目的関数を最大化するスティーフェル多様体上の行列を求める非最適化問題に対処する。
そこで本研究では,支配的固有空間行列を求めるための,単純かつ効果的なスパーシティプロモーティングアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-30T19:17:35Z) - Commutative Lie Group VAE for Disentanglement Learning [96.32813624341833]
本研究では,データに表される因子の変動を同変的に反映する基盤構造を見いだすこととして,非絡み合い学習を考察する。
グループベースの非絡み合い学習を実現するために、Communative Lie Group VAEというシンプルなモデルが導入された。
実験により,本モデルでは,教師なしの非絡み合い表現を効果的に学習し,余分な制約を伴わずに最先端のパフォーマンスを達成できることが示されている。
論文 参考訳（メタデータ） (2021-06-07T07:03:14Z) - Group Invariant Dictionary Learning [0.0]
我々は,基本構造ブロックの集合がそのような対称性の下で不変であることの制約の下で,データに対する辞書を学習するためのフレームワークを開発する。
本フレームワークは,整数シフトを考慮した畳み込み辞書学習問題に特化している。
合成データとECGデータに関する数値実験により,データセットにデータポイントがほとんどない場合には,前者のような対称性が組み込まれていることが示唆された。
論文 参考訳（メタデータ） (2020-07-15T09:03:30Z) - Anchor & Transform: Learning Sparse Embeddings for Large Vocabularies [60.285091454321055]
我々は,アンカー埋め込みとスパース変換行列の小さな組を学習する,単純で効率的な埋め込みアルゴリズムを設計する。
テキスト分類、言語モデリング、映画レコメンデーションのベンチマークでは、ANTは大きな語彙サイズに特に適していることが示されている。
論文 参考訳（メタデータ） (2020-03-18T13:07:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。