論文の概要: Online Orthogonal Dictionary Learning Based on Frank-Wolfe Method

• arxiv url: http://arxiv.org/abs/2103.01484v1
• Date: Tue, 2 Mar 2021 05:49:23 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-03 20:12:51.350341
• Title: Online Orthogonal Dictionary Learning Based on Frank-Wolfe Method
• Title（参考訳）: Frank-Wolfe法によるオンライン直交辞書学習
• Authors: Ye Xue and Vincent Lau
• Abstract要約: 辞書学習は信号処理や機械学習で広く使われている教師なし学習手法である。 提案手法は,新しい問題定式化と収束解析を用いた効率的なオンラインアルゴリズム設計を含む。 合成データと実世界のセンサ読み取り実験により,提案手法の有効性と有効性を示す。
• 参考スコア（独自算出の注目度）: 3.198144010381572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dictionary learning is a widely used unsupervised learning method in signal processing and machine learning. Most existing works of dictionary learning are in an offline manner. There are mainly two offline ways for dictionary learning. One is to do an alternative optimization of both the dictionary and the sparse code; the other way is to optimize the dictionary by restricting it over the orthogonal group. The latter one is called orthogonal dictionary learning which has a lower complexity implementation, hence, it is more favorable for lowcost devices. However, existing schemes on orthogonal dictionary learning only work with batch data and can not be implemented online, which is not applicable for real-time applications. This paper proposes a novel online orthogonal dictionary scheme to dynamically learn the dictionary from streaming data without storing the historical data. The proposed scheme includes a novel problem formulation and an efficient online algorithm design with convergence analysis. In the problem formulation, we relax the orthogonal constraint to enable an efficient online algorithm. In the algorithm design, we propose a new Frank-Wolfe-based online algorithm with a convergence rate of O(ln t/t^(1/4)). The convergence rate in terms of key system parameters is also derived. Experiments with synthetic data and real-world sensor readings demonstrate the effectiveness and efficiency of the proposed online orthogonal dictionary learning scheme.
• Abstract（参考訳）: 辞書学習は信号処理や機械学習で広く使われている教師なし学習手法である。 既存の辞書学習のほとんどがオフラインで行われている。 主に辞書学習のオフライン方法が2つある。 1つは辞書とスパースコードの両方の代替最適化を行うことであり、もう1つは直交群に制限することで辞書を最適化することである。 後者は直交辞書学習と呼ばれ、複雑さの低い実装であるため、低コストのデバイスに好適である。 しかし、直交辞書学習の既存のスキームはバッチデータのみで動作し、リアルタイムアプリケーションには適用できないオンライン実装はできない。 本稿では,履歴データを保存せずに,ストリーミングデータから動的に辞書を学習するオンライン直交辞書スキームを提案する。 提案手法は,新しい問題定式化と収束解析を用いた効率的なオンラインアルゴリズム設計を含む。 問題定式化において,直交制約を緩和し,効率的なオンラインアルゴリズムを実現する。 アルゴリズム設計では,O(ln t/t^(1/4))の収束率を持つ新しいフランク・ウルフ型オンラインアルゴリズムを提案する。 重要なシステムパラメータの観点からの収束率も導出される。 合成データと実世界のセンサ読み取りによる実験は、提案されたオンライン直交辞書学習スキームの有効性と効率を示す。

関連論文リスト

• Online-BLS: An Accurate and Efficient Online Broad Learning System for Data Stream Classification [52.251569042852815]
  オンライン更新毎にクローズドフォームソリューションを備えたオンライン広範学習システムフレームワークを導入する。 我々は,効果的な重み推定アルゴリズムと効率的なオンライン更新戦略を設計する。 我々のフレームワークは、コンセプトドリフトを伴うデータストリームシナリオに自然に拡張され、最先端のベースラインを超えます。
  論文  参考訳（メタデータ） (2025-01-28T13:21:59Z)
• Online Network Source Optimization with Graph-Kernel MAB [62.6067511147939]
  大規模ネットワークにおける最適なソース配置をオンラインで学習するためのグラフカーネルマルチアームバンディットアルゴリズムであるGrab-UCBを提案する。 適応グラフ辞書モデルを用いて,ネットワークプロセスを記述する。 我々は、ネットワークパラメータに依存する性能保証を導出し、シーケンシャルな意思決定戦略の学習曲線にさらに影響を及ぼす。
  論文  参考訳（メタデータ） (2023-07-07T15:03:42Z)
• Convergence of alternating minimisation algorithms for dictionary learning [4.5687771576879594]
  辞書学習のための2つの交互最小化アルゴリズムの収束に十分な条件を導出する。 我々は、生成辞書に少なくとも1/log(K)$の距離で、あるいは、初期化の各要素が1つの生成要素のみを指していることを保証する特別な構造を持つような、よく知られた初期化が与えられた場合、どちらのアルゴリズムも生成辞書への幾何収束率に収束することを示す。
  論文  参考訳（メタデータ） (2023-04-04T12:58:47Z)
• Simple Alternating Minimization Provably Solves Complete Dictionary Learning [13.056764072568749]
  本稿では、与えられた信号の集合を学習辞書からの原子の線形結合として再パラメータ化することを目的とする完全な辞書問題に焦点を当てる。 理論的および実践的な辞書学習には、実用的なアルゴリズムに対する理論的保証の欠如と、大規模データセットを扱う際のスケーラビリティの低下という2つの大きな課題がある。
  論文  参考訳（メタデータ） (2022-10-23T18:30:45Z)
• Simple Stochastic and Online Gradient DescentAlgorithms for Pairwise Learning [65.54757265434465]
  ペアワイズ学習(Pairwise learning)とは、損失関数がペアインスタンスに依存するタスクをいう。 オンライン降下(OGD)は、ペアワイズ学習でストリーミングデータを処理する一般的なアプローチである。 本稿では,ペアワイズ学習のための手法について,シンプルでオンラインな下降を提案する。
  論文  参考訳（メタデータ） (2021-11-23T18:10:48Z)
• Discriminative Dictionary Learning based on Statistical Methods [0.0]
  信号やデータのスパース表現(SR)は厳密な数学的誤り境界と証明を持つ十分に確立された理論を持つ。 最小損失の信号群を表現した辞書を辞書学習(DL)という。 MODとK-SVDは、画像「デノイング」や「インペインティング」といった画像処理における再構成ベースの応用に成功している。
  論文  参考訳（メタデータ） (2021-11-17T10:45:10Z)
• Discovering Non-monotonic Autoregressive Orderings with Variational Inference [67.27561153666211]
  我々は、訓練データから高品質な生成順序を純粋に検出する、教師なし並列化可能な学習装置を開発した。 エンコーダを非因果的注意を持つトランスフォーマーとして実装し、1つのフォワードパスで置換を出力する。 言語モデリングタスクにおける経験的結果から,我々の手法は文脈認識であり,一定の順序と競合する,あるいはより優れた順序を見つけることができる。
  論文  参考訳（メタデータ） (2021-10-27T16:08:09Z)
• PUDLE: Implicit Acceleration of Dictionary Learning by Backpropagation [4.081440927534577]
  本稿では,PUDLE(Provable Unfolded Dictionary LEarning)による実験結果に関する最初の理論的証明を提供する。 我々は、損失の最小化、展開、収束のバックプロパゲーションについて強調する。 合成および画像復号化実験により,本研究の成果を補完する。
  論文  参考訳（メタデータ） (2021-05-31T18:49:58Z)
• Exact Sparse Orthogonal Dictionary Learning [8.577876545575828]
  提案手法は,過剰な辞書に基づく学習方法よりも,より難解な結果が得られることが判明した。 我々の方法には高効率の利点が加わった。
  論文  参考訳（メタデータ） (2021-03-14T07:51:32Z)
• Autoregressive Belief Propagation for Decoding Block Codes [113.38181979662288]
  誤り訂正符号の復号化にグラフニューラルネットワークを用いた最近の手法を再検討する。 本手法は,他手法がゼロワードでのみ学習できる対称性条件に反する。 1つの単語でトレーニングする余地がなく、関連するサンプル空間のごく一部でトレーニングできないにもかかわらず、効果的なトレーニングを実演する。
  論文  参考訳（メタデータ） (2021-01-23T17:14:55Z)
• When Dictionary Learning Meets Deep Learning: Deep Dictionary Learning and Coding Network for Image Recognition with Limited Data [74.75557280245643]
  本稿では,限られたデータを用いた画像認識タスクのための新しいDeep Dictionary Learning and Coding Network(DDLCN)を提案する。 DDLCNをいくつかの主要な辞書学習手法と深層学習モデルと比較した。 5つの一般的なデータセットに対する実験結果から,DDLCNはトレーニングデータに制限がある場合の最先端手法と比較して,競合的な結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-05-21T23:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。