論文の概要: Towards improving discriminative reconstruction via simultaneous dense
and sparse coding
- arxiv url: http://arxiv.org/abs/2006.09534v2
- Date: Mon, 10 May 2021 05:05:01 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-20 21:55:59.575548
- Title: Towards improving discriminative reconstruction via simultaneous dense
and sparse coding
- Title（参考訳）: 同時重み付き疎み符号化による識別的再構築の実現に向けて
- Authors: Abiy Tasissa, Emmanouil Theodosis, Bahareh Tolooshams, and Demba Ba
- Abstract要約: スパース符号化モデルから抽出した識別的特徴は、分類と再構成において良好に機能することが示されている。
本稿では,表現能力と識別機能の両方を統合した,疎密かつ疎結合な符号化モデルを提案する。
- 参考スコア（独自算出の注目度）: 9.87575928269854
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Discriminative features extracted from the sparse coding model have been
shown to perform well for classification and reconstruction. Recent deep
learning architectures have further improved reconstruction in inverse problems
by considering new dense priors learned from data. We propose a novel dense and
sparse coding model that integrates both representation capability and
discriminative features. The model considers the problem of recovering a dense
vector $\mathbf{x}$ and a sparse vector $\mathbf{u}$ given measurements of the
form $\mathbf{y} = \mathbf{A}\mathbf{x}+\mathbf{B}\mathbf{u}$. Our first
analysis proposes a natural geometric condition based on the minimal angle
between spanning subspaces corresponding to the measurement matrices
$\mathbf{A}$ and $\mathbf{B}$ to establish the uniqueness of solutions to the
linear system. The second analysis shows that, under mild assumptions, a convex
program recovers the dense and sparse components. We validate the effectiveness
of the proposed model on simulated data and propose a dense and sparse
autoencoder (DenSaE) tailored to learning the dictionaries from the dense and
sparse model. We demonstrate that a) DenSaE denoises natural images better than
architectures derived from the sparse coding model ($\mathbf{B}\mathbf{u}$), b)
in the presence of noise, training the biases in the latter amounts to
implicitly learning the $\mathbf{A}\mathbf{x} + \mathbf{B}\mathbf{u}$ model, c)
$\mathbf{A}$ and $\mathbf{B}$ capture low- and high-frequency contents,
respectively, and d) compared to the sparse coding model, DenSaE offers a
balance between discriminative power and representation.
- Abstract（参考訳）: スパース符号化モデルから抽出された識別的特徴は分類と再構成に有効であることが示されている。
最近のディープラーニングアーキテクチャは、データから学んだ新しい密接な事前条件を考慮して、逆問題の再構築をさらに改善した。
本稿では,表現能力と識別機能の両方を統合した,高密度でスパースな符号化モデルを提案する。
このモデルは、密閉ベクトル $\mathbf{x}$ とスパースベクトル $\mathbf{u}$ を回復する問題を考慮し、$\mathbf{y} = \mathbf{a}\mathbf{x}+\mathbf{b}\mathbf{u}$ という形式の測定値を与える。
最初の解析では、測定行列 $\mathbf{A}$ と $\mathbf{B}$ に対応する部分空間の最小角度に基づいて自然な幾何学的条件を提案し、線形系に対する解の特異性を確立する。
2つ目の分析は、軽微な仮定の下で凸プログラムが密度とスパース成分を回復することを示している。
提案手法の有効性をシミュレーションデータで検証し,高密度でスパースなオートエンコーダ(DenSaE)を提案し,高密度かつスパースなモデルから辞書を学習する。
私たちはそれを証明します
a)DenSaEは、スパース符号化モデル(\mathbf{B}\mathbf{u}$)から派生したアーキテクチャよりも自然像を劣化させる
b) 雑音が存在する場合,後者のバイアスを訓練することは,$\mathbf{a}\mathbf{x} + \mathbf{b}\mathbf{u}$ モデルを暗黙的に学習することに相当する。
c) $\mathbf{A}$ と $\mathbf{B}$ はそれぞれ低周波と高周波のコンテンツをキャプチャし、
d) スパース符号化モデルと比較して、DenSaEは識別力と表現力のバランスを提供する。
関連論文リスト
- Self-Ensembling Gaussian Splatting for Few-Shot Novel View Synthesis [55.561961365113554]
3D Gaussian Splatting (3DGS) は新規ビュー合成(NVS)に顕著な効果を示した
しかし、3DGSモデルはスパースポーズビューで訓練すると過度に適合する傾向にあり、その一般化能力は新規ビューに制限される。
オーバーフィッティング問題を緩和するために,Self-Ensembling Gaussian Splatting (SE-GS) アプローチを提案する。
提案手法は,NVSの品質向上に寄与し,既存の最先端手法よりも優れる。
論文 参考訳（メタデータ） (2024-10-31T18:43:48Z) - Compressing Large Language Models using Low Rank and Low Precision Decomposition [46.30918750022739]
この研究は、新しい訓練後のLLM圧縮アルゴリズムである$rm CALDERA$を導入している。
重量行列 $mathbfW$ の固有の低ランク構造を利用して、低ランクで低精度な分解によってそれを近似する。
その結果、LlaMa-$2$$7$B/$13B$/$70$BとLlaMa-$3$B $rm CALDERA$は、既存のトレーニング後の圧縮技術より優れていることが示された。
論文 参考訳（メタデータ） (2024-05-29T08:42:30Z) - Provably learning a multi-head attention layer [55.2904547651831]
マルチヘッドアテンション層は、従来のフィードフォワードモデルとは分離したトランスフォーマーアーキテクチャの重要な構成要素の1つである。
本研究では,ランダムな例から多面的注意層を実証的に学習する研究を開始する。
最悪の場合、$m$に対する指数的依存は避けられないことを示す。
論文 参考訳（メタデータ） (2024-02-06T15:39:09Z) - Compressive Recovery of Sparse Precision Matrices [5.557600489035657]
我々は,$d$変数の統計的関係を,mathbbRn times d$の$n$サンプル$Xのデータセットからモデル化するグラフの学習問題を考察する。
サイズ $m=Omegaleft((d+2k)log(d)right)$ ここで、$k$は基礎となるグラフのエッジの最大数である。
本稿では, グラフィカルラッソに基づく反復アルゴリズムを用いて, 具体的デノイザとみなす実用的リカバリを実現する可能性について検討する。
論文 参考訳（メタデータ） (2023-11-08T13:29:08Z) - Effective Minkowski Dimension of Deep Nonparametric Regression: Function
Approximation and Statistical Theories [70.90012822736988]
ディープ非パラメトリック回帰に関する既存の理論は、入力データが低次元多様体上にある場合、ディープニューラルネットワークは本質的なデータ構造に適応できることを示した。
本稿では,$mathcalS$で表される$mathbbRd$のサブセットに入力データが集中するという緩和された仮定を導入する。
論文 参考訳（メタデータ） (2023-06-26T17:13:31Z) - Diffusion models as plug-and-play priors [98.16404662526101]
我々は、事前の$p(mathbfx)$と補助的な制約である$c(mathbfx,mathbfy)$からなるモデルにおいて、高次元データ$mathbfx$を推論する問題を考える。
拡散モデルの構造は,異なるノイズ量に富んだ定性デノナイジングネットワークを通じて,微分を反復することで近似推論を行うことができる。
論文 参考訳（メタデータ） (2022-06-17T21:11:36Z) - Minimax Optimal Quantization of Linear Models: Information-Theoretic
Limits and Efficient Algorithms [59.724977092582535]
測定から学習した線形モデルの定量化の問題を考える。
この設定の下では、ミニマックスリスクに対する情報理論の下限を導出する。
本稿では,2層ReLUニューラルネットワークに対して,提案手法と上界を拡張可能であることを示す。
論文 参考訳（メタデータ） (2022-02-23T02:39:04Z) - Universal Regular Conditional Distributions via Probability
Measure-Valued Deep Neural Models [3.8073142980733]
提案したフレームワークを用いて構築されたモデルはすべて、$C(mathcalX,mathcalP_1(mathcalY))$で密集している。
提案モデルはまた、ほとんどのランダム化された機械学習モデルに存在するアレラトリック不確かさを汎用的に表現できることも示している。
論文 参考訳（メタデータ） (2021-05-17T11:34:09Z) - Nonparametric Learning of Two-Layer ReLU Residual Units [22.870658194212744]
本稿では,線形整列ユニット(ReLU)を活性化した2層残基を学習するアルゴリズムについて述べる。
解析最小化器はそのパラメータと非線形性の観点から、正確な地上構造ネットワークを表現できる機能として層ワイドな目的を設計する。
我々は,アルゴリズムの統計的強い一貫性を証明し,実験によるアルゴリズムの堅牢性とサンプル効率を実証する。
論文 参考訳（メタデータ） (2020-08-17T22:11:26Z) - Optimal Robust Linear Regression in Nearly Linear Time [97.11565882347772]
学習者が生成モデル$Y = langle X,w* rangle + epsilon$から$n$のサンプルにアクセスできるような高次元頑健な線形回帰問題について検討する。
i) $X$ is L4-L2 hypercontractive, $mathbbE [XXtop]$ has bounded condition number and $epsilon$ has bounded variance, (ii) $X$ is sub-Gaussian with identity second moment and $epsilon$ is
論文 参考訳（メタデータ） (2020-07-16T06:44:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。