論文の概要: Hiding Data Helps: On the Benefits of Masking for Sparse Coding
- arxiv url: http://arxiv.org/abs/2302.12715v2
- Date: Thu, 1 Jun 2023 14:45:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-03 00:15:36.148284
- Title: Hiding Data Helps: On the Benefits of Masking for Sparse Coding
- Title（参考訳）: データを隠すことが助けになる: スパースコーディングのためのマスキングの利点
- Authors: Muthu Chidambaram, Chenwei Wu, Yu Cheng, Rong Ge
- Abstract要約: ノイズの存在下では,標準辞書学習目標の最小化は,過度に実現された体制下での接地真実辞書の要素の回復に失敗する可能性があることを示す。
本稿では,大規模なデータ生成プロセスにおいて,信号が増大するにつれて,基底構造辞書の復元が事実上最適となる新しいマスキング手法を提案する。
- 参考スコア（独自算出の注目度）: 22.712098918769243
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse coding, which refers to modeling a signal as sparse linear
combinations of the elements of a learned dictionary, has proven to be a
successful (and interpretable) approach in applications such as signal
processing, computer vision, and medical imaging. While this success has
spurred much work on provable guarantees for dictionary recovery when the
learned dictionary is the same size as the ground-truth dictionary, work on the
setting where the learned dictionary is larger (or over-realized) with respect
to the ground truth is comparatively nascent. Existing theoretical results in
this setting have been constrained to the case of noise-less data. We show in
this work that, in the presence of noise, minimizing the standard dictionary
learning objective can fail to recover the elements of the ground-truth
dictionary in the over-realized regime, regardless of the magnitude of the
signal in the data-generating process. Furthermore, drawing from the growing
body of work on self-supervised learning, we propose a novel masking objective
for which recovering the ground-truth dictionary is in fact optimal as the
signal increases for a large class of data-generating processes. We corroborate
our theoretical results with experiments across several parameter regimes
showing that our proposed objective also enjoys better empirical performance
than the standard reconstruction objective.
- Abstract（参考訳）: スパース符号化(Sparse coding)は、学習辞書の要素の疎線形結合としての信号のモデリングであり、信号処理、コンピュータビジョン、医用画像などの応用において成功(かつ解釈可能な)アプローチであることが証明されている。
この成功は、学習辞書が基礎辞書と同じ大きさである場合の辞書回復の証明可能な保証に多くの取り組みを駆り立ててきたが、基礎真理に関して学習辞書がより大きく(あるいは過剰に実現されている)設定が比較的新鮮である。
この設定における既存の理論的結果は、ノイズのないデータの場合に制約されている。
本研究では,ノイズが存在する場合,標準辞書学習目標の最小化は,データ生成過程における信号の大きさによらず,実現過剰な状況下での辞書の要素の回復に失敗することを示す。
さらに, 自己教師型学習における研究の進展から, 大規模データ生成プロセスにおいて, 信号が増大するにつれて, 地上構造辞書の復元が実際最適となる新しいマスキング目標を提案する。
我々は,提案する目的が標準の再構成目的よりも優れた経験的性能を享受できることを示す複数のパラメータレジームをまたいだ実験で理論的結果と照合した。
関連論文リスト
- Lightweight Conceptual Dictionary Learning for Text Classification Using Information Compression [15.460141768587663]
データ圧縮と表現に基づくテキスト分類のための軽量な教師付き辞書学習フレームワークを提案する。
我々は,情報ボトルネックの原理を用いて情報理論性能を評価し,情報理論性能を定量化するための新しい指標として情報平面面積ランク(IPAR)を導入する。
論文 参考訳（メタデータ） (2024-04-28T10:11:52Z) - An Analysis of BPE Vocabulary Trimming in Neural Machine Translation [56.383793805299234]
語彙トリミング(vocabulary trimming)は、まれなサブワードをコンポーネントサブワードに置き換える後処理のステップである。
ボキャブラリトリミングは性能向上に失敗し,さらに大きな劣化を招きやすいことを示す。
論文 参考訳（メタデータ） (2024-03-30T15:29:49Z) - Dictionary Learning Improves Patch-Free Circuit Discovery in Mechanistic
Interpretability: A Case Study on Othello-GPT [59.245414547751636]
本稿では,アクティベーションパッチに代わる回路発見フレームワークを提案する。
当社のフレームワークはアウト・オブ・ディストリビューション(out-of-distribution)に悩まされており、複雑さの観点からより効率的であることが証明されています。
我々はOthelloという名前の合成タスクで訓練された小さなトランスフォーマーを掘り下げ、その内部に人間に理解可能な微細な回路がいくつかある。
論文 参考訳（メタデータ） (2024-02-19T15:04:53Z) - Simple Alternating Minimization Provably Solves Complete Dictionary
Learning [13.056764072568749]
本稿では、与えられた信号の集合を学習辞書からの原子の線形結合として再パラメータ化することを目的とする完全な辞書問題に焦点を当てる。
理論的および実践的な辞書学習には、実用的なアルゴリズムに対する理論的保証の欠如と、大規模データセットを扱う際のスケーラビリティの低下という2つの大きな課題がある。
論文 参考訳（メタデータ） (2022-10-23T18:30:45Z) - DetCLIP: Dictionary-Enriched Visual-Concept Paralleled Pre-training for
Open-world Detection [118.36746273425354]
本稿では,デザインされた概念辞書から知識の豊かさを生かして,オープンワールド検出のための並列視覚概念事前学習手法を提案する。
概念をそれらの記述で豊かにすることにより、オープンドメイン学習を促進するために、さまざまな概念間の関係を明確に構築する。
提案フレームワークは、例えばLVISデータセット上で、強力なゼロショット検出性能を示し、私たちのDetCLIP-TはGLIP-Tを9.9%向上させ、レアカテゴリで13.5%改善した。
論文 参考訳（メタデータ） (2022-09-20T02:01:01Z) - Discriminative Dictionary Learning based on Statistical Methods [0.0]
信号やデータのスパース表現(SR)は厳密な数学的誤り境界と証明を持つ十分に確立された理論を持つ。
最小損失の信号群を表現した辞書を辞書学習(DL)という。
MODとK-SVDは、画像「デノイング」や「インペインティング」といった画像処理における再構成ベースの応用に成功している。
論文 参考訳（メタデータ） (2021-11-17T10:45:10Z) - Deep learning based dictionary learning and tomographic image
reconstruction [0.0]
本研究は, 疎信号処理の原理と深層学習の考え方を組み合わせた低用量断層撮影における画像再構成手法を提案する。
まず、統計的観点からの辞書によるスパース信号表現と辞書学習を、生成モデルから真信号の実証的分布に現れる分布を整列する過程として解釈する。
その結果、学習辞書を用いたスパース符号化は、デコーダが線形関数であり、エンコーダがスパース符号化アルゴリズムである特定の変分オートエンコーダに類似していることが分かる。
論文 参考訳（メタデータ） (2021-08-26T12:10:17Z) - PUDLE: Implicit Acceleration of Dictionary Learning by Backpropagation [4.081440927534577]
本稿では,PUDLE(Provable Unfolded Dictionary LEarning)による実験結果に関する最初の理論的証明を提供する。
我々は、損失の最小化、展開、収束のバックプロパゲーションについて強調する。
合成および画像復号化実験により,本研究の成果を補完する。
論文 参考訳（メタデータ） (2021-05-31T18:49:58Z) - When Dictionary Learning Meets Deep Learning: Deep Dictionary Learning
and Coding Network for Image Recognition with Limited Data [74.75557280245643]
本稿では,限られたデータを用いた画像認識タスクのための新しいDeep Dictionary Learning and Coding Network(DDLCN)を提案する。
DDLCNをいくつかの主要な辞書学習手法と深層学習モデルと比較した。
5つの一般的なデータセットに対する実験結果から,DDLCNはトレーニングデータに制限がある場合の最先端手法と比較して,競合的な結果が得られることが示された。
論文 参考訳（メタデータ） (2020-05-21T23:12:10Z) - Words aren't enough, their order matters: On the Robustness of Grounding
Visual Referring Expressions [87.33156149634392]
視覚的参照表現認識のための標準ベンチマークであるRefCOgを批判的に検討する。
83.7%のケースでは言語構造に関する推論は不要である。
比較学習とマルチタスク学習の2つの手法を提案し,ViLBERTのロバスト性を高める。
論文 参考訳（メタデータ） (2020-05-04T17:09:15Z) - Lexical Sememe Prediction using Dictionary Definitions by Capturing
Local Semantic Correspondence [94.79912471702782]
セメムは人間の言語の最小の意味単位として定義されており、多くのNLPタスクで有用であることが証明されている。
本稿では,このようなマッチングを捕捉し,セメムを予測できるセメム対応プールモデルを提案する。
我々は,有名なSememe KB HowNetのモデルとベースライン手法を評価し,そのモデルが最先端のパフォーマンスを実現することを発見した。
論文 参考訳（メタデータ） (2020-01-16T17:30:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。