論文の概要: Hiding Data Helps: On the Benefits of Masking for Sparse Coding
- arxiv url: http://arxiv.org/abs/2302.12715v1
- Date: Fri, 24 Feb 2023 16:16:19 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-27 13:11:17.977286
- Title: Hiding Data Helps: On the Benefits of Masking for Sparse Coding
- Title（参考訳）: データを隠すことが助けになる: スパースコーディングのためのマスキングの利点
- Authors: Muthu Chidambaram, Chenwei Wu, Yu Cheng, Rong Ge
- Abstract要約: ノイズの存在下での過度に実現されたスパース符号化では、標準辞書学習目標の最小化は、接地真実辞書の回復に失敗する可能性があることを示す。
本稿では,新しいマスキング目標を提案するとともに,この新たな目的を最小化することで,地文辞書を復元できることを実証する。
- 参考スコア（独自算出の注目度）: 22.712098918769243
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sparse coding refers to modeling a signal as sparse linear combinations of
the elements of a learned dictionary. Sparse coding has proven to be a
successful and interpretable approach in many applications, such as signal
processing, computer vision, and medical imaging. While this success has
spurred much work on sparse coding with provable guarantees, work on the
setting where the learned dictionary is larger (or \textit{over-realized}) with
respect to the ground truth is comparatively nascent. Existing theoretical
results in the over-realized regime are limited to the case of noise-less data.
In this paper, we show that for over-realized sparse coding in the presence
of noise, minimizing the standard dictionary learning objective can fail to
recover the ground-truth dictionary, regardless of the magnitude of the signal
in the data-generating process. Furthermore, drawing from the growing body of
work on self-supervised learning, we propose a novel masking objective and we
prove that minimizing this new objective can recover the ground-truth
dictionary. We corroborate our theoretical results with experiments across
several parameter regimes, showing that our proposed objective enjoys better
empirical performance than the standard reconstruction objective.
- Abstract（参考訳）: スパース符号化(sparse coding)とは、学習辞書の要素のスパース線形結合として信号のモデル化を指す。
スパースコーディングは、信号処理、コンピュータビジョン、医療画像など、多くのアプリケーションで成功し、解釈可能なアプローチであることが証明されている。
この成功は、証明可能な保証でスパースコーディングに多くの取り組みを駆り立てているが、基礎的真理に関して学習された辞書がより大きい(あるいは、 \textit{over-realized})という設定での作業は比較的新鮮である。
過実現状態における既存の理論結果は、ノイズのないデータの場合に限られる。
本稿では,ノイズの存在下での過度に実現されたスパース符号化において,標準辞書学習目標の最小化は,データ生成過程における信号の規模に関わらず,基底構造辞書の復元に失敗することを示す。
さらに, 自己教師あり学習の研究成果から, 新たなマスキング目標を提案し, この新しい目的を最小化することで, 基礎辞書を回復できることを実証する。
提案手法は,複数のパラメータをまたがる実験で理論的結果と一致し,提案手法が標準的な再構成目標よりも優れた経験的性能を享受できることを示した。
関連論文リスト
- Lightweight Conceptual Dictionary Learning for Text Classification Using Information Compression [15.460141768587663]
データ圧縮と表現に基づくテキスト分類のための軽量な教師付き辞書学習フレームワークを提案する。
我々は,情報ボトルネックの原理を用いて情報理論性能を評価し,情報理論性能を定量化するための新しい指標として情報平面面積ランク(IPAR)を導入する。
論文 参考訳（メタデータ） (2024-04-28T10:11:52Z) - An Analysis of BPE Vocabulary Trimming in Neural Machine Translation [56.383793805299234]
語彙トリミング(vocabulary trimming)は、まれなサブワードをコンポーネントサブワードに置き換える後処理のステップである。
ボキャブラリトリミングは性能向上に失敗し,さらに大きな劣化を招きやすいことを示す。
論文 参考訳（メタデータ） (2024-03-30T15:29:49Z) - Dictionary Learning Improves Patch-Free Circuit Discovery in Mechanistic
Interpretability: A Case Study on Othello-GPT [59.245414547751636]
本稿では,アクティベーションパッチに代わる回路発見フレームワークを提案する。
当社のフレームワークはアウト・オブ・ディストリビューション(out-of-distribution)に悩まされており、複雑さの観点からより効率的であることが証明されています。
我々はOthelloという名前の合成タスクで訓練された小さなトランスフォーマーを掘り下げ、その内部に人間に理解可能な微細な回路がいくつかある。
論文 参考訳（メタデータ） (2024-02-19T15:04:53Z) - Simple Alternating Minimization Provably Solves Complete Dictionary
Learning [13.056764072568749]
本稿では、与えられた信号の集合を学習辞書からの原子の線形結合として再パラメータ化することを目的とする完全な辞書問題に焦点を当てる。
理論的および実践的な辞書学習には、実用的なアルゴリズムに対する理論的保証の欠如と、大規模データセットを扱う際のスケーラビリティの低下という2つの大きな課題がある。
論文 参考訳（メタデータ） (2022-10-23T18:30:45Z) - DetCLIP: Dictionary-Enriched Visual-Concept Paralleled Pre-training for
Open-world Detection [118.36746273425354]
本稿では,デザインされた概念辞書から知識の豊かさを生かして,オープンワールド検出のための並列視覚概念事前学習手法を提案する。
概念をそれらの記述で豊かにすることにより、オープンドメイン学習を促進するために、さまざまな概念間の関係を明確に構築する。
提案フレームワークは、例えばLVISデータセット上で、強力なゼロショット検出性能を示し、私たちのDetCLIP-TはGLIP-Tを9.9%向上させ、レアカテゴリで13.5%改善した。
論文 参考訳（メタデータ） (2022-09-20T02:01:01Z) - Discriminative Dictionary Learning based on Statistical Methods [0.0]
信号やデータのスパース表現(SR)は厳密な数学的誤り境界と証明を持つ十分に確立された理論を持つ。
最小損失の信号群を表現した辞書を辞書学習(DL)という。
MODとK-SVDは、画像「デノイング」や「インペインティング」といった画像処理における再構成ベースの応用に成功している。
論文 参考訳（メタデータ） (2021-11-17T10:45:10Z) - Deep learning based dictionary learning and tomographic image
reconstruction [0.0]
本研究は, 疎信号処理の原理と深層学習の考え方を組み合わせた低用量断層撮影における画像再構成手法を提案する。
まず、統計的観点からの辞書によるスパース信号表現と辞書学習を、生成モデルから真信号の実証的分布に現れる分布を整列する過程として解釈する。
その結果、学習辞書を用いたスパース符号化は、デコーダが線形関数であり、エンコーダがスパース符号化アルゴリズムである特定の変分オートエンコーダに類似していることが分かる。
論文 参考訳（メタデータ） (2021-08-26T12:10:17Z) - PUDLE: Implicit Acceleration of Dictionary Learning by Backpropagation [4.081440927534577]
本稿では,PUDLE(Provable Unfolded Dictionary LEarning)による実験結果に関する最初の理論的証明を提供する。
我々は、損失の最小化、展開、収束のバックプロパゲーションについて強調する。
合成および画像復号化実験により,本研究の成果を補完する。
論文 参考訳（メタデータ） (2021-05-31T18:49:58Z) - When Dictionary Learning Meets Deep Learning: Deep Dictionary Learning
and Coding Network for Image Recognition with Limited Data [74.75557280245643]
本稿では,限られたデータを用いた画像認識タスクのための新しいDeep Dictionary Learning and Coding Network(DDLCN)を提案する。
DDLCNをいくつかの主要な辞書学習手法と深層学習モデルと比較した。
5つの一般的なデータセットに対する実験結果から,DDLCNはトレーニングデータに制限がある場合の最先端手法と比較して,競合的な結果が得られることが示された。
論文 参考訳（メタデータ） (2020-05-21T23:12:10Z) - Words aren't enough, their order matters: On the Robustness of Grounding
Visual Referring Expressions [87.33156149634392]
視覚的参照表現認識のための標準ベンチマークであるRefCOgを批判的に検討する。
83.7%のケースでは言語構造に関する推論は不要である。
比較学習とマルチタスク学習の2つの手法を提案し,ViLBERTのロバスト性を高める。
論文 参考訳（メタデータ） (2020-05-04T17:09:15Z) - Lexical Sememe Prediction using Dictionary Definitions by Capturing
Local Semantic Correspondence [94.79912471702782]
セメムは人間の言語の最小の意味単位として定義されており、多くのNLPタスクで有用であることが証明されている。
本稿では,このようなマッチングを捕捉し,セメムを予測できるセメム対応プールモデルを提案する。
我々は,有名なSememe KB HowNetのモデルとベースライン手法を評価し,そのモデルが最先端のパフォーマンスを実現することを発見した。
論文 参考訳（メタデータ） (2020-01-16T17:30:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。