論文の概要: Recovery and Generalization in Over-Realized Dictionary Learning

• arxiv url: http://arxiv.org/abs/2006.06179v2
• Date: Tue, 1 Dec 2020 23:28:06 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 09:44:13.600705
• Title: Recovery and Generalization in Over-Realized Dictionary Learning
• Title（参考訳）: 過剰レレーズド辞書学習における回復と一般化
• Authors: Jeremias Sulam, Chong You, Zhihui Zhu
• Abstract要約: より大規模な超現実化モデルの空間を探索することにより,辞書の復元が容易であることを示す。 特に, モデル回復は, 経験的リスク, モデル依存量, 一般化ギャップによって上界化可能であることを示す。 我々のメタアルゴリズムは、基底構造モデルの回復を一貫して改善した辞書推定を提供する。
• 参考スコア（独自算出の注目度）: 41.77550148604236
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In over two decades of research, the field of dictionary learning has gathered a large collection of successful applications, and theoretical guarantees for model recovery are known only whenever optimization is carried out in the same model class as that of the underlying dictionary. This work characterizes the surprising phenomenon that dictionary recovery can be facilitated by searching over the space of larger over-realized models. This observation is general and independent of the specific dictionary learning algorithm used. We thoroughly demonstrate this observation in practice and provide an analysis of this phenomenon by tying recovery measures to generalization bounds. In particular, we show that model recovery can be upper-bounded by the empirical risk, a model-dependent quantity and the generalization gap, reflecting our empirical findings. We further show that an efficient and provably correct distillation approach can be employed to recover the correct atoms from the over-realized model. As a result, our meta-algorithm provides dictionary estimates with consistently better recovery of the ground-truth model.
• Abstract（参考訳）: 20年以上にわたる研究で、辞書学習の分野は、多くの成功したアプリケーションを集めており、モデル回復の理論的保証は、基礎となる辞書と同じモデルクラスで最適化が行われる場合にのみ知られている。 この研究は、より大きな超現実化モデルの空間を探索することで辞書の回復を促進できる驚くべき現象を特徴づける。 この観察は、使用する特定の辞書学習アルゴリズムとは独立している。 我々は,この現象を実例で検証し,回復措置を一般化境界に結びつけて解析する。 特に, モデル回復には, 経験的リスク, モデル依存量, 一般化ギャップなどがあり, 実験結果を反映している。 さらに, 過実現モデルから正しい原子を回収するために, 効率的かつ確実に正しい蒸留法が適用可能であることを示す。 その結果、我々のメタアルゴリズムは、基底構造モデルの回復を一貫して改善した辞書推定を提供する。

関連論文リスト

• Reviving Dormant Memories: Investigating Catastrophic Forgetting in Language Models through Rationale-Guidance Difficulty [7.5795085006788545]
  また, 受動的に外部から与えられた理論的根拠を受け付けると, 忘れたタスクに対する性能を復元できることが判明した。 与えられた指示が適切な合理性を生成する際にモデルをどのように効果的に導くかを評価するために、Rationale-Guidance Difficultyメトリックを提案する。
  論文  参考訳（メタデータ） (2024-11-18T14:28:04Z)
• Regularizing Hidden States Enables Learning Generalizable Reward Model for LLMs [25.011675414622392]
  本研究では,分配シフトに対する報酬モデルの一般化能力を高める新しい手法を提案する。 我々は、ベースモデルの言語モデルヘッドを保持し、隠れた状態のテキスト生成機能を維持するために、テキスト生成損失のスイートを組み込む。 実験結果から,導入した正規化手法が学習報酬モデルの精度を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-06-14T17:49:59Z)
• Causal Estimation of Memorisation Profiles [58.20086589761273]
  言語モデルにおける記憶の理解は、実践的および社会的意味を持つ。 覚書化(英: Memorisation)とは、モデルがそのインスタンスを予測できる能力に対して、あるインスタンスでトレーニングを行うことによる因果的影響である。 本稿では,計量学の差分差分設計に基づく,新しい,原理的,効率的な記憶推定法を提案する。
  論文  参考訳（メタデータ） (2024-06-06T17:59:09Z)
• Hiding Data Helps: On the Benefits of Masking for Sparse Coding [22.712098918769243]
  ノイズの存在下では,標準辞書学習目標の最小化は,過度に実現された体制下での接地真実辞書の要素の回復に失敗する可能性があることを示す。 本稿では,大規模なデータ生成プロセスにおいて,信号が増大するにつれて,基底構造辞書の復元が事実上最適となる新しいマスキング手法を提案する。
  論文  参考訳（メタデータ） (2023-02-24T16:16:19Z)
• ResMem: Learn what you can and memorize the rest [79.19649788662511]
  本稿では,既存の予測モデルを拡張するための残差記憶アルゴリズム(ResMem)を提案する。 構築によって、ResMemはトレーニングラベルを明示的に記憶することができる。 ResMemは、元の予測モデルのテストセットの一般化を一貫して改善することを示す。
  論文  参考訳（メタデータ） (2023-02-03T07:12:55Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• Better Language Model with Hypernym Class Prediction [101.8517004687825]
  クラスベース言語モデル (LM) は、コンテキストの疎結合に$n$-gramのLMで対処するために長年開発されてきた。 本研究では,このアプローチをニューラルLMの文脈で再考する。
  論文  参考訳（メタデータ） (2022-03-21T01:16:44Z)
• Counterfactual Maximum Likelihood Estimation for Training Deep Networks [83.44219640437657]
  深層学習モデルは、予測的手がかりとして学習すべきでない急激な相関を学習する傾向がある。 本研究では,観測可能な共同設立者による相関関係の緩和を目的とした因果関係に基づくトレーニングフレームワークを提案する。 自然言語推論(NLI)と画像キャプションという2つの実世界の課題について実験を行った。
  論文  参考訳（メタデータ） (2021-06-07T17:47:16Z)
• Interpreting Rate-Distortion of Variational Autoencoder and Using Model Uncertainty for Anomaly Detection [5.491655566898372]
  表現学習による教師なし異常検出のためのスケーラブルな機械学習システムを構築した。 本稿では,情報理論の観点からVAEを再考し,再構成誤差を用いた理論的基礎を提供する。 ベンチマークデータセットに対するアプローチの競合性能を実証的に示す。
  論文  参考訳（メタデータ） (2020-05-05T00:03:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。