論文の概要: Gaussian Process Convolutional Dictionary Learning

• arxiv url: http://arxiv.org/abs/2104.00530v1
• Date: Sun, 28 Mar 2021 21:40:03 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-02 13:48:50.689835
• Title: Gaussian Process Convolutional Dictionary Learning
• Title（参考訳）: ガウス過程畳み込み辞書学習
• Authors: Andrew H. Song, Bahareh Tolooshams, Demba Ba
• Abstract要約: ガウスプロセス(GP)を用いたテンプレートの優先度を強制する畳み込み辞書学習フレームワークGPCDLを提案する。 滑らか性に着目して,gpを事前設定することは,学習したテンプレートのワイナーフィルタリングと等価であることを示し,高周波成分の抑制と滑らか性の向上を理論的に示す。 GPCDLは,SNRの非正規化よりもスムーズな辞書を学習できることを示す。
• 参考スコア（独自算出の注目度）: 6.097542448692324
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Convolutional dictionary learning (CDL), the problem of estimating shift-invariant templates from data, is typically conducted in the absence of a prior/structure on the templates. In data-scarce or low signal-to-noise ratio (SNR) regimes, which have received little attention from the community, learned templates overfit the data and lack smoothness, which can affect the predictive performance of downstream tasks. To address this limitation, we propose GPCDL, a convolutional dictionary learning framework that enforces priors on templates using Gaussian Processes (GPs). With the focus on smoothness, we show theoretically that imposing a GP prior is equivalent to Wiener filtering the learned templates, thereby suppressing high-frequency components and promoting smoothness. We show that the algorithm is a simple extension of the classical iteratively reweighted least squares, which allows the flexibility to experiment with different smoothness assumptions. Through simulation, we show that GPCDL learns smooth dictionaries with better accuracy than the unregularized alternative across a range of SNRs. Through an application to neural spiking data from rats, we show that learning templates by GPCDL results in a more accurate and visually-interpretable smooth dictionary, leading to superior predictive performance compared to non-regularized CDL, as well as parametric alternatives.
• Abstract（参考訳）: データからシフト不変テンプレートを推定する問題である畳み込み辞書学習(cdl)は、通常、テンプレートの事前構造や構造がない状態で実行される。 コミュニティからほとんど注目を集めていないSNR(Data-Scarce or Low Signal-to-Noise ratio)体制では、下流タスクの予測性能に影響を与えるような、データの過度な適合と滑らかさの欠如を学習した。 この制限に対処するため,GPCDLを提案する。GPCDLはガウス過程(GP)を用いたテンプレートの事前処理を行う畳み込み辞書学習フレームワークである。 滑らか性に着目して,gpを事前設定することは,学習したテンプレートのワイナーフィルタリングと等価であることを示し,高周波成分の抑制と滑らか性の向上を理論的に示す。 このアルゴリズムは古典的反復重み付け最小二乗の単純な拡張であり、柔軟性は異なる滑らかさの仮定で実験できることを示す。 シミュレーションにより,GPCDLはSNRの非正規化よりもスムーズな辞書を学習できることを示す。 ラットの神経スパイクデータに適用することにより、GPCDLによる学習テンプレートはより正確で視覚的に解釈可能なスムーズな辞書となり、非正規化されたCDLよりも予測性能が優れ、パラメトリックな代替品が得られた。

関連論文リスト

• Informed Spectral Normalized Gaussian Processes for Trajectory Prediction [0.0]
  本稿では,SNGPの正規化に基づく連続学習手法を提案する。 提案手法は確立された手法に基づいており,リハーサルメモリやパラメータ拡張を必要としない。 本研究では, 自律運転における軌道予測問題に対する情報SNGPモデルの適用について検討した。
  論文  参考訳（メタデータ） (2024-03-18T17:05:24Z)
• Enhancing In-context Learning via Linear Probe Calibration [42.74836047963721]
  In-context Learning (ICL)は、GPT(Generative Pre-trained Transformer)のようなモデルを利用した自然言語処理の新しいパラダイムである。 実ケースでのICLの適用は、サンプルの数とともにスケールせず、異なるプロンプトテンプレートやデモの置換に対する堅牢性に欠ける。 本稿では、ICLを用いたGPT様モデルにより、シャノンエントロピーに基づく新しい指標に基づく信頼性の低い予測結果が得られることを示す。 リニアプローブ(LinC)と呼ばれる新しい手法を提案する。これはモデルの出力確率を校正し、信頼性の高い予測と改善をもたらす。
  論文  参考訳（メタデータ） (2024-01-22T23:35:09Z)
• Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
  我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
  論文  参考訳（メタデータ） (2023-12-19T06:06:30Z)
• Adaptive Sparse Gaussian Process [0.0]
  これらの問題に対処できる最初の適応スパースガウスプロセス(GP)を提案する。 まず,変分スパースGPアルゴリズムを変形係数によって適応的に再構成する。 そこで我々は,新しいサンプルが到着するたびに,スパースGPモデルの単一誘導点と残りのモデルパラメータを同時に更新することを提案する。
  論文  参考訳（メタデータ） (2023-02-20T21:34:36Z)
• Partial sequence labeling with structured Gaussian Processes [8.239028141030621]
  部分列ラベリングのための構造付きガウス過程を提案する。 予測の不確実性を符号化し、モデル選択やハイパーパラメータ学習に余分な労力を要しない。 いくつかのシーケンスラベリングタスクで評価を行い,実験結果から提案手法の有効性が示された。
  論文  参考訳（メタデータ） (2022-09-20T00:56:49Z)
• Scaling Structured Inference with Randomization [64.18063627155128]
  本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。 我々の手法は古典的DPベースの推論に広く適用できる。 また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
  論文  参考訳（メタデータ） (2021-12-07T11:26:41Z)
• Incremental Ensemble Gaussian Processes [53.3291389385672]
  本稿では,EGPメタラーナーがGP学習者のインクリメンタルアンサンブル(IE-) GPフレームワークを提案し,それぞれが所定のカーネル辞書に属するユニークなカーネルを持つ。 各GP専門家は、ランダムな特徴ベースの近似を利用してオンライン予測とモデル更新を行い、そのスケーラビリティを生かし、EGPメタラーナーはデータ適応重みを生かし、熟練者ごとの予測を合成する。 新たなIE-GPは、EGPメタラーナーおよび各GP学習者内における構造化力学をモデル化することにより、時間変化関数に対応するように一般化される。
  論文  参考訳（メタデータ） (2021-10-13T15:11:25Z)
• Information-Theoretic Generalization Bounds for Iterative Semi-Supervised Learning [81.1071978288003]
  特に,情報理論の原理を用いて,反復型SSLアルゴリズムのエミュレータ一般化誤差の振る舞いを理解することを目的とする。 我々の理論的結果は、クラス条件分散があまり大きくない場合、一般化誤差の上限は反復数とともに単調に減少するが、すぐに飽和することを示している。
  論文  参考訳（メタデータ） (2021-10-03T05:38:49Z)
• Gaussian Process-based Min-norm Stabilizing Controller for Control-Affine Systems with Uncertain Input Effects and Dynamics [90.81186513537777]
  本稿では,この問題の制御・アフィン特性を捉えた新しい化合物カーネルを提案する。 この結果の最適化問題は凸であることを示し、ガウス過程に基づく制御リャプノフ関数第二次コーンプログラム(GP-CLF-SOCP)と呼ぶ。
  論文  参考訳（メタデータ） (2020-11-14T01:27:32Z)
• Dictionary Learning with Low-rank Coding Coefficients for Tensor Completion [33.068635237011236]
  我々のモデルは、与えられた観測結果からデータ適応辞書を学習することである。 完了過程において、符号化係数を含む各テンソルスライスの低ランク化を最小化する。
  論文  参考訳（メタデータ） (2020-09-26T02:43:43Z)
• Learning Reasoning Strategies in End-to-End Differentiable Proving [50.9791149533921]
  条件付き定理プローバーは勾配に基づく最適化により最適規則選択戦略を学習する。 条件付き定理プローサは拡張性があり、CLUTRRデータセット上で最先端の結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-07-13T16:22:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。