論文の概要: Calibrating dimension reduction hyperparameters in the presence of noise
- arxiv url: http://arxiv.org/abs/2312.02946v1
- Date: Tue, 5 Dec 2023 18:16:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-06 14:46:51.600251
- Title: Calibrating dimension reduction hyperparameters in the presence of noise
- Title（参考訳）: 騒音下における次元低減ハイパーパラメータの校正
- Authors: Justin Lin and Julia Fukuyama
- Abstract要約: 本稿では,ノイズの存在下での次元減少問題をモデル化する枠組みを提案する。
過度に適合するデータにおいて、近隣住民の役割と役割について検討する。
- 参考スコア（独自算出の注目度）: 0.4895118383237099
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The goal of dimension reduction tools is to construct a low-dimensional
representation of high-dimensional data. These tools are employed for a variety
of reasons such as noise reduction, visualization, and to lower computational
costs. However, there is a fundamental issue that is highly discussed in other
modeling problems, but almost entirely ignored in the dimension reduction
literature: overfitting. If we interpret data as a combination of signal and
noise, prior works judge dimension reduction techniques on their ability to
capture the entirety of the data, i.e. both the signal and the noise. In the
context of other modeling problems, techniques such as feature-selection,
cross-validation, and regularization are employed to combat overfitting, but no
such precautions are taken when performing dimension reduction. In this paper,
we present a framework that models dimension reduction problems in the presence
of noise and use this framework to explore the role perplexity and number of
neighbors play in overfitting data when applying t-SNE and UMAP. We also
present a workflow others may use to calibrate perplexity or number of
neighbors in the presence of noise.
- Abstract（参考訳）: 次元削減ツールの目的は、高次元データの低次元表現を構築することである。
これらのツールは、ノイズ低減、可視化、計算コストの削減など、様々な理由で使用されている。
しかし、他のモデリング問題でよく議論されている基本的な問題があるが、次元減少の文献ではほとんど完全に無視されている。
信号とノイズの組み合わせとしてデータを解釈する場合、先行研究は、データ全体、すなわち信号とノイズの両方をキャプチャする能力について、次元の縮小テクニックを判断する。
他のモデリング問題の文脈では、オーバーフィッティングと戦うために特徴選択、クロスバリデーション、正規化といった手法が用いられるが、次元縮小を行う際にはそのような予防措置は取らない。
本稿では,ノイズの存在下での次元減少問題をモデル化し,t-SNE と UMAP を適用した場合,近隣住民の役割の複雑度と多様さを探索する枠組みを提案する。
また、ノイズの存在下での難易度や隣人の数を調整するためのワークフローも提示する。
関連論文リスト
- One-step Noisy Label Mitigation [86.57572253460125]
ノイズラベルのトレーニング過程に対する有害な影響の軽減がますます重要になっている。
モデルに依存しないノイズラベル緩和パラダイムである1ステップアンチノイズ(OSA)を提案する。
我々はOSAの優位性を実証的に実証し、トレーニングの堅牢性の向上、タスク転送性の向上、デプロイメントの容易性、計算コストの削減を強調した。
論文 参考訳（メタデータ） (2024-10-02T18:42:56Z) - SMILE: Zero-Shot Sparse Mixture of Low-Rank Experts Construction From Pre-Trained Foundation Models [85.67096251281191]
我々は、ゼロショットスパースミクチャー(SMILE)と呼ばれるモデル融合に対する革新的なアプローチを提案する。
SMILEは、余分なデータやさらなるトレーニングなしに、ソースモデルをMoEモデルにアップスケーリングできる。
画像分類やテキスト生成タスクなど,さまざまなシナリオに対して,フル微調整とLoRA微調整を用いて広範な実験を行う。
論文 参考訳（メタデータ） (2024-08-19T17:32:15Z) - Robust shallow shadows [0.251657752676152]
浅層計測回路の幅広いクラスを対象としたロバストなシャドウ推定プロトコルを提案する。
テンソルネットワークツールを用いて実験データから直接推定する方法を示す。
提案手法は,現在および近時雑音量子デバイスの実用的制約の下で,大域回転による影推定の可能性の最大化を実現する。
論文 参考訳（メタデータ） (2024-05-09T18:00:09Z) - Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳（メタデータ） (2024-03-11T16:22:41Z) - Label Noise: Correcting the Forward-Correction [0.0]
ラベルノイズのあるデータセット上でニューラルネットワーク分類器を訓練することは、ノイズのあるラベルに過度に適合するリスクをもたらす。
ラベルノイズによる過度適合に対処する手法を提案する。
本研究は, オーバーフィッティングを緩和するために, トレーニング損失に低い限界を課すことを提案する。
論文 参考訳（メタデータ） (2023-07-24T19:41:19Z) - Improve Noise Tolerance of Robust Loss via Noise-Awareness [60.34670515595074]
本稿では,NARL-Adjuster(NARL-Adjuster for brevity)と呼ばれる,ハイパーパラメータ予測関数を適応的に学習するメタラーニング手法を提案する。
4つのSOTAロバストな損失関数を我々のアルゴリズムに統合し,提案手法の一般性および性能をノイズ耐性と性能の両面で検証した。
論文 参考訳（メタデータ） (2023-01-18T04:54:58Z) - Improving the Robustness of Summarization Models by Detecting and
Removing Input Noise [50.27105057899601]
本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。
本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
論文 参考訳（メタデータ） (2022-12-20T00:33:11Z) - Bayesian NVH metamodels to assess interior cabin noise using measurement
databases [0.0]
本研究では,空力やローリングノイズなどのブロードバンドノイズに対するグローバルなNVHメタモデリング手法を提案する。
ブートストラップとガウス基底関数を持つ一般化加法モデル(GAM)を用いて、予測変数に対する音圧レベル(SPL)の依存性をモデル化する。
確率モデリングは、オープンソースのライブラリPyMC3を用いて行われる。
論文 参考訳（メタデータ） (2022-06-12T19:48:24Z) - Hierarchical model reduction driven by machine learning for parametric
advection-diffusion-reaction problems in the presence of noisy data [0.0]
本稿では,雑音データの存在下でのパラメトリック楕円問題に対する信頼度低減モデルを生成するための新しい手法を提案する。
ノイズの影響を受ければ,方向方向のHiPODの精度が低下することを示す。
我々は、無関係なノイズからデータ中の関連する物理的特徴をよりよく識別する機械学習フィッティングモデルに取って代わる。
論文 参考訳（メタデータ） (2022-04-01T16:02:05Z) - Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。
ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。
分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
論文 参考訳（メタデータ） (2020-06-15T18:31:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。