論文の概要: Calibrating dimension reduction hyperparameters in the presence of noise
- arxiv url: http://arxiv.org/abs/2312.02946v3
- Date: Tue, 30 Jan 2024 20:50:28 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-01 17:17:12.099288
- Title: Calibrating dimension reduction hyperparameters in the presence of noise
- Title(参考訳): 騒音下における次元低減ハイパーパラメータの校正
- Authors: Justin Lin and Julia Fukuyama
- Abstract要約: 本稿では,ノイズの存在下での次元減少問題をモデル化する枠組みを提案する。
難易度に対する事前の推奨値を示し、隣人の数は小さすぎ、騒音が過度に収まる傾向にある。
- 参考スコア(独自算出の注目度): 0.4895118383237099
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The goal of dimension reduction tools is to construct a low-dimensional
representation of high-dimensional data. These tools are employed for a variety
of reasons such as noise reduction, visualization, and to lower computational
costs. However, there is a fundamental issue that is highly discussed in other
modeling problems, but almost entirely ignored in the dimension reduction
literature: overfitting. If we interpret data as a combination of signal and
noise, prior works judge dimension reduction techniques on their ability to
capture the entirety of the data, i.e. both the signal and the noise. In the
context of other modeling problems, techniques such as feature-selection,
cross-validation, and regularization are employed to combat overfitting, but no
such precautions are taken when performing dimension reduction. In this paper,
we present a framework that models dimension reduction problems in the presence
of noise and use this framework to explore the role perplexity and number of
neighbors play in overfitting data when applying t-SNE and UMAP. More
specifically, we show previously recommended values for perplexity and number
of neighbors are too small and tend to overfit the noise. We also present a
workflow others may use to calibrate hyperparameters in the presence of noise.
- Abstract(参考訳): 次元削減ツールの目的は、高次元データの低次元表現を構築することである。
これらのツールは、ノイズ低減、可視化、計算コストの削減など、様々な理由で使用されている。
しかし、他のモデリング問題でよく議論されている基本的な問題があるが、次元減少の文献ではほとんど完全に無視されている。
信号とノイズの組み合わせとしてデータを解釈する場合、先行研究は、データ全体、すなわち信号とノイズの両方をキャプチャする能力について、次元の縮小テクニックを判断する。
他のモデリング問題の文脈では、オーバーフィッティングと戦うために特徴選択、クロスバリデーション、正規化といった手法が用いられるが、次元縮小を行う際にはそのような予防措置は取らない。
本稿では,ノイズの存在下での次元減少問題をモデル化し,t-SNE と UMAP を適用した場合,近隣住民の役割の複雑度と多様さを探索する枠組みを提案する。
より具体的には、以前推奨されたパープレキシティの値を示し、隣人の数は小さすぎ、ノイズに過度に適合する傾向がある。
また、ノイズの存在下でハイパーパラメータを校正するワークフローも提示する。
関連論文リスト
- Learning with Noisy Foundation Models [95.50968225050012]
本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。
雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
論文 参考訳(メタデータ) (2024-03-11T16:22:41Z) - Risk-Sensitive Diffusion for Perturbation-Robust Optimization [58.68233326265417]
スコア関数を持つものよりも、雑音のあるサンプルが別の目的関数を発生させることで、モデルが誤って最適化されることが示される。
リスクベクトルによってパラメータ化された微分方程式(SDE)の一種であるリスク感受性SDEを導入する。
ノイズのあるサンプルがガウス摂動によって引き起こされる場合のみ、ゼロ不安定測度が達成可能であることを証明する。
論文 参考訳(メタデータ) (2024-02-03T08:41:51Z) - DINF: Dynamic Instance Noise Filter for Occluded Pedestrian Detection [0.0]
RCNNベースの歩行者検出器は、矩形領域を使用してインスタンスの特徴を抽出する。
重なり合うオブジェクトの数とわずかに重なり合うオブジェクトの数は不均衡である。
RCNNをベースとした歩行者検知器の信号雑音比を改善するために, 繰り返し動的インスタンスノイズフィルタ (DINF) を提案する。
論文 参考訳(メタデータ) (2023-01-13T14:12:36Z) - Improving the Robustness of Summarization Models by Detecting and
Removing Input Noise [50.27105057899601]
本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。
本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
論文 参考訳(メタデータ) (2022-12-20T00:33:11Z) - Denoising Deep Generative Models [23.19427801594478]
様相に基づく深層生成モデルは、多様体仮説の下での病理学的挙動を示すことが示されている。
この問題に対処するための2つの手法を提案する。
論文 参考訳(メタデータ) (2022-11-30T19:00:00Z) - Hierarchical model reduction driven by machine learning for parametric
advection-diffusion-reaction problems in the presence of noisy data [0.0]
本稿では,雑音データの存在下でのパラメトリック楕円問題に対する信頼度低減モデルを生成するための新しい手法を提案する。
ノイズの影響を受ければ,方向方向のHiPODの精度が低下することを示す。
我々は、無関係なノイズからデータ中の関連する物理的特徴をよりよく識別する機械学習フィッティングモデルに取って代わる。
論文 参考訳(メタデータ) (2022-04-01T16:02:05Z) - MANet: Improving Video Denoising with a Multi-Alignment Network [72.93429911044903]
本稿では,複数フローの提案とアテンションに基づく平均化を行うマルチアライメントネットワークを提案する。
大規模ビデオデータセットを用いた実験により,本手法は調音ベースラインモデルを0.2dBで改善することを示した。
論文 参考訳(メタデータ) (2022-02-20T00:52:07Z) - Noise Estimation for Generative Diffusion Models [91.22679787578438]
そこで本研究では,任意のステップの雑音パラメータを調整可能な,単純で汎用的な学習手法を提案する。
私たちのアプローチは計算コストが無視できるものです。
論文 参考訳(メタデータ) (2021-04-06T15:46:16Z) - Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。
ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。
分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
論文 参考訳(メタデータ) (2020-06-15T18:31:02Z) - Effect of Input Noise Dimension in GANs [7.770973053439527]
入力雑音の寸法がGANの性能に及ぼす影響について検討する。
最適結果に対する入力雑音の適切な次元は、使用するデータセットとアーキテクチャに依存することを示す。
論文 参考訳(メタデータ) (2020-04-15T04:56:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。