論文の概要: Robust Neural Processes for Noisy Data

• arxiv url: http://arxiv.org/abs/2411.01670v1
• Date: Sun, 03 Nov 2024 20:00:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:47:05.216799
• Title: Robust Neural Processes for Noisy Data
• Title（参考訳）: 雑音データに対するロバストニューラルネットワーク
• Authors: Chen Shapira, Dan Rosenbaum,
• Abstract要約: ノイズによってデータが汚染された場合の文脈内学習モデルの振る舞いについて検討する。 クリーンなデータで最高のパフォーマンスを示すモデルは、ノイズの多いデータで最高のパフォーマンスを示すモデルとは異なることが分かりました。 本稿では,NPモデルの学習方法を提案する。
• 参考スコア（独自算出の注目度）: 1.7268667700090563
• License:
• Abstract: Models that adapt their predictions based on some given contexts, also known as in-context learning, have become ubiquitous in recent years. We propose to study the behavior of such models when data is contaminated by noise. Towards this goal we use the Neural Processes (NP) framework, as a simple and rigorous way to learn a distribution over functions, where predictions are based on a set of context points. Using this framework, we find that the models that perform best on clean data, are different than the models that perform best on noisy data. Specifically, models that process the context using attention, are more severely affected by noise, leading to in-context overfitting. We propose a simple method to train NP models that makes them more robust to noisy data. Experiments on 1D functions and 2D image datasets demonstrate that our method leads to models that outperform all other NP models for all noise levels.
• Abstract（参考訳）: コンテキスト内学習(in-context learning)としても知られる、与えられた文脈に基づいて予測を適応するモデルは、近年、ユビキタス化されている。 そこで本研究では,ノイズによってデータが汚染された場合の,そのようなモデルの挙動について検討する。 この目標に向けて我々は、関数上の分布を学ぶためのシンプルで厳密な方法として、Neural Processes(NP)フレームワークを使用します。 このフレームワークを用いることで、クリーンなデータでベストに動作するモデルとノイズの多いデータでベストに動作するモデルとが異なることが分かる。 具体的には、注意力を使ってコンテキストを処理するモデルは、ノイズによってより深刻な影響を受け、コンテキスト内のオーバーフィッティングにつながる。 本稿では,NPモデルの学習方法を提案する。 1次元関数と2次元画像データセットの実験により、我々の手法は全てのノイズレベルにおいて他の全てのNPモデルより優れるモデルに導かれることを示した。

関連論文リスト

• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• Physics-guided Noise Neural Proxy for Practical Low-light Raw Image Denoising [22.11250276261829]
  近年,低照度生画像復調訓練の主流は,合成データの利用に移行している。 実世界のセンサのノイズ分布を特徴付けるノイズモデリングは,合成データの有効性と実用性に大きな影響を及ぼす。 そこで本研究では,実データではなく,暗黒フレームからノイズモデルを学習し,データ依存を分解する手法を提案する。
  論文  参考訳（メタデータ） (2023-10-13T14:14:43Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Confidence-based Reliable Learning under Dual Noises [46.45663546457154]
  ディープニューラルネットワーク(DNN)は、様々なコンピュータビジョンタスクにおいて顕著な成功を収めている。 しかし、オープンワールドから収集されたデータはノイズによって必然的に汚染され、学習されたモデルの有効性を著しく損なう可能性がある。 データノイズ下でDNNを確実に訓練する様々な試みがなされているが、ラベルに存在するノイズと画像に存在するノイズを別々に考慮している。 この作業は、ジョイント(イメージ、ラベル)ノイズの下での信頼性学習のための、最初の統一されたフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-02-10T07:50:34Z)
• Improving the Robustness of Summarization Models by Detecting and Removing Input Noise [50.27105057899601]
  本研究では,様々な種類の入力ノイズから,様々なデータセットやモデルサイズに対する性能損失を定量化する大規模な実験的検討を行った。 本稿では,モデル推論中の入力中のそのようなノイズを検出し,除去するための軽量な手法を提案する。
  論文  参考訳（メタデータ） (2022-12-20T00:33:11Z)
• Learning from aggregated data with a maximum entropy model [73.63512438583375]
  我々は,観測されていない特徴分布を最大エントロピー仮説で近似することにより,ロジスティック回帰と類似した新しいモデルが,集約データからのみ学習されることを示す。 我々は、この方法で学習したモデルが、完全な非凝集データでトレーニングされたロジスティックモデルに匹敵するパフォーマンスを達成することができるという、いくつかの公開データセットに関する実証的な証拠を提示する。
  論文  参考訳（メタデータ） (2022-10-05T09:17:27Z)
• Deep Active Learning with Noise Stability [24.54974925491753]
  ラベルのないデータの不確実性推定は、アクティブな学習に不可欠である。 本稿では,雑音の安定性を利用して不確実性を推定する新しいアルゴリズムを提案する。 本手法はコンピュータビジョン,自然言語処理,構造データ解析など,様々なタスクに適用可能である。
  論文  参考訳（メタデータ） (2022-05-26T13:21:01Z)
• The Optimal Noise in Noise-Contrastive Learning Is Not What You Think [80.07065346699005]
  この仮定から逸脱すると、実際により良い統計的推定結果が得られることが示される。 特に、最適な雑音分布は、データと異なり、また、別の家族からさえも異なる。
  論文  参考訳（メタデータ） (2022-03-02T13:59:20Z)
• Learning to See by Looking at Noise [87.12788334473295]
  簡単なランダムなプロセスから画像を生成する一連の画像生成モデルについて検討する。 これらは、対照的な損失を伴う視覚表現学習者のトレーニングデータとして使用される。 以上の結果から,実データの構造的特性を捉えることはノイズにとって重要であるが,現実的ではないプロセスでも良好な性能が達成できることが示唆された。
  論文  参考訳（メタデータ） (2021-06-10T17:56:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。