論文の概要: Denoising Cosine Similarity: A Theory-Driven Approach for Efficient Representation Learning

• arxiv url: http://arxiv.org/abs/2304.09552v1
• Date: Wed, 19 Apr 2023 10:33:39 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-20 14:50:32.068379
• Title: Denoising Cosine Similarity: A Theory-Driven Approach for Efficient Representation Learning
• Title（参考訳）: 推論コサイン類似性:効率的な表現学習のための理論駆動アプローチ
• Authors: Takumi Nakagawa, Yutaro Sanada, Hiroki Waida, Yuhui Zhang, Yuichiro Wada, K\=osaku Takanashi, Tomonori Yamada, Takafumi Kanamori
• Abstract要約: 本稿では、生データセットにおける雑音に対する頑健な表現を学習する問題に取り組む。 表現学習におけるコサイン類似性に基づく目的関数の認知と成功に対する最近の研究から着想を得て,コサイン類似性(dCS)の喪失について提案する。
• 参考スコア（独自算出の注目度）: 9.80640080528054
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representation learning has been increasing its impact on the research and practice of machine learning, since it enables to learn representations that can apply to various downstream tasks efficiently. However, recent works pay little attention to the fact that real-world datasets used during the stage of representation learning are commonly contaminated by noise, which can degrade the quality of learned representations. This paper tackles the problem to learn robust representations against noise in a raw dataset. To this end, inspired by recent works on denoising and the success of the cosine-similarity-based objective functions in representation learning, we propose the denoising Cosine-Similarity (dCS) loss. The dCS loss is a modified cosine-similarity loss and incorporates a denoising property, which is supported by both our theoretical and empirical findings. To make the dCS loss implementable, we also construct the estimators of the dCS loss with statistical guarantees. Finally, we empirically show the efficiency of the dCS loss over the baseline objective functions in vision and speech domains.
• Abstract（参考訳）: 表現学習は、さまざまな下流タスクに効率的に適用可能な表現を学習できるため、機械学習の研究と実践に影響を与えている。 しかし、近年の研究では、表現学習の段階で使用される実世界のデータセットが一般的にノイズによって汚染されているという事実にはほとんど注意が払われていない。 本稿では,生データセットにおける雑音に対するロバスト表現を学習する。 そこで,近年の表現学習におけるコサイン相似性に基づく客観的関数の成功に触発されたコサイン相似性(dcs)損失を提案する。 このdCS損失はコサイン類似性損失の修正であり, 理論的, 経験的双方の知見を裏付ける認知特性を取り入れたものである。 また, dCS損失の統計的保証を伴って, dCS損失の推定器を構築した。 最後に,視覚領域と音声領域におけるベースライン目的関数に対するdCS損失の効率を実証的に示す。

関連論文リスト

• Enhancing PAC Learning of Half spaces Through Robust Optimization Techniques [0.0]
  PACは、一定の悪意のある雑音下でハーフスペースを学習し、トレーニングデータのごく一部が逆向きに破損する。 半宇宙学習における雑音耐性を考慮に入れた理論的枠組みを拡張した,新しい効率的なアルゴリズムを提案する。 本稿では,従来の最先端手法と比較して,悪質な雑音に対して優れた頑健性を示すアルゴリズムの性能を包括的に分析する。
  論文  参考訳（メタデータ） (2024-10-21T23:08:17Z)
• Learned denoising with simulated and experimental low-dose CT data [8.689987421968116]
  本研究は,CT画像における雑音低減の文脈における機械学習手法,特に畳み込みニューラルネットワーク(CNN)の適用について検討する。 シミュレーションノイズデータと実世界の実験ノイズデータで学習したアルゴリズムの観測性能の違いを総合的に調査するため,機械学習に大規模な2次元CTデータセットを用いた。
  論文  参考訳（メタデータ） (2024-08-15T12:24:22Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• A Comparison of Image Denoising Methods [23.69991964391047]
  我々は、異なるアプリケーションのための合成データセットと実世界のデータセットの様々なデノベーション手法を比較した。 単純な行列に基づくアルゴリズムは, テンソルのアルゴリズムと比較して, 同様の結果が得られる可能性が示唆された。 近年の進歩にもかかわらず、既存の技術の欠点と拡張の可能性について論じる。
  論文  参考訳（メタデータ） (2023-04-18T13:41:42Z)
• Deep Semantic Statistics Matching (D2SM) Denoising Network [70.01091467628068]
  本稿では,Deep Semantic Statistics Matching (D2SM) Denoising Networkを紹介する。 事前訓練された分類ネットワークの意味的特徴を利用して、意味的特徴空間における明瞭な画像の確率的分布と暗黙的に一致させる。 識別画像のセマンティックな分布を学習することで,ネットワークの認知能力を大幅に向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-07-19T14:35:42Z)
• Learnability Enhancement for Low-light Raw Denoising: Where Paired Real Data Meets Noise Modeling [22.525679742823513]
  雑音モデルに基づいてペア化された実データを修正する学習可能性向上戦略を提案する。 我々の戦略は、ショットノイズ増強(SNA)とダークシェーディング補正(DSC)の2つの効率的な手法で構成されている。
  論文  参考訳（メタデータ） (2022-07-13T10:23:28Z)
• Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
  本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。 因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。 また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
  論文  参考訳（メタデータ） (2022-03-29T13:07:53Z)
• Towards Adversarially Robust Deep Image Denoising [199.2458715635285]
  本研究は,ディープ・イメージ・デノイザ(DID)の対角的ロバスト性について系統的に検討する。 本稿では,観測に基づくゼロ平均アタック(sc ObsAtk)という新たな敵攻撃を提案する。 DIDを頑健化するために,DIDと非対向雑音データとを併用したハイブリッド対向訓練(sc HAT)を提案する。
  論文  参考訳（メタデータ） (2022-01-12T10:23:14Z)
• A Free Lunch from the Noise: Provable and Practical Exploration for Representation Learning [55.048010996144036]
  ある雑音仮定の下では、対応するマルコフ遷移作用素の線型スペクトル特性を自由な閉形式で得られることを示す。 本稿では,スペクトルダイナミクス埋め込み(SPEDE)を提案する。これはトレードオフを破り,雑音の構造を利用して表現学習のための楽観的な探索を完遂する。
  論文  参考訳（メタデータ） (2021-11-22T19:24:57Z)
• Improving Noise Robustness of Contrastive Speech Representation Learning with Speech Reconstruction [109.44933866397123]
  実環境における音声認識システムの実現には,雑音の堅牢性が不可欠である。 雑音認識のための自己教師型フレームワークにより学習したノイズロスト表現を用いる。 ラベル付きデータのわずか16%で報告された最高の教師付きアプローチに匹敵するパフォーマンスを実現した。
  論文  参考訳（メタデータ） (2021-10-28T20:39:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。