Fugu-MT 論文翻訳(概要): Policy Gradient-Driven Noise Mask

論文の概要: Policy Gradient-Driven Noise Mask

arxiv url: http://arxiv.org/abs/2406.14568v1
Date: Mon, 29 Apr 2024 23:53:42 GMT
ステータス: 処理完了
システム内更新日: 2024-07-01 07:30:49.428375
Title: Policy Gradient-Driven Noise Mask
Title（参考訳）: 政策グラディエント駆動型騒音マスク
Authors: Mehmet Can Yavuz, Yang Yang,
Abstract要約: 本稿では,マルチモーダル・マルチオーガナイズドデータセットの性能向上に適した条件付きノイズマスクの生成を学習する,新しい事前学習パイプラインを提案する。重要な側面は、ポリシーネットワークの役割が微調整の前に中間的な(または加熱された)モデルを取得することに限定されていることである。その結果、中間モデルの微調整は、分類と一般化の両方の従来の訓練アルゴリズムよりも、目に見えない概念タスクに優れていた。
参考スコア（独自算出の注目度）: 3.69758875412828
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deep learning classifiers face significant challenges when dealing with heterogeneous multi-modal and multi-organ biomedical datasets. The low-level feature distinguishability limited to imaging-modality hinders the classifiers' ability to learn high-level semantic relationships, resulting in sub-optimal performance. To address this issue, image augmentation strategies are employed as regularization techniques. While additive noise input during network training is a well-established augmentation as regularization method, modern pipelines often favor more robust techniques such as dropout and weight decay. This preference stems from the observation that combining these established techniques with noise input can adversely affect model performance. In this study, we propose a novel pretraining pipeline that learns to generate conditional noise mask specifically tailored to improve performance on multi-modal and multi-organ datasets. As a reinforcement learning algorithm, our approach employs a dual-component system comprising a very light-weight policy network that learns to sample conditional noise using a differentiable beta distribution and a classifier network. The policy network is trained using the reinforce algorithm to generate image-specific noise masks that regularize the classifier during pretraining. A key aspect is that the policy network's role is limited to obtaining an intermediate (or heated) model before fine-tuning. During inference, the policy network is omitted, allowing direct comparison between the baseline and noise-regularized models. We conducted experiments and related analyses on RadImageNet datasets. Results demonstrate that fine-tuning the intermediate models consistently outperforms conventional training algorithms on both classification and generalization to unseen concept tasks.
Abstract（参考訳）: ディープラーニング分類器は、異質なマルチモーダルおよびマルチ組織バイオメディカルデータセットを扱う場合、重大な課題に直面している。画像のモダリティに制限された低レベルの特徴区別性は、分類器の高レベルの意味関係を学習する能力を妨げ、結果として準最適性能をもたらす。この問題に対処するために、画像強化戦略を正規化手法として採用する。ネットワークトレーニング中の付加的なノイズ入力は、正規化法として確立された拡張であるが、現代のパイプラインは、ドロップアウトやウェイト崩壊のようなより堅牢な技術を好むことが多い。この選好は、これらの確立された手法とノイズ入力を組み合わせることがモデル性能に悪影響を及ぼすという観察に起因している。本研究では,マルチモーダル・マルチオーガナイズドデータセットの性能向上に適した条件付きノイズマスクの生成を学習する,新しい事前学習パイプラインを提案する。強化学習アルゴリズムとして、微分可能なベータ分布と分類器ネットワークを用いて条件付き雑音のサンプリングを学習する、非常に軽量なポリシーネットワークからなる二重成分システムを用いる。ポリシーネットワークは、事前訓練中に分類器を正規化する画像固有のノイズマスクを生成するために強化アルゴリズムを用いて訓練される。重要な側面は、ポリシーネットワークの役割が微調整の前に中間的な(または加熱された)モデルを取得することに限定されていることである。推測中、ポリシーネットワークは省略され、ベースラインモデルとノイズ正規化モデルを直接比較できる。我々はRadImageNetデータセットの実験と関連する分析を行った。その結果、中間モデルの微調整は、分類と一般化の両方の従来の訓練アルゴリズムよりも、目に見えない概念タスクに優れていた。

関連論文リスト

Meta-Learning-Based Delayless Subband Adaptive Filter using Complex Self-Attention for Active Noise Control [11.118668841431562]
アクティブノイズコントロール問題をメタ学習問題として再検討する。深層ニューラルネットワークを用いたメタラーニングに基づく遅延レスサブバンド適応フィルタを提案する。本モデルでは従来の手法に比べてノイズ低減性能が優れている。
論文参考訳（メタデータ） (2024-12-27T05:51:40Z)
Enhance Vision-Language Alignment with Noise [59.2608298578913]
本研究では,凍結モデルがカスタマイズノイズによって微調整可能であるか検討する。ビジュアルエンコーダとテキストエンコーダの両方にノイズを注入することでCLIPを微調整できる正インセンティブノイズ(PiNI)を提案する。
論文参考訳（メタデータ） (2024-12-14T12:58:15Z)
Blue noise for diffusion models [50.99852321110366]
本稿では,画像内および画像間の相関雑音を考慮した拡散モデルを提案する。我々のフレームワークは、勾配流を改善するために、1つのミニバッチ内に画像間の相関を導入することができる。本手法を用いて,各種データセットの質的,定量的な評価を行う。
論文参考訳（メタデータ） (2024-02-07T14:59:25Z)
PRISTA-Net: Deep Iterative Shrinkage Thresholding Network for Coded Diffraction Patterns Phase Retrieval [6.982256124089]
位相検索は、計算画像および画像処理における非線型逆問題である。我々は,1次反復しきい値しきい値アルゴリズム(ISTA)に基づく深層展開ネットワークであるPRISTA-Netを開発した。非線形変換,しきい値,ステップサイズなど,提案するPRISTA-Netフレームワークのパラメータはすべて,設定されるのではなく,エンドツーエンドで学習される。
論文参考訳（メタデータ） (2023-09-08T07:37:15Z)
Data Augmentation in Training CNNs: Injecting Noise to Images [0.0]
本研究では,CNNアーキテクチャに様々な大きさの異なるノイズモデルを追加したり,適用したりすることの効果について分析する。基本的な結果は、機械学習における一般的な概念のほとんどに適合している。新しいアプローチは、画像分類のための最適な学習手順をよりよく理解する。
論文参考訳（メタデータ） (2023-07-12T17:29:42Z)
Masked Image Training for Generalizable Deep Image Denoising [53.03126421917465]
本稿では,デノナイジングネットワークの一般化性能を高めるための新しい手法を提案する。提案手法では,入力画像のランダムなピクセルをマスキングし,学習中に欠落した情報を再構成する。提案手法は,他のディープラーニングモデルよりも優れた一般化能力を示し,実世界のシナリオに直接適用可能である。
論文参考訳（メタデータ） (2023-03-23T09:33:44Z)
Deep Active Learning with Noise Stability [24.54974925491753]
ラベルのないデータの不確実性推定は、アクティブな学習に不可欠である。本稿では,雑音の安定性を利用して不確実性を推定する新しいアルゴリズムを提案する。本手法はコンピュータビジョン,自然言語処理,構造データ解析など,様々なタスクに適用可能である。
論文参考訳（メタデータ） (2022-05-26T13:21:01Z)
Adaptive Convolutional Dictionary Network for CT Metal Artifact Reduction [62.691996239590125]
本稿では,金属人工物削減のための適応畳み込み辞書ネットワーク(ACDNet)を提案する。我々のACDNetは、トレーニングデータを介して、アーティファクトフリーCT画像の事前を自動で学習し、入力されたCT画像ごとに表現カーネルを適応的に調整することができる。本手法は,モデルに基づく手法の明確な解釈可能性を継承し,学習に基づく手法の強力な表現能力を維持する。
論文参考訳（メタデータ） (2022-05-16T06:49:36Z)
Treatment Learning Causal Transformer for Noisy Image Classification [62.639851972495094]
本研究では,この2値情報「ノイズの存在」を画像分類タスクに組み込んで予測精度を向上させる。因果的変動推定から動機付け,雑音画像分類のための頑健な特徴表現を潜在生成モデルを用いて推定するトランスフォーマーに基づくアーキテクチャを提案する。また、パフォーマンスベンチマークのための幅広いノイズ要素を取り入れた、新しいノイズの多い画像データセットも作成する。
論文参考訳（メタデータ） (2022-03-29T13:07:53Z)
Fidelity Estimation Improves Noisy-Image Classification with Pretrained Networks [12.814135905559992]
本稿では,事前学習した分類器に適用可能な手法を提案する。提案手法では,特徴抽出器の内部表現に融合した忠実度マップの推定値を利用する。オラクルの忠実度マップを用いた場合, ノイズや復元画像のトレーニングにおいて, 完全に再トレーニングされた手法よりも優れていた。
論文参考訳（メタデータ） (2021-06-01T17:58:32Z)
Ensemble Wrapper Subsampling for Deep Modulation Classification [70.91089216571035]
受信した無線信号のサブサンプリングは、ハードウェア要件と信号処理アルゴリズムの計算コストを緩和するために重要である。本稿では,無線通信システムにおけるディープラーニングを用いた自動変調分類のためのサブサンプリング手法を提案する。
論文参考訳（メタデータ） (2020-05-10T06:11:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。