論文の概要: Out-of-distribution Detection via Frequency-regularized Generative Models

• arxiv url: http://arxiv.org/abs/2208.09083v1
• Date: Thu, 18 Aug 2022 22:34:08 GMT
• ステータス: 処理完了
• システム内更新日: 2022-08-22 16:47:49.457222
• Title: Out-of-distribution Detection via Frequency-regularized Generative Models
• Title（参考訳）: 周波数規則化生成モデルによる分布外検出
• Authors: Mu Cai, Yixuan Li
• Abstract要約: 深層生成モデルは、トレーニング分布の外から引き出された入力に高い確率を割り当てることができる。 特に、生成モデルは、確率を推定するために背景情報に過度に依存していることが示される。 OOD検出のための新しい周波数規則型学習FRLフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 23.300763504208593
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern deep generative models can assign high likelihood to inputs drawn from outside the training distribution, posing threats to models in open-world deployments. While much research attention has been placed on defining new test-time measures of OOD uncertainty, these methods do not fundamentally change how deep generative models are regularized and optimized in training. In particular, generative models are shown to overly rely on the background information to estimate the likelihood. To address the issue, we propose a novel frequency-regularized learning FRL framework for OOD detection, which incorporates high-frequency information into training and guides the model to focus on semantically relevant features. FRL effectively improves performance on a wide range of generative architectures, including variational auto-encoder, GLOW, and PixelCNN++. On a new large-scale evaluation task, FRL achieves the state-of-the-art performance, outperforming a strong baseline Likelihood Regret by 10.7% (AUROC) while achieving 147$\times$ faster inference speed. Extensive ablations show that FRL improves the OOD detection performance while preserving the image generation quality. Code is available at https://github.com/mu-cai/FRL.
• Abstract（参考訳）: 現代の深層生成モデルは、トレーニングディストリビューションの外から引き出された入力に高い確率を割り当て、オープンワールドデプロイメントにおけるモデルに脅威を与えることができる。 oodの不確かさの新しいテストタイム尺度を定義することには多くの研究が注目されているが、これらの手法は根底から見て、深層生成モデルの正規化と訓練における最適化の方法を変えるものではない。 特に、生成モデルは、確率を推定するために背景情報に過度に依存する。 そこで本研究では,OOD検出のための新しい周波数規則型学習FRLフレームワークを提案する。 FRLは、可変オートエンコーダ、GLOW、PixelCNN++など、幅広い生成アーキテクチャのパフォーマンスを効果的に改善する。 新しい大規模評価タスクでは、FRLは最先端のパフォーマンスを達成し、強力なベースラインであるLikelihood Regretを10.7%(AUROC)で上回り、147$\times$高速推論速度を達成した。 FRLは画像生成品質を維持しながらOOD検出性能を向上させる。 コードはhttps://github.com/mu-cai/frlで入手できる。

関連論文リスト

• Representation Alignment for Generation: Training Diffusion Transformers Is Easier Than You Think [72.48325960659822]
  生成のための大規模拡散モデルの訓練における主要なボトルネックは、これらの表現を効果的に学習することにある。 本稿では,RePresentation Alignment (REPA) と呼ばれる単純な正規化を導入し,ノイズの多い入力隠れ状態の投影を,外部の事前学習された視覚エンコーダから得られるクリーンな画像表現と整合させる手法を提案する。 我々の単純な戦略は、一般的な拡散やDiTsやSiTsといったフローベースのトランスフォーマーに適用した場合、トレーニング効率と生成品質の両方に大きな改善をもたらす。
  論文  参考訳（メタデータ） (2024-10-09T14:34:53Z)
• Standing on the Shoulders of Giants: Reprogramming Visual-Language Model for General Deepfake Detection [16.21235742118949]
  本稿では,よく訓練された視覚言語モデル(VLM)を一般深度検出に活用する手法を提案する。 データ摂動によるモデル予測を操作するモデル再プログラミングパラダイムにより,本手法は事前学習したVLMモデルを再プログラムすることができる。 私たちの優れたパフォーマンスは、トレーニング可能なパラメータのコストを低減し、現実世界のアプリケーションにとって有望なアプローチになります。
  論文  参考訳（メタデータ） (2024-09-04T12:46:30Z)
• Open-Set Deepfake Detection: A Parameter-Efficient Adaptation Method with Forgery Style Mixture [58.60915132222421]
  本稿では,顔偽造検出に汎用的かつパラメータ効率の高い手法を提案する。 フォージェリー・ソース・ドメインの多様性を増大させるフォージェリー・ミックス・フォーミュレーションを設計する。 設計したモデルは、トレーニング可能なパラメータを著しく減らし、最先端の一般化性を実現する。
  論文  参考訳（メタデータ） (2024-08-23T01:53:36Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Self-Play Fine-Tuning of Diffusion Models for Text-to-Image Generation [59.184980778643464]
  ファインチューニング拡散モデル : 生成人工知能(GenAI)の最前線 本稿では,拡散モデル(SPIN-Diffusion)のための自己演奏ファインチューニングという革新的な手法を紹介する。 提案手法は従来の教師付き微調整とRL戦略の代替として,モデル性能とアライメントの両方を大幅に改善する。
  論文  参考訳（メタデータ） (2024-02-15T18:59:18Z)
• Learn from the Past: A Proxy Guided Adversarial Defense Framework with Self Distillation Regularization [53.04697800214848]
  敵対的訓練(AT)は、ディープラーニングモデルの堅牢性を固める上で重要な要素である。 AT方式は、目標モデルの防御のために直接反復的な更新を頼りにしており、不安定な訓練や破滅的なオーバーフィッティングといった障害に頻繁に遭遇する。 汎用プロキシガイド型防衛フレームワークLAST(bf Pbf astから学ぶ)を提案する。
  論文  参考訳（メタデータ） (2023-10-19T13:13:41Z)
• RAFT: Reward rAnked FineTuning for Generative Foundation Model Alignment [32.752633250862694]
  生成基礎モデルは、広範囲の教師なしのトレーニングデータから生じる暗黙のバイアスに影響を受けやすい。 我々は、生成モデルを効果的に整合させるために設計された新しいフレームワーク、Reward rAnked FineTuningを紹介する。
  論文  参考訳（メタデータ） (2023-04-13T18:22:40Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• RLFlow: Optimising Neural Network Subgraph Transformation with World Models [0.0]
  本稿では,ニューラルネットワークのアーキテクチャを最適化するためのモデルベースエージェントを提案する。 提案手法は, 共通の畳み込みネットワーク上での最先端技術の性能に適合し, トランスフォーマースタイルのアーキテクチャでは最大5%性能が向上することを示す。
  論文  参考訳（メタデータ） (2022-05-03T11:52:54Z)
• Deep Generative model with Hierarchical Latent Factors for Time Series Anomaly Detection [40.21502451136054]
  本研究は、時系列異常検出のための新しい生成モデルであるDGHLを提示する。 トップダウンの畳み込みネットワークは、新しい階層的な潜在空間を時系列ウィンドウにマッピングし、時間ダイナミクスを利用して情報を効率的にエンコードする。 提案手法は,4つのベンチマーク・データセットにおいて,現在の最先端モデルよりも優れていた。
  論文  参考訳（メタデータ） (2022-02-15T17:19:44Z)
• Frequency-based Automated Modulation Classification in the Presence of Adversaries [17.930854969511046]
  本稿では、転送可能な対角干渉に耐えられるディープラーニングモデルからなる新しい受信アーキテクチャを提案する。 本研究では、リカレントニューラルネットワーク(RNN)では30%以上、畳み込みニューラルネットワーク(CNN)では50%以上の性能向上を示す。
  論文  参考訳（メタデータ） (2020-11-02T17:12:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。