論文の概要: Pretrained Reversible Generation as Unsupervised Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2412.01787v2
• Date: Sat, 08 Mar 2025 14:13:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 20:09:43.863091
• Title: Pretrained Reversible Generation as Unsupervised Visual Representation Learning
• Title（参考訳）: 教師なし視覚表現学習における事前制約付き可逆生成
• Authors: Rongkun Xue, Jinouwen Zhang, Yazhe Niu, Dazhong Shen, Bingqi Ma, Yu Liu, Jing Yang,
• Abstract要約: 本稿では,事前学習された連続生成モデルの生成過程を逆転させて教師なし表現を抽出する,事前学習可逆生成(PRG)を提案する。 PRGは教師なし生成モデルを効果的に再利用し、その高い能力を利用して下流タスクの堅牢で一般化可能な特徴抽出器として機能する。 提案手法は,複数のベンチマークにおいて従来手法よりも常に優れており,画像ネット上で64.8%の精度で78%の精度で生成モデルに基づく手法の最先端性能を実現している。
• 参考スコア（独自算出の注目度）: 7.076111872035312
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent generative models based on score matching and flow matching have significantly advanced generation tasks, but their potential in discriminative tasks remains underexplored. Previous approaches, such as generative classifiers, have not fully leveraged the capabilities of these models for discriminative tasks due to their intricate designs. We propose Pretrained Reversible Generation (PRG), which extracts unsupervised representations by reversing the generative process of a pretrained continuous generation model. PRG effectively reuses unsupervised generative models, leveraging their high capacity to serve as robust and generalizable feature extractors for downstream tasks. This framework enables the flexible selection of feature hierarchies tailored to specific downstream tasks. Our method consistently outperforms prior approaches across multiple benchmarks, achieving state-of-the-art performance among generative model based methods, including 78% top-1 accuracy on ImageNet at a resolution of 64. Extensive ablation studies, including out-of-distribution evaluations, further validate the effectiveness of our approach.
• Abstract（参考訳）: スコアマッチングとフローマッチングに基づく最近の生成モデルは、かなり先進的な生成タスクを持っているが、識別タスクにおけるそれらのポテンシャルはいまだ探索されていない。 生成的分類器のような従来のアプローチでは、複雑な設計のため、識別的タスクのためにこれらのモデルの能力を十分に活用していない。 本稿では,事前学習された連続生成モデルの生成過程を逆転させて教師なし表現を抽出する,事前学習可逆生成(PRG)を提案する。 PRGは教師なし生成モデルを効果的に再利用し、その高い能力を利用して下流タスクの堅牢で一般化可能な特徴抽出器として機能する。 このフレームワークは、特定の下流タスクに適した機能階層の柔軟な選択を可能にする。 提案手法は,複数のベンチマークにおいて従来手法よりも常に優れており,画像ネット上で64.8%の精度で78%の精度で生成モデルに基づく手法の最先端性能を実現している。 アウト・オブ・ディストリビューション評価を含む大規模なアブレーション研究は、我々のアプローチの有効性をさらに検証する。

関連論文リスト

• Exploring Training and Inference Scaling Laws in Generative Retrieval [50.82554729023865]
  モデルサイズ,トレーニングデータスケール,推論時間計算が生成的検索性能にどのように影響するかを検討する。 実験の結果,n-gram-based method はトレーニング法と推論法の両方と強く一致していることがわかった。 LLaMAモデルはT5モデルより一貫して優れており、生成検索におけるデコーダのみの大きなモデルに対して特に有利であることが示唆された。
  論文  参考訳（メタデータ） (2025-03-24T17:59:03Z)
• Idempotent Unsupervised Representation Learning for Skeleton-Based Action Recognition [13.593511876719367]
  教師なし表現学習のための新しい骨格ベース等等化生成モデル(IGM)を提案する。 ベンチマークデータセットであるNTU RGB+DとPKUMMDに関する実験により,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2024-10-27T06:29:04Z)
• Learning Off-policy with Model-based Intrinsic Motivation For Active Online Exploration [15.463313629574111]
  本稿では,連続制御タスクにおけるサンプル効率の高い探索手法について検討する。 本稿では,予測モデルと非政治学習要素を組み込んだRLアルゴリズムを提案する。 パラメーターのオーバーヘッドを発生させずに本質的な報酬を導き出す。
  論文  参考訳（メタデータ） (2024-03-31T11:39:11Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Conditional Denoising Diffusion for Sequential Recommendation [62.127862728308045]
  GAN(Generative Adversarial Networks)とVAE(VAE)の2つの顕著な生成モデル GANは不安定な最適化に苦しむ一方、VAEは後続の崩壊と過度に平らな世代である。 本稿では,シーケンスエンコーダ,クロスアテンティブデノナイジングデコーダ,ステップワイズディフューザを含む条件付きデノナイジング拡散モデルを提案する。
  論文  参考訳（メタデータ） (2023-04-22T15:32:59Z)
• RAFT: Reward rAnked FineTuning for Generative Foundation Model Alignment [32.752633250862694]
  生成基礎モデルは、広範囲の教師なしのトレーニングデータから生じる暗黙のバイアスに影響を受けやすい。 我々は、生成モデルを効果的に整合させるために設計された新しいフレームワーク、Reward rAnked FineTuningを紹介する。
  論文  参考訳（メタデータ） (2023-04-13T18:22:40Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Training Discrete Deep Generative Models via Gapped Straight-Through Estimator [72.71398034617607]
  再サンプリングのオーバーヘッドを伴わずに分散を低減するため, GST (Gapped Straight-Through) 推定器を提案する。 この推定子は、Straight-Through Gumbel-Softmaxの本質的な性質に着想を得たものである。 実験により,提案したGST推定器は,2つの離散的な深部生成モデリングタスクの強いベースラインと比較して,優れた性能を享受できることが示された。
  論文  参考訳（メタデータ） (2022-06-15T01:46:05Z)
• GANORCON: Are Generative Models Useful for Few-shot Segmentation? [35.79561690868794]
  GAN表現は、特にトレーニングデータに制限がある場合、部分分割のような差別的なタスクに再利用することができる。 コントラスト学習に基づく代替手法を提案し、その性能を標準の少数ショット部分セグメンテーションベンチマークで比較する。 我々の実験は、GANベースのアプローチが大きなパフォーマンス上の優位性をもたらすだけでなく、そのマルチステップトレーニングは複雑で、ほぼマグニチュードが遅く、さらなるバイアスをもたらす可能性があることを明らかにした。
  論文  参考訳（メタデータ） (2021-12-01T22:06:20Z)
• Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
  本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。 我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。 質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-21T13:04:21Z)
• Unsupervised Disentanglement without Autoencoding: Pitfalls and Future Directions [21.035001142156464]
  切り離された視覚表現は、変分オートエンコーダ(VAE)のような生成モデルで主に研究されている。 コントラスト学習を用いた正規化手法について検討し、大規模データセットや下流アプリケーションに十分強力なアンタングル表現をもたらす可能性があることを示す。 下流タスクとの絡み合いを評価し、使用する各正規化の利点と欠点を分析し、今後の方向性について議論する。
  論文  参考訳（メタデータ） (2021-08-14T21:06:42Z)
• End-to-End Weak Supervision [15.125993628007972]
  下流モデルを直接学習するためのエンドツーエンドアプローチを提案する。 下流テストセットにおけるエンドモデル性能の観点から,先行作業よりも性能が向上したことを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:10:11Z)
• Sample Efficient Reinforcement Learning via Model-Ensemble Exploration and Exploitation [3.728946517493471]
  MEEEは楽観的な探索と重み付けによる搾取からなるモデルアンサンブル法である。 我々の手法は、特にサンプル複雑性において、他のモデルフリーおよびモデルベース最先端手法よりも優れています。
  論文  参考訳（メタデータ） (2021-07-05T07:18:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。