論文の概要: Pretrained Reversible Generation as Unsupervised Visual Representation Learning

• arxiv url: http://arxiv.org/abs/2412.01787v1
• Date: Fri, 29 Nov 2024 08:24:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:51:12.588871
• Title: Pretrained Reversible Generation as Unsupervised Visual Representation Learning
• Title（参考訳）: 教師なし視覚表現学習における事前制約付き可逆生成
• Authors: Rongkun Xue, Jinouwen Zhang, Yazhe Niu, Dazhong Shen, Bingqi Ma, Yu Liu, Jing Yang,
• Abstract要約: 本研究では,事前学習した連続流れモデルの生成過程を逆転させて教師なし表現を抽出するPRGを提案する。 PRGは教師なし生成モデルを効果的に再利用し、その高い能力を利用して下流タスクの堅牢で一般化可能な特徴抽出器として機能する。
• 参考スコア（独自算出の注目度）: 7.076111872035312
• License:
• Abstract: Recent generative models based on score matching and flow matching have significantly advanced generation tasks, but their potential in discriminative tasks remains underexplored. Previous approaches, such as generative classifiers, have not fully leveraged the capabilities of these models for discriminative tasks due to their intricate designs. We propose Pretrained Reversible Generation (PRG), which extracts unsupervised representations by reversing the generative process of a pretrained continuous flow model. PRG effectively reuses unsupervised generative models, leveraging their high capacity to serve as robust and generalizable feature extractors for downstream tasks. Our method consistently outperforms prior approaches across multiple benchmarks, achieving state-of-the-art performance among generative model-based methods, including 78\% top-1 accuracy on ImageNet. Extensive ablation studies further validate the effectiveness of our approach.
• Abstract（参考訳）: スコアマッチングとフローマッチングに基づく最近の生成モデルは、かなり先進的な生成タスクを持っているが、識別タスクにおけるそれらのポテンシャルはいまだ探索されていない。 生成的分類器のような従来のアプローチでは、複雑な設計のため、識別的タスクのためにこれらのモデルの能力を十分に活用していない。 本研究では,事前学習した連続流れモデルの生成過程を逆転させて教師なし表現を抽出するPRGを提案する。 PRGは教師なし生成モデルを効果的に再利用し、その高い能力を利用して下流タスクの堅牢で一般化可能な特徴抽出器として機能する。 提案手法は,複数のベンチマークにおいて従来手法よりも常に優れており,ImageNet の 78 % のトップ-1 精度を含む生成モデルベース手法の最先端性能を実現している。 広範囲にわたるアブレーション研究は、我々のアプローチの有効性をさらに検証する。

関連論文リスト

• Learning Off-policy with Model-based Intrinsic Motivation For Active Online Exploration [15.463313629574111]
  本稿では,連続制御タスクにおけるサンプル効率の高い探索手法について検討する。 本稿では,予測モデルと非政治学習要素を組み込んだRLアルゴリズムを提案する。 パラメーターのオーバーヘッドを発生させずに本質的な報酬を導き出す。
  論文  参考訳（メタデータ） (2024-03-31T11:39:11Z)
• DetDiffusion: Synergizing Generative and Perceptive Models for Enhanced Data Generation and Perception [78.26734070960886]
  現在の知覚モデルは、リソース集約的なデータセットに大きく依存している。 セグメンテーションを通じて知覚認識損失(P.A.損失)を導入し、品質と制御性の両方を改善した。 本手法は,世代間における知覚認識属性(P.A. Attr)の抽出と利用により,データ拡張をカスタマイズする。
  論文  参考訳（メタデータ） (2024-03-20T04:58:03Z)
• RanPAC: Random Projections and Pre-trained Models for Continual Learning [59.07316955610658]
  継続学習(CL)は、古いタスクを忘れずに、非定常データストリームで異なるタスク(分類など)を学習することを目的としている。 本稿では,事前学習モデルを用いたCLの簡潔かつ効果的なアプローチを提案する。
  論文  参考訳（メタデータ） (2023-07-05T12:49:02Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• DORE: Document Ordered Relation Extraction based on Generative Framework [56.537386636819626]
  本稿では,既存のDocREモデルの根本原因について検討する。 本稿では,モデルが学習しやすく,決定論的な関係行列から記号列と順序列を生成することを提案する。 4つのデータセットに対する実験結果から,提案手法は生成型DocREモデルの性能を向上させることができることが示された。
  論文  参考訳（メタデータ） (2022-10-28T11:18:10Z)
• Improving Non-autoregressive Generation with Mixup Training [51.61038444990301]
  本稿では,事前学習したトランスモデルに基づく非自己回帰生成モデルを提案する。 我々はMIxソースと擬似ターゲットという,シンプルで効果的な反復訓練手法を提案する。 質問生成,要約,パラフレーズ生成を含む3つの世代ベンチマーク実験により,提案手法が新たな最先端結果を実現することを示す。
  論文  参考訳（メタデータ） (2021-10-21T13:04:21Z)
• Unsupervised Disentanglement without Autoencoding: Pitfalls and Future Directions [21.035001142156464]
  切り離された視覚表現は、変分オートエンコーダ(VAE)のような生成モデルで主に研究されている。 コントラスト学習を用いた正規化手法について検討し、大規模データセットや下流アプリケーションに十分強力なアンタングル表現をもたらす可能性があることを示す。 下流タスクとの絡み合いを評価し、使用する各正規化の利点と欠点を分析し、今後の方向性について議論する。
  論文  参考訳（メタデータ） (2021-08-14T21:06:42Z)
• End-to-End Weak Supervision [15.125993628007972]
  下流モデルを直接学習するためのエンドツーエンドアプローチを提案する。 下流テストセットにおけるエンドモデル性能の観点から,先行作業よりも性能が向上したことを示す。
  論文  参考訳（メタデータ） (2021-07-05T19:10:11Z)
• Sample Efficient Reinforcement Learning via Model-Ensemble Exploration and Exploitation [3.728946517493471]
  MEEEは楽観的な探索と重み付けによる搾取からなるモデルアンサンブル法である。 我々の手法は、特にサンプル複雑性において、他のモデルフリーおよびモデルベース最先端手法よりも優れています。
  論文  参考訳（メタデータ） (2021-07-05T07:18:20Z)
• Dynamic Model Pruning with Feedback [64.019079257231]
  余分なオーバーヘッドを伴わずにスパーストレーニングモデルを生成する新しいモデル圧縮法を提案する。 CIFAR-10 と ImageNet を用いて本手法の評価を行い,得られたスパースモデルが高密度モデルの最先端性能に到達可能であることを示す。
  論文  参考訳（メタデータ） (2020-06-12T15:07:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。