論文の概要: Few-shot Learner Parameterization by Diffusion Time-steps

• arxiv url: http://arxiv.org/abs/2403.02649v2
• Date: Wed, 27 Mar 2024 03:34:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-28 21:54:06.779905
• Title: Few-shot Learner Parameterization by Diffusion Time-steps
• Title（参考訳）: 拡散時間ステップによる数ショット学習者のパラメータ化
• Authors: Zhongqi Yue, Pan Zhou, Richang Hong, Hanwang Zhang, Qianru Sun,
• Abstract要約: 大規模なマルチモーダル・ファンデーション・モデルを使用する場合、ほとんどショット・ラーニングは難しい。 我々は、失った属性を補うために、時間ステップFew-shot(TiF)学習者を提案する。 TiF学習者は、OpenCLIPとそのアダプタを様々な細粒度でカスタマイズされた数発の学習タスクで大幅に上回っている。
• 参考スコア（独自算出の注目度）: 133.98320335394004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Even when using large multi-modal foundation models, few-shot learning is still challenging -- if there is no proper inductive bias, it is nearly impossible to keep the nuanced class attributes while removing the visually prominent attributes that spuriously correlate with class labels. To this end, we find an inductive bias that the time-steps of a Diffusion Model (DM) can isolate the nuanced class attributes, i.e., as the forward diffusion adds noise to an image at each time-step, nuanced attributes are usually lost at an earlier time-step than the spurious attributes that are visually prominent. Building on this, we propose Time-step Few-shot (TiF) learner. We train class-specific low-rank adapters for a text-conditioned DM to make up for the lost attributes, such that images can be accurately reconstructed from their noisy ones given a prompt. Hence, at a small time-step, the adapter and prompt are essentially a parameterization of only the nuanced class attributes. For a test image, we can use the parameterization to only extract the nuanced class attributes for classification. TiF learner significantly outperforms OpenCLIP and its adapters on a variety of fine-grained and customized few-shot learning tasks. Codes are in https://github.com/yue-zhongqi/tif.
• Abstract（参考訳）: 大規模なマルチモーダルファウンデーションモデルを使用しても、ほとんどショット学習は難しい - もし適切な帰納的バイアスがなければ、クラスラベルと突発的に相関する視覚的に顕著な属性を取り除きながら、ニュアンスされたクラス属性を保持することはほとんど不可能である。 この目的のために、拡散モデル(DM)の時間ステップがニュアンスクラス属性を分離できる誘導バイアス、すなわち前方拡散が各時間ステップで画像にノイズを加えると、通常、視覚的に顕著なスプリアス属性よりも早い時間ステップでニュアンス属性が失われる。 そこで本研究では,TiF(Time-step Few-shot)学習者を提案する。 我々は、テキスト条件のDMに対してクラス固有の低ランクアダプタを訓練し、失われた属性を補う。 したがって、小さな段階において、アダプタとプロンプトは本質的に、ニュアンス付きクラス属性のみのパラメータ化である。 テスト画像では、パラメータ化を使用して、分類のためのニュアンス付きクラス属性のみを抽出できる。 TiF学習者は、OpenCLIPとそのアダプタを様々な細粒度でカスタマイズされた数発の学習タスクで大幅に上回っている。 コードはhttps://github.com/yue-zhongqi/tifにある。

関連論文リスト

• Exploring Diffusion Time-steps for Unsupervised Representation Learning [72.43246871893936]
  拡散時間ステップと隠れ属性を結合する理論的枠組みを構築する。 CelebA、FFHQ、Bedroomのデータセットでは、学習された機能は分類を大幅に改善する。
  論文  参考訳（メタデータ） (2024-01-21T08:35:25Z)
• Exploring Fine-Grained Representation and Recomposition for Cloth-Changing Person Re-Identification [78.52704557647438]
  補助的なアノテーションやデータなしに両方の制約に対処するために,新しいFIne-fine Representation and Recomposition (FIRe$2$) フレームワークを提案する。 FIRe$2$は、広く使われている5つのRe-IDベンチマークで最先端のパフォーマンスを実現することができる。
  論文  参考訳（メタデータ） (2023-08-21T12:59:48Z)
• Text Descriptions are Compressive and Invariant Representations for Visual Learning [63.3464863723631]
  本研究では,クラスごとの複数の視覚的特徴に対する人間の理解に則って,頑健な数ショット学習環境では魅力的な性能が得られることを示す。 特に,SLR-AVD (Sparse Logistic Regression using Augmented Visual Descriptors) という新しい手法を導入する。 このメソッドはまず、まず大きな言語モデル(LLM)を介して各クラスの複数の視覚的記述を自動生成し、次にVLMを使用してこれらの記述を各画像の視覚的特徴埋め込みに変換し、最後に、これらの特徴の関連するサブセットを選択するためにスパースロジスティック回帰を使用する。
  論文  参考訳（メタデータ） (2023-07-10T03:06:45Z)
• Exploiting Semantic Attributes for Transductive Zero-Shot Learning [97.61371730534258]
  ゼロショット学習は、視覚的特徴と、そのクラスから学んだ意味的属性の関係を一般化することにより、目に見えないクラスを認識することを目的としている。 本稿では,未知データの意味的属性を生成し,生成過程に付加する新しいZSL法を提案する。 5つの標準ベンチマーク実験により,本手法がゼロショット学習の最先端結果をもたらすことが示された。
  論文  参考訳（メタデータ） (2023-03-17T09:09:48Z)
• Attribute-Guided Multi-Level Attention Network for Fine-Grained Fashion Retrieval [27.751399400911932]
  本稿では,細粒度ファッション検索のための属性誘導型マルチレベルアテンションネットワーク(AG-MAN)を提案する。 具体的には、まず事前訓練された特徴抽出器を拡張し、マルチレベル画像埋め込みをキャプチャする。 そこで本研究では,同じ属性を持つ画像と異なる値を持つ画像とを同一のクラスに分類する分類手法を提案する。
  論文  参考訳（メタデータ） (2022-12-27T05:28:38Z)
• Multi-Modal Few-Shot Object Detection with Meta-Learning-Based Cross-Modal Prompting [77.69172089359606]
  本稿では,マルチモーダルな複数ショットオブジェクト検出(FSOD)について,少数ショット視覚例とクラスセマンティック情報の両方を用いて検討する。 我々のアプローチは、(メトリックベース)メタラーニングとプロンプトベースラーニングの高レベルな概念的類似性によって動機付けられている。 提案するマルチモーダルFSODモデルを,複数の複数ショットオブジェクト検出ベンチマークで総合的に評価し,有望な結果を得た。
  論文  参考訳（メタデータ） (2022-04-16T16:45:06Z)
• Shaping Visual Representations with Attributes for Few-Shot Learning [5.861206243996454]
  少ないショット認識は、低データ体制下での新規カテゴリの認識を目的としている。 近年,メートル法に基づく数ショット学習法は有望な性能を達成している。 本稿では,属性型学習(ASL)を提案する。
  論文  参考訳（メタデータ） (2021-12-13T03:16:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。