論文の概要: Doodle It Yourself: Class Incremental Learning by Drawing a Few Sketches

• arxiv url: http://arxiv.org/abs/2203.14843v1
• Date: Mon, 28 Mar 2022 15:35:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-29 19:52:19.141472
• Title: Doodle It Yourself: Class Incremental Learning by Drawing a Few Sketches
• Title（参考訳）: Doodle It Yourself:小さめのスケッチを引いて授業のインクリメンタル学習
• Authors: Ayan Kumar Bhunia, Viswanatha Reddy Gajjala, Subhadeep Koley, Rohit Kundu, Aneeshan Sain, Tao Xiang and Yi-Zhe Song
• Abstract要約: 本稿では,(i)ドメイン不変学習の勾配コンセンサス,(ii)古いクラス情報を保存するための知識蒸留,(iii)古いクラスと新しいクラスのメッセージパッシングのためのグラフアテンションネットワークについて述べる。 FSCILのコンテキストにおいて,スケッチはテキストよりもクラスサポートが優れていることを示す。
• 参考スコア（独自算出の注目度）: 100.3966994660079
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The human visual system is remarkable in learning new visual concepts from just a few examples. This is precisely the goal behind few-shot class incremental learning (FSCIL), where the emphasis is additionally placed on ensuring the model does not suffer from "forgetting". In this paper, we push the boundary further for FSCIL by addressing two key questions that bottleneck its ubiquitous application (i) can the model learn from diverse modalities other than just photo (as humans do), and (ii) what if photos are not readily accessible (due to ethical and privacy constraints). Our key innovation lies in advocating the use of sketches as a new modality for class support. The product is a "Doodle It Yourself" (DIY) FSCIL framework where the users can freely sketch a few examples of a novel class for the model to learn to recognize photos of that class. For that, we present a framework that infuses (i) gradient consensus for domain invariant learning, (ii) knowledge distillation for preserving old class information, and (iii) graph attention networks for message passing between old and novel classes. We experimentally show that sketches are better class support than text in the context of FSCIL, echoing findings elsewhere in the sketching literature.
• Abstract（参考訳）: 人間の視覚システムは、ほんの数例から新しい視覚概念を学ぶのに顕著である。 これはまさに、モデルが"偽造"に苦しめられないようにすることに重点を置いている、数発のクラスインクリメンタルラーニング(FSCIL)の背景にある目標である。 本稿では、そのユビキタスな応用をボトルネックにする2つの重要な問題に対処することで、FSCILの境界をさらに推し進める。 i) モデルが単に写真(人間のように)以外の様々なモダリティから学習できるか、そして (ii)写真のアクセスが容易でない場合(倫理的・プライバシー上の制約により)はどうか。 私たちの重要なイノベーションは、クラスサポートの新しいモダリティとしてスケッチを使うことを提唱することです。 この製品は“doodle it yourself”(diy)のfscilフレームワークで、ユーザが新しいクラスの例を自由にスケッチして、そのクラスの写真を認識できるようになる。 そのために、我々はこのフレームワークを (i)ドメイン不変学習における勾配コンセンサス (ii)旧級情報保存のための知識蒸留 (iii)旧クラスと新クラス間のメッセージパッシングのためのグラフアテンションネットワーク。 FSCILの文脈では,スケッチがテキストよりも優れたクラスサポートであることを実験的に示す。

関連論文リスト

• Learning Prompt with Distribution-Based Feature Replay for Few-Shot Class-Incremental Learning [56.29097276129473]
  分散型特徴再現(LP-DiF)を用いた学習プロンプト(Learning Prompt)という,シンプルで効果的なフレームワークを提案する。 新しいセッションでは,学習可能なプロンプトが古い知識を忘れないようにするため,擬似機能的リプレイ手法を提案する。 新しいセッションに進むと、古いクラスのディストリビューションと現在のセッションのトレーニングイメージを組み合わせて擬似フィーチャーをサンプリングして、プロンプトを最適化する。
  論文  参考訳（メタデータ） (2024-01-03T07:59:17Z)
• Adapt and Align to Improve Zero-Shot Sketch-Based Image Retrieval [85.39613457282107]
  スケッチに基づく画像検索のクロスドメイン性は困難である。 重要な課題に対処する効果的なAdaptとAlignのアプローチを提案する。 ゼロショットシナリオにおける画像テキスト基盤モデル(例えばCLIP)の最近の進歩に触発されて、学習したイメージの埋め込みを、より意味的なテキスト埋め込みと明確に整合させ、見知らぬクラスから見つからないクラスへの所望の知識伝達を実現する。
  論文  参考訳（メタデータ） (2023-05-09T03:10:15Z)
• Freestyle Layout-to-Image Synthesis [42.64485133926378]
  この研究では、モデルの自由なスタイルの能力、すなわち、与えられたレイアウト上に見知らぬセマンティクスをどの程度生成できるかを探索する。 これに触発されて、我々は、大規模事前訓練されたテキスト-画像拡散モデルを利用して、目に見えないセマンティクスを生成することを選んだ。 提案した拡散ネットワークは,テキスト入力を多用したリアルかつ自由なレイアウト・ツー・イメージ生成結果を生成する。
  論文  参考訳（メタデータ） (2023-03-25T09:37:41Z)
• Sketch2Saliency: Learning to Detect Salient Objects from Human Drawings [99.9788496281408]
  本研究では,スケッチを弱いラベルとして使用して,画像中の有能な物体を検出する方法について検討する。 これを実現するために,与えられた視覚写真に対応する逐次スケッチ座標を生成することを目的としたフォト・ツー・スケッチ生成モデルを提案する。 テストは、私たちの仮説を証明し、スケッチベースの唾液度検出モデルが、最先端技術と比較して、競争力のあるパフォーマンスを提供する方法を明確にします。
  論文  参考訳（メタデータ） (2023-03-20T23:46:46Z)
• DreamBooth: Fine Tuning Text-to-Image Diffusion Models for Subject-Driven Generation [26.748667878221568]
  テキスト・ツー・イメージ・モデルの「個人化」のための新しいアプローチを提案する。 トレーニング済みのテキスト・ツー・イメージモデルを微調整して、ユニークな識別子を特定の主題にバインドする。 次に、ユニークな識別子を使用して、異なるシーンでコンテキスト化された被写体の完全なフォトリアリスティック・ノーベル画像を合成することができる。
  論文  参考訳（メタデータ） (2022-08-25T17:45:49Z)
• I Know What You Draw: Learning Grasp Detection Conditioned on a Few Freehand Sketches [74.63313641583602]
  そこで本研究では,スケッチ画像に関連のある潜在的な把握構成を生成する手法を提案する。 私たちのモデルは、現実世界のアプリケーションで簡単に実装できるエンドツーエンドで訓練され、テストされています。
  論文  参考訳（メタデータ） (2022-05-09T04:23:36Z)
• SketchEmbedNet: Learning Novel Concepts by Imitating Drawings [125.45799722437478]
  モデルを用いて画像のスケッチを作成することによって学習した画像表現の特性について検討する。 この生成型クラスに依存しないモデルでは,新規な例,クラス,さらには新規なデータセットからの画像の情報埋め込みが,数ショットで生成されることが示されている。
  論文  参考訳（メタデータ） (2020-08-27T16:43:28Z)
• Continual Local Replacement for Few-shot Learning [13.956960291580938]
  少数ショット学習の目標は,1つないし少数のトレーニングデータに基づいて,新しいクラスを認識可能なモデルを学習することにある。 1)新しいクラスの優れた特徴表現が欠けていること、(2)ラベル付きデータの一部が真のデータ分布を正確に表現できないこと、である。 データ不足問題に対処するために,新たな局所的置換戦略を提案する。
  論文  参考訳（メタデータ） (2020-01-23T04:26:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。