論文の概要: Few-Shot Class-Incremental Model Attribution Using Learnable Representation From CLIP-ViT Features

• arxiv url: http://arxiv.org/abs/2503.08148v1
• Date: Tue, 11 Mar 2025 08:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:43:35.756684
• Title: Few-Shot Class-Incremental Model Attribution Using Learnable Representation From CLIP-ViT Features
• Title（参考訳）: CLIP-ViT特徴から学習可能な表現を用いたFew-Shotクラスインクリメンタルモデル属性
• Authors: Hanbyul Lee, Juneho Yi,
• Abstract要約: 本研究は、持続的に出現する生成モデルに対処する新しい戦略を提案する。 我々は、MA問題にFSCILのメカニズムを適用して、新しい生成AIモデルを明らかにする。 画像毎のCLIP-ViTブロックの重み付け和を計算するための適応統合モジュール(AIM)を提案する。
• 参考スコア（独自算出の注目度）: 1.534667887016089
• License:
• Abstract: Recently, images that distort or fabricate facts using generative models have become a social concern. To cope with continuous evolution of generative artificial intelligence (AI) models, model attribution (MA) is necessary beyond just detection of synthetic images. However, current deep learning-based MA methods must be trained from scratch with new data to recognize unseen models, which is time-consuming and data-intensive. This work proposes a new strategy to deal with persistently emerging generative models. We adapt few-shot class-incremental learning (FSCIL) mechanisms for MA problem to uncover novel generative AI models. Unlike existing FSCIL approaches that focus on object classification using high-level information, MA requires analyzing low-level details like color and texture in synthetic images. Thus, we utilize a learnable representation from different levels of CLIP-ViT features. To learn an effective representation, we propose Adaptive Integration Module (AIM) to calculate a weighted sum of CLIP-ViT block features for each image, enhancing the ability to identify generative models. Extensive experiments show our method effectively extends from prior generative models to recent ones.
• Abstract（参考訳）: 近年, 生成モデルを用いて事実を歪ませたり形成したりするイメージが社会的な関心事となっている。 生成人工知能(AI)モデルの継続的な進化に対処するには、合成画像の検出以上のモデル属性(MA)が必要である。 しかし、現在のディープラーニングベースのMAメソッドは、新しいデータでゼロからトレーニングし、目に見えないモデルを認識する必要がある。 本研究は、持続的に出現する生成モデルに対処する新しい戦略を提案する。 我々は、MA問題にFSCIL機構を適用して、新しい生成AIモデルを明らかにする。 高レベル情報を用いたオブジェクト分類に焦点を当てた既存のFSCILアプローチとは異なり、MAは合成画像の色やテクスチャなどの低レベルの詳細を分析する必要がある。 そこで我々は,異なるレベルのCLIP-ViT特徴から学習可能な表現を利用する。 画像毎のCLIP-ViTブロックの重み付け和を計算するための適応統合モジュール(AIM)を提案する。 大規模な実験により,本手法は従来の生成モデルから最近のモデルへ効果的に拡張されていることが示された。

関連論文リスト

• Learning-based Models for Vulnerability Detection: An Extensive Study [3.1317409221921144]
  我々は、最先端の学習ベースアプローチの2つのタイプを広範かつ包括的に調査する。 本稿では,シーケンスベースモデルの優先度と,グラフベースモデルの限定能力について実験的に検証する。
  論文  参考訳（メタデータ） (2024-08-14T13:01:30Z)
• Reinforcing Pre-trained Models Using Counterfactual Images [54.26310919385808]
  本稿では,言語誘導型生成対実画像を用いた分類モデル強化のための新しいフレームワークを提案する。 逆ファクト画像データセットを用いてモデルをテストすることにより、モデルの弱点を同定する。 我々は、分類モデルを微調整し強化するために、デファクトイメージを拡張データセットとして採用する。
  論文  参考訳（メタデータ） (2024-06-19T08:07:14Z)
• Class-Prototype Conditional Diffusion Model with Gradient Projection for Continual Learning [20.175586324567025]
  破滅的な忘れ方を減らすことは、継続的な学習における重要なハードルである。 大きな問題は、生成したデータの品質がオリジナルのものと比べて低下することである。 本稿では,ジェネレータにおける画像品質を向上させる連続学習のためのGRに基づくアプローチを提案する。
  論文  参考訳（メタデータ） (2023-12-10T17:39:42Z)
• Heterogeneous Generative Knowledge Distillation with Masked Image Modeling [33.95780732124864]
  Masked Image Modeling (MIM) 法は様々な視覚的タスクにおいて大きな成功を収めるが、ヘテロジニアス深層モデルに対する知識蒸留では未解明のままである。 我々は,MIMに基づくH-GKD (Heterogeneous Generative Knowledge Distillation) を開発した。 本手法は,異種教師モデルからデータの視覚的表現と分布を学習するための,シンプルで効果的な学習パラダイムである。
  論文  参考訳（メタデータ） (2023-09-18T08:30:55Z)
• UniDiff: Advancing Vision-Language Models with Generative and Discriminative Learning [86.91893533388628]
  本稿では、画像テキストコントラスト学習(ITC)、テキスト条件付き画像合成学習(IS)、相互意味整合性モデリング(RSC)を統合した統合マルチモーダルモデルUniDiffを提案する。 UniDiffはマルチモーダル理解と生成タスクの両方において汎用性を示す。
  論文  参考訳（メタデータ） (2023-06-01T15:39:38Z)
• Revisiting Temporal Modeling for CLIP-based Image-to-Video Knowledge Transferring [82.84513669453744]
  画像テキスト事前訓練モデル(例えばCLIP)は、大規模な画像テキストデータペアから学んだ、印象的な汎用マルチモーダル知識を示している。 画像間知識伝達の文脈における時間的モデリングを再考する。 本稿では,CLIPモデルを多様なビデオタスクに拡張する簡易かつ効果的な時間的モデリング機構を提案する。
  論文  参考訳（メタデータ） (2023-01-26T14:12:02Z)
• Unified Framework for Histopathology Image Augmentation and Classification via Generative Models [6.404713841079193]
  本稿では,データ生成とモデルトレーニングの段階を統一プロセスに統合する,革新的な統一フレームワークを提案する。 提案手法では、画像合成と分類の両方を同時に扱うために、純粋視覚変換器(ViT)ベースの条件付き生成適応ネットワーク(cGAN)モデルを用いる。 本実験により,我々の統合合成増強フレームワークは,病理組織像分類モデルの性能を一貫して向上させることが示された。
  論文  参考訳（メタデータ） (2022-12-20T03:40:44Z)
• Is synthetic data from generative models ready for image recognition? [69.42645602062024]
  本研究では,最新のテキスト・画像生成モデルから生成した合成画像が,画像認識タスクにどのように利用できるかを検討した。 本稿では,既存の生成モデルからの合成データの強大さと欠点を示し,認識タスクに合成データを適用するための戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-14T06:54:24Z)
• Model LEGO: Creating Models Like Disassembling and Assembling Building Blocks [53.09649785009528]
  本稿では,新しいモデルを得るためのトレーニングを必要としないパラダイムについて検討する。 生体視覚系における受容野にインスパイアされたCNNの誕生と同様、モデル分解と組み立てを提案する。 モデル組立には、特定のタスクに適した新しいモデルを構築するために、アライメントパディング戦略とパラメータスケーリング戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-25T05:27:28Z)
• Hybrid modeling: Applications in real-time diagnosis [64.5040763067757]
  我々は、機械学習にインスパイアされたモデルと物理モデルを組み合わせた、新しいハイブリッドモデリングアプローチの概要を述べる。 このようなモデルをリアルタイム診断に利用しています。
  論文  参考訳（メタデータ） (2020-03-04T00:44:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。