論文の概要: LoRAX: LoRA eXpandable Networks for Continual Synthetic Image Attribution
- arxiv url: http://arxiv.org/abs/2504.08149v1
- Date: Thu, 10 Apr 2025 22:20:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-21 22:19:35.621033
- Title: LoRAX: LoRA eXpandable Networks for Continual Synthetic Image Attribution
- Title（参考訳）: LoRAX:LoRA eXpandable Networks for Continual Synthetic Image Attribution
- Authors: Danielle Sullivan-Pao, Nicole Tian, Pooya Khorrami,
- Abstract要約: 完全再学習を必要とせずに、新しい生成画像モデルに適応するクラスインクリメンタルアルゴリズムであるLoRAXを提案する。
提案手法は,低ランク適応による連続学習タスク毎に,パラメータ効率が極めて高い特徴抽出器を訓練する。
LoRAXは、Continuous Deepfake Detectionベンチマークにおいて、最先端のクラスインクリメンタル学習アルゴリズムよりも優れているか、競争力がある。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As generative AI image technologies become more widespread and advanced, there is a growing need for strong attribution models. These models are crucial for verifying the authenticity of images and identifying the architecture of their originating generative models-key to maintaining media integrity. However, attribution models struggle to generalize to unseen models, and traditional fine-tuning methods for updating these models have shown to be impractical in real-world settings. To address these challenges, we propose LoRA eXpandable Networks (LoRAX), a parameter-efficient class incremental algorithm that adapts to novel generative image models without the need for full retraining. Our approach trains an extremely parameter-efficient feature extractor per continual learning task via Low Rank Adaptation. Each task-specific feature extractor learns distinct features while only requiring a small fraction of the parameters present in the underlying feature extractor's backbone model. Our extensive experimentation shows LoRAX outperforms or remains competitive with state-of-the-art class incremental learning algorithms on the Continual Deepfake Detection benchmark across all training scenarios and memory settings, while requiring less than 3% of the number of trainable parameters per feature extractor compared to the full-rank implementation. LoRAX code is available at: https://github.com/mit-ll/lorax_cil.
- Abstract（参考訳）: 生成的AI画像技術が普及し、進歩するにつれ、強力な帰属モデルの必要性が高まっている。
これらのモデルは、画像の真正性を検証し、メディアの整合性を維持するために、生成モデルの起源となるアーキテクチャを識別するために重要である。
しかし、帰属モデルは目に見えないモデルへの一般化に苦慮し、これらのモデルを更新するための従来の微調整手法は現実の環境では実用的でないことが示されている。
これらの課題に対処するために,パラメータ効率の高いクラスインクリメンタルアルゴリズムであるLoRA eXpandable Networks (LoRAX)を提案する。
提案手法は,低ランク適応による連続学習タスク毎に,パラメータ効率が極めて高い特徴抽出器を訓練する。
各タスク固有の特徴抽出器は、基礎となる特徴抽出器のバックボーンモデルに存在するパラメータのごく一部しか必要とせず、異なる特徴を学習する。
大規模な実験により、LoRAXは、すべてのトレーニングシナリオとメモリ設定にわたって、最先端のインクリメンタルな学習アルゴリズムと競合し、かつ、フルランクの実装と比較して1機能抽出器あたりのトレーニング可能なパラメータの3%未満を必要としています。
LoRAXコードは、https://github.com/mit-ll/lorax_cil.comで入手できる。
関連論文リスト
- PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。
事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。
そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
論文 参考訳（メタデータ） (2025-04-22T16:41:21Z) - Any Image Restoration via Efficient Spatial-Frequency Degradation Adaptation [158.37640586809187]
劣化した画像を1つのモデルで効率的に復元することは、ますます重要になっている。
我々のアプローチはAnyIRと呼ばれ、様々な劣化にまたがる固有の類似性を活用する統一された経路をとっています。
劣化認識と文脈的注意を融合させるため,空間周波数並列融合戦略を提案する。
論文 参考訳（メタデータ） (2025-04-19T09:54:46Z) - Few-Shot Class-Incremental Model Attribution Using Learnable Representation From CLIP-ViT Features [1.534667887016089]
本研究は、持続的に出現する生成モデルに対処する新しい戦略を提案する。
我々は、MA問題にFSCILのメカニズムを適用して、新しい生成AIモデルを明らかにする。
画像毎のCLIP-ViTブロックの重み付け和を計算するための適応統合モジュール(AIM)を提案する。
論文 参考訳（メタデータ） (2025-03-11T08:05:26Z) - Recurrent Diffusion for Large-Scale Parameter Generation [52.98888368644455]
リカレント拡散(Recurrent Diffusion for Large Scale Generation)は、単一のGPU上で最大数億のニューラルネットワークパラメータを生成する新しいフレームワークである。
RPGはAI生成において重要な進歩であり、以前は不可能と考えられていたスケールでの効率的な重量生成を可能にする可能性がある。
論文 参考訳（メタデータ） (2025-01-20T16:46:26Z) - VELoRA: A Low-Rank Adaptation Approach for Efficient RGB-Event based Recognition [54.27379947727035]
本稿では,RGBイベントに基づく分類のために,事前学習した基盤視覚モデルに適応するための新しいPEFT戦略を提案する。
また、2重モードのフレーム差は、フレーム差バックボーンネットワークを介してモーションキューをキャプチャすると考えられている。
ソースコードと事前トレーニングされたモデルはurlhttps://github.com/Event-AHU/VELoRAでリリースされる。
論文 参考訳（メタデータ） (2024-12-28T07:38:23Z) - LoRA Unlearns More and Retains More (Student Abstract) [0.0]
PruneLoRAは、モデルに低ランクの更新を適用することで、大規模なパラメータ更新の必要性を減らす。
そこで我々はLoRAを利用してプルーンドモデルのパラメータのサブセットを選択的に修正し、計算コスト、メモリ要件を低減し、残りのクラスの性能を維持するモデルの能力を向上させる。
論文 参考訳（メタデータ） (2024-11-16T16:47:57Z) - In-Context LoRA for Diffusion Transformers [49.288489286276146]
テキスト・ツー・イメージのDiTは、チューニングなしでテキスト内生成を効果的に行うことができることを示す。
我々は、我々のモデル In-Context LoRA (IC-LoRA) を命名する。
我々のパイプラインは、プロンプトにより忠実な高忠実度画像セットを生成する。
論文 参考訳（メタデータ） (2024-10-31T09:45:00Z) - Drama: Mamba-Enabled Model-Based Reinforcement Learning Is Sample and Parameter Efficient [9.519619751861333]
本稿では,SSM(State Space Model)ベースの世界モデルDramaを提案し,メモリと計算の複雑さを$O(n)$で実現した。
また, 早期のトレーニングにおいて, 誤った世界モデルによって引き起こされる準最適性を緩和する新しいサンプリング手法を提案する。
ドラマは、標準のラップトップのような市販のハードウェアでアクセス可能で、トレーニングできる。
論文 参考訳（メタデータ） (2024-10-11T15:10:40Z) - HyperDet: Generalizable Detection of Synthesized Images by Generating and Merging A Mixture of Hyper LoRAs [17.88153857572688]
我々はHyperDetと呼ばれる新しい、一般化可能な検出フレームワークを紹介した。
本研究では,画素とセマンティックアーティファクトを効果的にバランスさせる目的関数を提案する。
我々の研究は、事前訓練された大きな視覚モデルに基づいて、一般化可能なドメイン固有の偽画像検出器を確立する新しい方法である。
論文 参考訳（メタデータ） (2024-10-08T13:43:01Z) - Restore Anything Model via Efficient Degradation Adaptation [129.38475243424563]
RAMは、様々な劣化にまたがる固有の類似性を活用して、効率的で包括的な復元を可能にする統一された経路を取る。
RAMのSOTA性能はRAMのSOTA性能を確認し、トレーニング可能なパラメータで約82%、FLOPで約85%のモデルの複雑さを減少させる。
論文 参考訳（メタデータ） (2024-07-18T10:26:53Z) - Fine-tuning a Multiple Instance Learning Feature Extractor with Masked
Context Modelling and Knowledge Distillation [0.21756081703275998]
我々は,知識蒸留を用いたコンテキストモデリングを用いて特徴抽出モデルを微調整することにより,下流MIL分類を向上させることを提案する。
提案したタスクの1つのエポックは、MILシナリオで使用する場合の特徴抽出モデルの下流性能を向上させるのに十分であり、計算のごく一部を必要とする。
論文 参考訳（メタデータ） (2024-03-08T14:04:30Z) - Training Neural Networks from Scratch with Parallel Low-Rank Adapters [46.764982726136054]
計算ノード間の複数の低ランクヘッドの並列トレーニングを実現するために設計された,新しい双方向最適化アルゴリズムである LoRA-the-Explorer (LTE) を導入する。
我々のアプローチには、様々なビジョンデータセットを用いたビジョントランスフォーマーの広範な実験が含まれており、LTEが標準の事前トレーニングと競合していることが示されている。
論文 参考訳（メタデータ） (2024-02-26T18:55:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。