論文の概要: LoRAX: LoRA eXpandable Networks for Continual Synthetic Image Attribution
- arxiv url: http://arxiv.org/abs/2504.08149v1
- Date: Thu, 10 Apr 2025 22:20:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-14 14:19:00.690711
- Title: LoRAX: LoRA eXpandable Networks for Continual Synthetic Image Attribution
- Title（参考訳）: LoRAX:LoRA eXpandable Networks for Continual Synthetic Image Attribution
- Authors: Danielle Sullivan-Pao, Nicole Tian, Pooya Khorrami,
- Abstract要約: 完全再学習を必要とせずに、新しい生成画像モデルに適応するクラスインクリメンタルアルゴリズムであるLoRAXを提案する。
提案手法は,低ランク適応による連続学習タスク毎に,パラメータ効率が極めて高い特徴抽出器を訓練する。
LoRAXは、Continuous Deepfake Detectionベンチマークにおいて、最先端のクラスインクリメンタル学習アルゴリズムよりも優れているか、競争力がある。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: As generative AI image technologies become more widespread and advanced, there is a growing need for strong attribution models. These models are crucial for verifying the authenticity of images and identifying the architecture of their originating generative models-key to maintaining media integrity. However, attribution models struggle to generalize to unseen models, and traditional fine-tuning methods for updating these models have shown to be impractical in real-world settings. To address these challenges, we propose LoRA eXpandable Networks (LoRAX), a parameter-efficient class incremental algorithm that adapts to novel generative image models without the need for full retraining. Our approach trains an extremely parameter-efficient feature extractor per continual learning task via Low Rank Adaptation. Each task-specific feature extractor learns distinct features while only requiring a small fraction of the parameters present in the underlying feature extractor's backbone model. Our extensive experimentation shows LoRAX outperforms or remains competitive with state-of-the-art class incremental learning algorithms on the Continual Deepfake Detection benchmark across all training scenarios and memory settings, while requiring less than 3% of the number of trainable parameters per feature extractor compared to the full-rank implementation. LoRAX code is available at: https://github.com/mit-ll/lorax_cil.
- Abstract（参考訳）: 生成的AI画像技術が普及し、進歩するにつれ、強力な帰属モデルの必要性が高まっている。
これらのモデルは、画像の真正性を検証し、メディアの整合性を維持するために、生成モデルの起源となるアーキテクチャを識別するために重要である。
しかし、帰属モデルは目に見えないモデルへの一般化に苦慮し、これらのモデルを更新するための従来の微調整手法は現実の環境では実用的でないことが示されている。
これらの課題に対処するために,パラメータ効率の高いクラスインクリメンタルアルゴリズムであるLoRA eXpandable Networks (LoRAX)を提案する。
提案手法は,低ランク適応による連続学習タスク毎に,パラメータ効率が極めて高い特徴抽出器を訓練する。
各タスク固有の特徴抽出器は、基礎となる特徴抽出器のバックボーンモデルに存在するパラメータのごく一部しか必要とせず、異なる特徴を学習する。
大規模な実験により、LoRAXは、すべてのトレーニングシナリオとメモリ設定にわたって、最先端のインクリメンタルな学習アルゴリズムと競合し、かつ、フルランクの実装と比較して1機能抽出器あたりのトレーニング可能なパラメータの3%未満を必要としています。
LoRAXコードは、https://github.com/mit-ll/lorax_cil.comで入手できる。
関連論文リスト
- Recurrent Diffusion for Large-Scale Parameter Generation [52.98888368644455]
リカレント拡散(Recurrent Diffusion for Large Scale Generation)は、単一のGPU上で最大数億のニューラルネットワークパラメータを生成する新しいフレームワークである。
RPGはAI生成において重要な進歩であり、以前は不可能と考えられていたスケールでの効率的な重量生成を可能にする可能性がある。
論文 参考訳（メタデータ） (2025-01-20T16:46:26Z) - VELoRA: A Low-Rank Adaptation Approach for Efficient RGB-Event based Recognition [54.27379947727035]
本稿では,RGBイベントに基づく分類のために,事前学習した基盤視覚モデルに適応するための新しいPEFT戦略を提案する。
また、2重モードのフレーム差は、フレーム差バックボーンネットワークを介してモーションキューをキャプチャすると考えられている。
ソースコードと事前トレーニングされたモデルはurlhttps://github.com/Event-AHU/VELoRAでリリースされる。
論文 参考訳（メタデータ） (2024-12-28T07:38:23Z) - LoRA Unlearns More and Retains More (Student Abstract) [0.0]
PruneLoRAは、モデルに低ランクの更新を適用することで、大規模なパラメータ更新の必要性を減らす。
そこで我々はLoRAを利用してプルーンドモデルのパラメータのサブセットを選択的に修正し、計算コスト、メモリ要件を低減し、残りのクラスの性能を維持するモデルの能力を向上させる。
論文 参考訳（メタデータ） (2024-11-16T16:47:57Z) - In-Context LoRA for Diffusion Transformers [49.288489286276146]
テキスト・ツー・イメージのDiTは、チューニングなしでテキスト内生成を効果的に行うことができることを示す。
我々は、我々のモデル In-Context LoRA (IC-LoRA) を命名する。
我々のパイプラインは、プロンプトにより忠実な高忠実度画像セットを生成する。
論文 参考訳（メタデータ） (2024-10-31T09:45:00Z) - LoRA vs Full Fine-tuning: An Illusion of Equivalence [76.11938177294178]
本研究では, 異なる微調整法が, スペクトル特性のレンズを用いてモデルの重み行列を解析することにより, 事前学習モデルを変化させる方法について検討した。
単一値分解が全く異なる構造を持つ全微調整およびLoRA収量行列が得られた。
イントルーダ次元がLoRAの微調整モデルになぜ現れるのか、なぜそれらが望ましくないのか、そしてどのようにしてその効果を最小化できるかを検討することで結論を下す。
論文 参考訳（メタデータ） (2024-10-28T17:14:01Z) - Drama: Mamba-Enabled Model-Based Reinforcement Learning Is Sample and Parameter Efficient [9.519619751861333]
本稿では,SSM(State Space Model)ベースの世界モデルDramaを提案し,メモリと計算の複雑さを$O(n)$で実現した。
また, 早期のトレーニングにおいて, 誤った世界モデルによって引き起こされる準最適性を緩和する新しいサンプリング手法を提案する。
ドラマは、標準のラップトップのような市販のハードウェアでアクセス可能で、トレーニングできる。
論文 参考訳（メタデータ） (2024-10-11T15:10:40Z) - HyperDet: Generalizable Detection of Synthesized Images by Generating and Merging A Mixture of Hyper LoRAs [17.88153857572688]
我々はHyperDetと呼ばれる新しい、一般化可能な検出フレームワークを紹介した。
本研究では,画素とセマンティックアーティファクトを効果的にバランスさせる目的関数を提案する。
我々の研究は、事前訓練された大きな視覚モデルに基づいて、一般化可能なドメイン固有の偽画像検出器を確立する新しい方法である。
論文 参考訳（メタデータ） (2024-10-08T13:43:01Z) - Restore Anything Model via Efficient Degradation Adaptation [129.38475243424563]
RAMは、様々な劣化にまたがる固有の類似性を活用して、効率的で包括的な復元を可能にする統一された経路を取る。
RAMのSOTA性能はRAMのSOTA性能を確認し、トレーニング可能なパラメータで約82%、FLOPで約85%のモデルの複雑さを減少させる。
論文 参考訳（メタデータ） (2024-07-18T10:26:53Z) - Fine-tuning a Multiple Instance Learning Feature Extractor with Masked
Context Modelling and Knowledge Distillation [0.21756081703275998]
我々は,知識蒸留を用いたコンテキストモデリングを用いて特徴抽出モデルを微調整することにより,下流MIL分類を向上させることを提案する。
提案したタスクの1つのエポックは、MILシナリオで使用する場合の特徴抽出モデルの下流性能を向上させるのに十分であり、計算のごく一部を必要とする。
論文 参考訳（メタデータ） (2024-03-08T14:04:30Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳（メタデータ） (2024-02-07T13:41:53Z) - Chest X-Rays Image Classification from beta-Variational Autoencoders
Latent Features [0.0]
胸部X線(CXR)画像から情報を抽出するために,ディープラーニング(DL)技術を用いて検討し,解析する。
ラベル付きCXRイメージの公開コレクションとしては最大規模のCheXpertデータセット上で,いくつかのβ-Variational Autoencoder(beta-VAE)モデルをトレーニングした。
遅延機能は抽出され、他の機械学習モデルをトレーニングするために使用され、β-VAEによって抽出された特徴から元のイメージを分類することができる。
論文 参考訳（メタデータ） (2021-09-29T23:28:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。