Fugu-MT 論文翻訳(概要): Effective Fine-Tuning of Vision Transformers with Low-Rank Adaptation for Privacy-Preserving Image Classification

論文の概要: Effective Fine-Tuning of Vision Transformers with Low-Rank Adaptation for Privacy-Preserving Image Classification

arxiv url: http://arxiv.org/abs/2507.11943v1
Date: Wed, 16 Jul 2025 06:18:52 GMT
ステータス: 翻訳完了
システム内更新日: 2025-07-17 19:00:11.250938
Title: Effective Fine-Tuning of Vision Transformers with Low-Rank Adaptation for Privacy-Preserving Image Classification
Title（参考訳）: プライバシ保存画像分類のための低ランク適応型視覚変換器の効果的な微調整
Authors: Haiwei Lin, Shoko Imaizumi, Hitoshi Kiya,
Abstract要約: 本稿では,事前学習したViTモデル重みを効率的に凍結する,プライバシー保護型視覚変換器(ViT)モデルの低ランク適応法を提案する。提案手法により,トレーニング可能なパラメータの数を削減できるだけでなく,フルタイムチューニングとほぼ同等の精度を維持することができる。
参考スコア（独自算出の注目度）: 5.311735227179715
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We propose a low-rank adaptation method for training privacy-preserving vision transformer (ViT) models that efficiently freezes pre-trained ViT model weights. In the proposed method, trainable rank decomposition matrices are injected into each layer of the ViT architecture, and moreover, the patch embedding layer is not frozen, unlike in the case of the conventional low-rank adaptation methods. The proposed method allows us not only to reduce the number of trainable parameters but to also maintain almost the same accuracy as that of full-time tuning.
Abstract（参考訳）: 本稿では,事前学習したViTモデル重みを効率的に凍結する,プライバシー保護型視覚変換器(ViT)モデルの低ランク適応法を提案する。提案手法では, トレーニング可能な階数分解行列をViTアーキテクチャの各層に注入し, 従来の低ランク適応法とは異なり, パッチ埋め込み層は凍結しない。提案手法により,トレーニング可能なパラメータの数を削減できるだけでなく,フルタイムチューニングとほぼ同等の精度を維持することができる。

関連論文リスト

Transformed Low-rank Adaptation via Tensor Decomposition and Its Applications to Text-to-image Models [32.68721299475496]
Low-Rank Adaptation (LoRA)とその変種は、その有効性から大きな注目を集めている。本稿では,2種類の適応,すなわち変換と残留適応を組み合わせた新しいPEFT法を提案する。主観駆動・制御可能ジェネレーションにおける微調整安定拡散モデルの実験を行った。
論文参考訳（メタデータ） (2025-01-15T11:10:37Z)
Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
一般的な戦略である。事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
論文参考訳（メタデータ） (2024-10-30T12:08:30Z)
AdaRankGrad: Adaptive Gradient-Rank and Moments for Memory-Efficient LLMs Training and Fine-Tuning [9.51289606759621]
大規模言語モデル(LLM)の訓練と微調整には、メモリと計算要求に関する課題が伴う。低ランク適応(LoRA)など、これらの課題に対処する様々な技術が開発されている。トレーニングが進むにつれて、推定勾配のランクが徐々に低下する現象に着想を得た新しい手法を導入する。
論文参考訳（メタデータ） (2024-10-23T13:53:26Z)
SaRA: High-Efficient Diffusion Model Fine-tuning with Progressive Sparse Low-Rank Adaptation [52.6922833948127]
本研究では,事前学習した拡散モデルにおけるパラメータの重要性について検討する。本稿では,これらの非効率パラメータをフル活用するための新しいモデル微調整法を提案する。本手法は,下流アプリケーションにおける事前学習モデルの生成能力を向上する。
論文参考訳（メタデータ） (2024-09-10T16:44:47Z)
Spectrum-Aware Parameter Efficient Fine-Tuning for Diffusion Models [73.88009808326387]
生成モデルのための新しいスペクトル対応適応フレームワークを提案する。本手法は,事前学習した重みの特異値とその基底ベクトルを調節する。本稿では,計算効率と表現能力のバランスをとるスペクトルオーソ分解適応(SODA)を提案する。
論文参考訳（メタデータ） (2024-05-31T17:43:35Z)
AFLoRA: Adaptive Freezing of Low Rank Adaptation in Parameter Efficient Fine-Tuning of Large Models [5.981614673186146]
私たちは小説を提示する。 -PEFT(Adaptive Freezing of Low Rank Adaptation)法具体的には、トレーニング可能な低ランク行列の平行経路、すなわち、ダウンプロジェクションとアッププロジェクション行列を加え、それぞれに特徴変換ベクトルが続く。実験結果から,GLUEベンチマークで評価した結果,平均値0.85%以上の改善を達成できることが確認された。
論文参考訳（メタデータ） (2024-03-20T03:07:50Z)
Time-, Memory- and Parameter-Efficient Visual Adaptation [75.28557015773217]
バックボーンを介して勾配をバックプロパゲートしない適応法を提案する。凍結した、事前訓練されたバックボーンの機能を利用する軽量ネットワークを並列に設計することで、これを実現する。
論文参考訳（メタデータ） (2024-02-05T10:55:47Z)
Dynamic Layer Tying for Parameter-Efficient Transformers [65.268245109828]
トレーニング中にレイヤを選択し、それらを結びつけるために強化学習を採用しています。これにより、重量共有が容易になり、トレーニング可能なパラメータの数を減らし、効果的な正規化技術としても機能する。特に、トレーニング中のメモリ消費は、従来のトレーニング方法よりも1桁も少ない。
論文参考訳（メタデータ） (2024-01-23T14:53:20Z)
Sparse is Enough in Fine-tuning Pre-trained Large Language Models [98.46493578509039]
我々はSparse Increment Fine-Tuning (SIFT) という勾配に基づくスパース微調整アルゴリズムを提案する。 GLUE Benchmark や Instruction-tuning などのタスクで有効性を検証する。
論文参考訳（メタデータ） (2023-12-19T06:06:30Z)
Beyond Entropy: Style Transfer Guided Single Image Continual Test-Time Adaptation [1.6497679785422956]
BESTTAは,スタイル転送によって導かれる新しい単一画像連続テスト時間適応法である。我々は,BESTTAが連続的に変化するターゲット環境に効果的に適応できることを示し,単一の画像のみを活用する。注目すべきは、BeIN層で最小メモリを消費するパラメータが2つしかないにもかかわらず、BESTTAはパフォーマンス面で既存の最先端メソッドよりも優れていることだ。
論文参考訳（メタデータ） (2023-11-30T06:14:24Z)
Domain Adaptation for Efficiently Fine-tuning Vision Transformer with Encrypted Images [6.476298483207895]
視覚変換器(ViT)を用いた変換画像を用いたファインチューニングモデルを提案する。提案した領域適応法はモデルの劣化精度を損なわず,ViTの埋め込み構造に基づいて実施する。実験では,CIFAR-10とCIFAR-100データセットを用いた暗号化画像を用いても,精度の低下を防止できることを確認した。
論文参考訳（メタデータ） (2023-09-05T19:45:27Z)
GradViT: Gradient Inversion of Vision Transformers [83.54779732309653]
我々は,視力変換器(ViT)の勾配に基づく逆攻撃に対する脆弱性を実証する。自然に見える画像にランダムノイズを最適化するGradViTという手法を提案する。元の(隠された)データに対する前例のない高い忠実さと近接性を観察する。
論文参考訳（メタデータ） (2022-03-22T17:06:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。