論文の概要: PVeRA: Probabilistic Vector-Based Random Matrix Adaptation

• arxiv url: http://arxiv.org/abs/2512.07703v1
• Date: Mon, 08 Dec 2025 16:50:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-09 22:03:54.966857
• Title: PVeRA: Probabilistic Vector-Based Random Matrix Adaptation
• Title（参考訳）: PVeRA:確率ベクトルに基づくランダム行列適応
• Authors: Leo Fillioux, Enzo Ferrante, Paul-Henry Cournède, Maria Vakalopoulou, Stergios Christodoulidis,
• Abstract要約: 本稿では、VeRAアダプタの確率バージョンであるPVeRAを提案し、VeRAの低ランク行列を確率的に修正する。 VTAB-1kベンチマークと7つのアダプタで総合的な評価を行い、PVeRAはVeRAと他のアダプタを上回った。
• 参考スコア（独自算出の注目度）: 6.460933909139705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large foundation models have emerged in the last years and are pushing performance boundaries for a variety of tasks. Training or even finetuning such models demands vast datasets and computational resources, which are often scarce and costly. Adaptation methods provide a computationally efficient solution to address these limitations by allowing such models to be finetuned on small amounts of data and computing power. This is achieved by appending new trainable modules to frozen backbones with only a fraction of the trainable parameters and fitting only these modules on novel tasks. Recently, the VeRA adapter was shown to excel in parameter-efficient adaptations by utilizing a pair of frozen random low-rank matrices shared across all layers. In this paper, we propose PVeRA, a probabilistic version of the VeRA adapter, which modifies the low-rank matrices of VeRA in a probabilistic manner. This modification naturally allows handling inherent ambiguities in the input and allows for different sampling configurations during training and testing. A comprehensive evaluation was performed on the VTAB-1k benchmark and seven adapters, with PVeRA outperforming VeRA and other adapters. Our code for training models with PVeRA and benchmarking all adapters is available https://github.com/leofillioux/pvera.
• Abstract（参考訳）: 大規模な基盤モデルはここ数年で登場し、さまざまなタスクのパフォーマンス境界を押し上げています。 このようなモデルのトレーニングや微調整には膨大なデータセットと計算資源が必要で、しばしば不足してコストがかかる。 適応法は、そのようなモデルを少量のデータと計算能力で微調整することで、これらの制限に対処する計算効率の良いソリューションを提供する。 これは、トレーニング可能なパラメータのほんの一握りの冷凍バックボーンに新しいトレーニング可能なモジュールを追加し、これらのモジュールのみを新しいタスクに適合させることによって達成される。 近年,VeRAアダプタは,全層で共有される一対の凍結ランダム低ランク行列を利用して,パラメータ効率に優れた適応性を示した。 本稿では,VeRAアダプタの確率バージョンであるPVeRAを提案する。 この修正により、入力に固有の曖昧さを自然に扱えるようになり、トレーニングやテスト中に異なるサンプリング設定ができるようになる。 VTAB-1kベンチマークと7つのアダプタで総合的な評価を行い、PVeRAはVeRAと他のアダプタを上回った。 PVeRAでモデルをトレーニングし、すべてのアダプタをベンチマークするためのコードはhttps://github.com/leofillioux/pvera.comで利用可能です。

関連論文リスト

• PHLoRA: data-free Post-hoc Low-Rank Adapter extraction from full-rank checkpoint [3.5840378192062956]
  我々は、フルランク微調整モデルから低ランク適応アダプタを抽出する簡易かつ強力なPHLoRAを提案する。 アダプタを明示的に訓練する以前の作業とは異なり、我々のアプローチはアダプタ生成から微調整を分離する。 Amazon Novaモデルファミリを用いたテキスト、画像、ビデオのベンチマーク実験では、抽出されたアダプタは、フルウェイトデルタから高エネルギーを保ち、安全に刈り取ることができ、再マージ時に下流タスクのパフォーマンスが無視できる劣化をもたらすことが示されている。
  論文  参考訳（メタデータ） (2025-09-13T20:13:58Z)
• PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
  ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。 事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。 そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
  論文  参考訳（メタデータ） (2025-04-22T16:41:21Z)
• Efficient Adaptation of Pre-trained Vision Transformer via Householder Transformation [53.88562288388169]
  一般的な戦略である。 事前訓練された視覚変換器(ViT)のPEFT(Efficient Fine-Tuning)は、下流タスクにモデルを適応させる。 適応行列を表現するために,Singular Value Decomposition (SVD) にインスパイアされた新しいPEFT手法を提案する。 SVDは行列を左ユニタリ行列、スケーリング値の対角行列、右ユニタリ行列の積に分解する。
  論文  参考訳（メタデータ） (2024-10-30T12:08:30Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Adaptive Adapter Routing for Long-Tailed Class-Incremental Learning [55.384428765798496]
  新しいデータは、Eコマースプラットフォームレビューのような、長期にわたる流通を示す。 これは、忘れずに不均衡なデータを連続的なモデルで学習する必要がある。 LTCILの例として,AdaPtive Adapter Routing (APART) を提案する。
  論文  参考訳（メタデータ） (2024-09-11T17:52:00Z)
• Test-Time Model Adaptation with Only Forward Passes [68.11784295706995]
  テストタイム適応は、トレーニング済みのモデルを、潜在的に分布シフトのある未確認テストサンプルに適応させるのに有効であることが証明されている。 テスト時間フォワード最適化適応法(FOA)を提案する。 FOAは量子化された8ビットのViTで動作し、32ビットのViTで勾配ベースのTENTより優れ、ImageNet-Cで最大24倍のメモリ削減を実現する。
  論文  参考訳（メタデータ） (2024-04-02T05:34:33Z)
• ConvLoRA and AdaBN based Domain Adaptation via Self-Training [4.006331916849688]
  マルチターゲットドメイン適応のための畳み込み低ランク適応(ConvLoRA)を提案する。 ConvLoRAはトレーニング済みのモデルウェイトを凍結し、畳み込み層にトレーニング可能な低ランク分解行列を追加し、勾配をバックプロパゲートする。 提案手法はトレーニング可能なパラメータを少なくし,大規模独立微調整ネットワークと同等あるいは同等に動作する。
  論文  参考訳（メタデータ） (2024-02-07T15:43:50Z)
• VeRA: Vector-based Random Matrix Adaptation [29.99581464596137]
  本稿では,Vectorをベースとしたランダム行列適応(Random Matrix Adaptation, VeRA)を提案する。 GLUE と E2E ベンチマーク、画像分類タスクでの有効性を示し、7B と 13B の言語モデルの命令チューニングへの応用を示す。
  論文  参考訳（メタデータ） (2023-10-17T17:59:46Z)
• NOLA: Compressing LoRA using Linear Combination of Random Basis [22.76088132446952]
  我々は、ロラに存在するランク1の下界を克服するNOLAを導入する。 NOLAは、ランク1のLoRAと比較してパラメータ数がはるかに少ないLoRAモデルと同様に、最高の圧縮LoRAをアーカイブできる。
  論文  参考訳（メタデータ） (2023-10-04T03:30:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。