論文の概要: IPA: An Information-Preserving Input Projection Framework for Efficient Foundation Model Adaptation

• arxiv url: http://arxiv.org/abs/2509.04398v1
• Date: Thu, 04 Sep 2025 17:10:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 20:21:10.229078
• Title: IPA: An Information-Preserving Input Projection Framework for Efficient Foundation Model Adaptation
• Title（参考訳）: IPA: 効率的なファンデーションモデル適応のための情報保存型入力投影フレームワーク
• Authors: Yuan Yin, Shashanka Venkataramanan, Tuan-Hung Vu, Andrei Bursuc, Matthieu Cord,
• Abstract要約: 隠れた空間の情報を明示的に保存する特徴認識型プロジェクションフレームワークであるIPAを提案する。 IPAはLoRAとDoRAを一貫して改善し、平均1.5ポイントの精度でコモンセンス推論を行う。
• 参考スコア（独自算出の注目度）: 56.72132739364876
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning (PEFT) methods, such as LoRA, reduce adaptation cost by injecting low-rank updates into pretrained weights. However, LoRA's down-projection is randomly initialized and data-agnostic, discarding potentially useful information. Prior analyses show that this projection changes little during training, while the up-projection carries most of the adaptation, making the random input compression a performance bottleneck. We propose IPA, a feature-aware projection framework that explicitly preserves information in the reduced hidden space. In the linear case, we instantiate IPA with algorithms approximating top principal components, enabling efficient projector pretraining with negligible inference overhead. Across language and vision benchmarks, IPA consistently improves over LoRA and DoRA, achieving on average 1.5 points higher accuracy on commonsense reasoning and 2.3 points on VTAB-1k, while matching full LoRA performance with roughly half the trainable parameters when the projection is frozen.
• Abstract（参考訳）: LoRAのようなパラメータ効率のよい微細チューニング(PEFT)手法は、事前訓練された重量に低ランク更新を注入することで適応コストを削減する。 しかし、LoRAのダウンプロジェクションはランダムに初期化され、データに依存しず、潜在的に有用な情報を捨てる。 事前分析では、このプロジェクションはトレーニング中にほとんど変化せず、アッププロジェクションは適応の大部分を担い、ランダムな入力圧縮はパフォーマンスボトルネックとなる。 隠れた空間の情報を明示的に保存する特徴認識型プロジェクションフレームワークであるIPAを提案する。 線形の場合、上位の主成分を近似したアルゴリズムでIPAをインスタンス化し、無視できない推論オーバーヘッドで効率的なプロジェクタ事前訓練を可能にする。 言語とビジョンのベンチマークで、IPAは一貫してLoRAとDoRAを上回り、VTAB-1kでは平均1.5ポイント、VTAB-1kでは2.3ポイントの精度を実現している。

関連論文リスト

• ConsNoTrainLoRA: Data-driven Weight Initialization of Low-rank Adapters using Constraints [64.35580479051208]
  以前の作品では、ローランクアダプタ (LoRA) はすべてのアタッチメントポイントに対してランダムに固定されたランクである。 本稿では,データ駆動重み初期化法を用いて,LoRAファインチューニングの収束性と最終性能を改善する。
  論文  参考訳（メタデータ） (2025-07-09T23:52:31Z)
• Fisher Information-based Efficient Curriculum Federated Learning with Large Language Models [43.26028399395612]
  本稿では,2つの新しい手法を用いたフィッシャー情報に基づく効率的なカリキュラムフェデレート学習フレームワーク(FibecFed)を提案する。 まず,各装置内のデータを適応的にサンプリングし,FL微調整プロセスの有効性を向上させるための漁師情報に基づく手法を提案する。 第2に,グローバルアグリゲーションのための適切なレイヤとLoRAによるローカル更新のためのスパースパラメータを動的に選択する。
  論文  参考訳（メタデータ） (2024-09-30T18:12:18Z)
• Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
  フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。 また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
  論文  参考訳（メタデータ） (2024-09-22T11:24:10Z)
• Flora: Low-Rank Adapters Are Secretly Gradient Compressors [30.224822087562163]
  低ランク適応(LoRA)は、少ないパラメータをトレーニングすることで最適化状態を低減するために提案される。 LoRAは全体の重量更新行列を低ランクに制限し、モデル性能を制限している。 本稿では,プロジェクション行列を再サンプリングすることで高階更新を実現する Flora を提案する。
  論文  参考訳（メタデータ） (2024-02-05T18:50:39Z)
• Run LoRA Run: Faster and Lighter LoRA Implementations [50.347242693025336]
  LoRAは、線形層に低ランクアダプタを導入することにより、ニューラルネットワーク内のトレーニング可能なパラメータの数を減らすテクニックである。 本稿では,LoRAの効率的な実装のためのRunLoRAフレームワークを提案する。 実験は、言語モデリングネットワーク上で最大28%のスピードアップを示す。
  論文  参考訳（メタデータ） (2023-12-06T10:54:34Z)
• AdaLoRA: Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning [143.23123791557245]
  下流タスクで訓練済みの大規模言語モデルを微調整することは、NLPにおいて重要なパラダイムとなっている。 重み行列のパラメータ予算をその重要度に応じて適応的に割り当てるAdaLoRAを提案する。 我々は,AdaLoRAの有効性を検証するために,自然言語処理,質問応答,自然言語生成に関する事前学習モデルを用いた広範囲な実験を行った。
  論文  参考訳（メタデータ） (2023-03-18T22:36:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。