Fugu-MT 論文翻訳(概要): Parameter-Efficient Fine-Tuning for HAR: Integrating LoRA and QLoRA into Transformer Models

論文の概要: Parameter-Efficient Fine-Tuning for HAR: Integrating LoRA and QLoRA into Transformer Models

arxiv url: http://arxiv.org/abs/2512.17983v1
Date: Fri, 19 Dec 2025 14:12:43 GMT
ステータス: 翻訳完了
システム内更新日: 2025-12-23 18:54:32.137394
Title: Parameter-Efficient Fine-Tuning for HAR: Integrating LoRA and QLoRA into Transformer Models
Title（参考訳）: HARのためのパラメータ効率の良い微調整:LoRAとQLoRAを変換器モデルに統合する
Authors: Irina Seregina, Philippe Lalanda, German Vega,
Abstract要約: 低ランク適応(LoRA)と量子化LoRA(Quantized LoRA)は、人間の活動認識のためのフルモデル微調整に代わるスケーラブルな代替手段として検討されている。 LoRAは限られた監督下でも堅牢な性能を維持している。 QLoRAは、量子化によって凍結重量のメモリフットプリントを削減することで、これらの利点を拡張している。
参考スコア（独自算出の注目度）: 0.2939891130492345
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Human Activity Recognition is a foundational task in pervasive computing. While recent advances in self-supervised learning and transformer-based architectures have significantly improved HAR performance, adapting large pretrained models to new domains remains a practical challenge due to limited computational resources on target devices. This papers investigates parameter-efficient fine-tuning techniques, specifically Low-Rank Adaptation (LoRA) and Quantized LoRA, as scalable alternatives to full model fine-tuning for HAR. We propose an adaptation framework built upon a Masked Autoencoder backbone and evaluate its performance under a Leave-One-Dataset-Out validation protocol across five open HAR datasets. Our experiments demonstrate that both LoRA and QLoRA can match the recognition performance of full fine-tuning while significantly reducing the number of trainable parameters, memory usage, and training time. Further analyses reveal that LoRA maintains robust performance even under limited supervision and that the adapter rank provides a controllable trade-off between accuracy and efficiency. QLoRA extends these benefits by reducing the memory footprint of frozen weights through quantization, with minimal impact on classification quality.
Abstract（参考訳）: 人間の活動認識は、広汎なコンピューティングにおける基礎的なタスクである。近年の自己教師型学習とトランスフォーマーベースアーキテクチャの進歩はHARの性能を大幅に向上させたが、ターゲットデバイス上の限られた計算資源のため、大きな事前訓練されたモデルを新しいドメインに適用することは現実的な課題である。本稿では,パラメータ効率のよい微調整技術,特にローランド適応(LoRA)と量子化LoRAを,HARのフルモデル微調整に代わるスケーラブルな代替手段として検討する。我々は,Masked Autoencoderのバックボーン上に構築された適応フレームワークを提案し,その性能を5つのオープンHARデータセットにまたがるLeave-One-Dataset-Out検証プロトコルで評価する。実験の結果、LoRAとQLoRAは、トレーニング可能なパラメータ数、メモリ使用量、トレーニング時間を大幅に削減しつつ、フル微調整の認識性能に適合できることがわかった。さらなる分析により、LoRAは限られた監督下でも堅牢な性能を維持し、アダプタランクは精度と効率のトレードオフを制御可能であることが明らかになった。 QLoRAは、量子化によって凍結重量のメモリフットプリントを減らし、分類品質に最小限の影響を与えることにより、これらの利点を拡張している。

関連論文リスト

A Sensitivity-Driven Expert Allocation Method in LoRA-MoE for Efficient Fine-Tuning [0.6906005491572401]
パラメータ感度のLoRA-SMoEに基づいて専門家数を割当てる手法を提案する。実験の結果,LoRA-SMoE手法はトレーニング可能なパラメータの数を減らしながらモデル性能を向上させることができることがわかった。
論文参考訳（メタデータ） (2025-05-06T13:22:46Z)
PointLoRA: Low-Rank Adaptation with Token Selection for Point Cloud Learning [54.99373314906667]
ポイントクラウドのための自己教師付き表現学習は、様々なタスクで事前訓練されたモデルパフォーマンスを改善する効果を実証した。事前訓練されたモデルは複雑さが増すにつれて、下流のアプリケーションに完全に微調整を施すには、かなりの計算資源とストレージ資源が必要である。そこで我々は,低ランク適応(LoRA)とマルチスケールトークン選択を併用した簡易かつ効果的なPointLoRAを提案する。
論文参考訳（メタデータ） (2025-04-22T16:41:21Z)
MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning [5.412348391086257]
我々は,グローバル共有ロラ,ミッドレベル共有ロラ,レイヤ特化ロラを導入して,グローバルパターン,中間レベル特徴,きめ細かい情報をキャプチャするMPPLoRAを提案する。様々なNLPタスクの実験により、MPPLoRAはトレーニング可能なパラメータの数を著しく減らしながら、より効率的な適応とより良い性能を実現することが示された。
論文参考訳（メタデータ） (2025-03-27T07:01:50Z)
RandLoRA: Full-rank parameter-efficient fine-tuning of large models [46.25124374446935]
Low-Rank Adaptation (LoRA)とその変種は、大きなトランスフォーマーネットワークのトレーニング可能なパラメータとメモリ要求の数を削減した。ウェイト更新の低ランクの性質は、本質的に微調整されたモデルの表現力を制限している。本稿では、低ランクで非学習可能なランダム行列の線形結合を用いて、フルランク更新を行うRandLoRAを提案する。
論文参考訳（メタデータ） (2025-02-03T01:59:45Z)
GeLoRA: Geometric Adaptive Ranks For Efficient LoRA Fine-tuning [2.7446241148152253]
微調整された大言語モデル(LLM)は、全てのパラメータを更新する必要があるため、計算集約的である。 Low-Rank Adaptation (LoRA)は、重みのサブセットだけを変更することで効率を向上するが、表現性と計算コストのトレードオフをもたらす。隠れ状態表現の内在的次元を計算し,LoRAランクを適応的に選択する新しいフレームワークGeLoRAを提案する。
論文参考訳（メタデータ） (2024-12-12T13:04:54Z)
Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
論文参考訳（メタデータ） (2024-11-01T14:28:39Z)
Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
論文参考訳（メタデータ） (2024-10-25T17:07:13Z)
Flat-LoRA: Low-Rank Adaptation over a Flat Loss Landscape [52.98187034726091]
フルパラメータ空間の平坦領域に位置する低ランク適応を同定することを目的としたFlat-LoRAを提案する。また、Flat-LoRAはドメイン内とドメイン外の両方の一般化を改善していることを示す。
論文参考訳（メタデータ） (2024-09-22T11:24:10Z)
MoRA: High-Rank Updating for Parameter-Efficient Fine-Tuning [105.11844150736536]
低ランク適応は、大規模言語モデルのためのパラメータ効率の良い微調整法として人気がある。トレーニング可能なパラメータ数を同じ数に保ちながら、高階更新を実現するために2乗行列を用いるMoRAと呼ばれる新しい手法を提案する。本手法はメモリ集約型タスクではLoRAより優れ,他のタスクでは同等のパフォーマンスを実現している。
論文参考訳（メタデータ） (2024-05-20T15:48:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。