論文の概要: Group Orthogonal Low-Rank Adaptation for RGB-T Tracking

• arxiv url: http://arxiv.org/abs/2512.05359v1
• Date: Fri, 05 Dec 2025 01:54:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-13 22:40:56.863372
• Title: Group Orthogonal Low-Rank Adaptation for RGB-T Tracking
• Title（参考訳）: RGB-T追跡のための群直交低ランク適応
• Authors: Zekai Shao, Yufan Hu, Jingyuan Liu, Bin Fan, Hongmin Liu,
• Abstract要約: Group Orthogonal Low-Rank Adaptation (GOLA) framework for RGB-T tracking。 Group Orthogonal Low-Rank Adaptation (GOLA) framework for RGB-T tracking。
• 参考スコア（独自算出の注目度）: 28.296553095256048
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-efficient fine-tuning has emerged as a promising paradigm in RGB-T tracking, enabling downstream task adaptation by freezing pretrained parameters and fine-tuning only a small set of parameters. This set forms a rank space made up of multiple individual ranks, whose expressiveness directly shapes the model's adaptability. However, quantitative analysis reveals low-rank adaptation exhibits significant redundancy in the rank space, with many ranks contributing almost no practical information. This hinders the model's ability to learn more diverse knowledge to address the various challenges in RGB-T tracking. To address this issue, we propose the Group Orthogonal Low-Rank Adaptation (GOLA) framework for RGB-T tracking, which effectively leverages the rank space through structured parameter learning. Specifically, we adopt a rank decomposition partitioning strategy utilizing singular value decomposition to quantify rank importance, freeze crucial ranks to preserve the pretrained priors, and cluster the redundant ranks into groups to prepare for subsequent orthogonal constraints. We further design an inter-group orthogonal constraint strategy. This constraint enforces orthogonality between rank groups, compelling them to learn complementary features that target diverse challenges, thereby alleviating information redundancy. Experimental results demonstrate that GOLA effectively reduces parameter redundancy and enhances feature representation capabilities, significantly outperforming state-of-the-art methods across four benchmark datasets and validating its effectiveness in RGB-T tracking tasks.
• Abstract（参考訳）: パラメータ効率の良い微調整は、RGB-Tトラッキングにおいて有望なパラダイムとして現れており、事前訓練されたパラメータを凍結し、少数のパラメータのみを微調整することで、下流タスク適応を可能にする。 この集合は、複数の個々の階数からなる階数空間を形成し、その表現性はモデルの適応性を直接形作る。 しかし、定量分析により、ランク空間において低いランク適応が顕著な冗長性を示すことが明らかとなり、多くのランクが実用的な情報にはほとんど寄与しない。 これにより、RGB-Tトラッキングにおける様々な課題に対処するために、モデルがより多様な知識を学ぶ能力を妨げる。 この問題に対処するため,RGB-T追跡のためのGOLA(Group Orthogonal Low-Rank Adaptation)フレームワークを提案する。 具体的には、単値分解を利用した階調分解戦略を採用し、階調の重要度を定量化し、事前訓練された事前保存のために重要な階調を凍結し、冗長な階調をグループにまとめ、その後の直交制約に備える。 さらに、群間直交制約戦略を設計する。 この制約はランクグループ間の直交性を強制し、様々な課題をターゲットにした補完的な特徴を学習させ、情報の冗長性を緩和する。 実験の結果,GOLAはパラメータの冗長性を効果的に低減し,特徴表現能力を向上し,4つのベンチマークデータセットで最先端の手法を著しく上回り,RGB-Tトラッキングタスクの有効性を検証した。

関連論文リスト

• GRASP: GRouped Activation Shared Parameterization for Parameter-Efficient Fine-Tuning and Robust Inference of Transformers [12.475144734899674]
  我々は,選択したレイヤのD次元トークン表現をKDグループに分割する軽量PEFTフレームワークGRASPを紹介し,各グループに対して共有スケーリングおよびシフトベクトルを学習する。 決定論的値ではなく,事前学習した重みに対する摂動としてガウス分布を学習するStochGRASPを提案する。 様々なノイズレベルの下で、StochGRASPは決定論的変異を一貫して上回り、エネルギー効率とノイズを発生させるハードウェアプラットフォームに適していることを示した。
  論文  参考訳（メタデータ） (2025-12-03T22:17:05Z)
• Regularizing Subspace Redundancy of Low-Rank Adaptation [54.473090597164834]
  本稿では、マッピング部分空間間の冗長性を明示的にモデル化し、低ランク適応のサブスペース冗長性を適応的に正規化する手法であるReSoRAを提案する。 提案手法は、視覚言語検索や標準的な視覚分類ベンチマークにおいて、様々なバックボーンやデータセットにまたがる既存のPETL手法を一貫して促進する。 トレーニングの監督として、ReSoRAは追加の推論コストなしで、プラグイン・アンド・プレイ方式で既存のアプローチにシームレスに統合することができる。
  論文  参考訳（メタデータ） (2025-07-28T11:52:56Z)
• Efficient Federated Class-Incremental Learning of Pre-Trained Models via Task-agnostic Low-rank Residual Adaptation [22.454292668849035]
  Fed-TaLoRA(Federated Task-Agnostic Low-rank Residual Adaptation) 我々は,最小限のオーバーヘッドで正確な知識統合を実現するための,新たな残量更新機構を開発した。 我々の方法論的革新は,タスク非依存適応,ポストアグリゲーションモデル校正,LORAモジュールの戦略的配置の3つの主要な戦略に起因している。
  論文  参考訳（メタデータ） (2025-05-18T09:19:13Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Revised Regularization for Efficient Continual Learning through Correlation-Based Parameter Update in Bayesian Neural Networks [20.00857639162206]
  継続的な学習シナリオでは、各ステップにネットワークパラメータを格納して知識を保持することが課題となる。 KL発散リスクを考慮した変分推論による不確実なノード更新時の破滅的忘れ込み 本稿では,ストレージ要求を大幅に低減するパラメータ分布学習手法を提案する。
  論文  参考訳（メタデータ） (2024-11-21T15:11:02Z)
• Enhancing Robustness of Vision-Language Models through Orthogonality Learning and Self-Regularization [77.62516752323207]
  そこで本研究では,事前訓練した重みを効率よく微調整する直交微調整法を導入し,頑健さと一般化の強化を実現した。 自己正規化戦略は、OrthSRと呼ばれるVLMのゼロショット一般化の観点から安定性を維持するためにさらに活用される。 筆者らはCLIPとCoOpを再検討し,少数の画像のクラスフィシエーションシナリオにおけるモデルの改善を効果的に行う。
  論文  参考訳（メタデータ） (2024-07-11T10:35:53Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Modeling the Q-Diversity in a Min-max Play Game for Robust Optimization [61.39201891894024]
  群分布的ロバスト最適化(群 DRO)は、事前定義された群に対する最悪の損失を最小限にすることができる。 グループDROフレームワークをQ-Diversityを提案して再構築する。 インタラクティブなトレーニングモードによって特徴付けられるQ-Diversityは、アノテーションからグループ識別を緩和し、直接パラメータ化を行う。
  論文  参考訳（メタデータ） (2023-05-20T07:02:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。