論文の概要: Mining Attribute Subspaces for Efficient Fine-tuning of 3D Foundation Models

• arxiv url: http://arxiv.org/abs/2604.10095v1
• Date: Sat, 11 Apr 2026 08:33:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:15.83759
• Title: Mining Attribute Subspaces for Efficient Fine-tuning of 3D Foundation Models
• Title（参考訳）: 3次元ファウンデーションモデルの効率的な微調整のためのマイニング属性部分空間
• Authors: Yu Jiang, Hanwen Jiang, Ahmed Abdelkader, Wen-Sheng Chu, Brandon Y. Feng, Zhangyang Wang, Qixing Huang,
• Abstract要約: 制御された変動を伴う合成データセットを生成する頑健なアプローチを導入し、各データセットにLoRAアダプタを微調整し、各種類の変動に関連するLoRA部分空間を抽出する。 このような還元されたLoRA部分空間は、完全に合成データから導出されているにもかかわらず、実際のデータセットに一般化されることを示す。
• 参考スコア（独自算出の注目度）: 73.73784737382178
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: With the emergence of 3D foundation models, there is growing interest in fine-tuning them for downstream tasks, where LoRA is the dominant fine-tuning paradigm. As 3D datasets exhibit distinct variations in texture, geometry, camera motion, and lighting, there are interesting fundamental questions: 1) Are there LoRA subspaces associated with each type of variation? 2) Are these subspaces disentangled (i.e., orthogonal to each other)? 3) How do we compute them effectively? This paper provides answers to all these questions. We introduce a robust approach that generates synthetic datasets with controlled variations, fine-tunes a LoRA adapter on each dataset, and extracts a LoRA sub-space associated with each type of variation. We show that these subspaces are approximately disentangled. Integrating them leads to a reduced LoRA subspace that enables efficient LoRA fine-tuning with improved prediction accuracy for downstream tasks. In particular, we show that such a reduced LoRA subspace, despite being derived entirely from synthetic data, generalizes to real datasets. An ablation study validates the effectiveness of the choices in our approach.
• Abstract（参考訳）: 3Dファウンデーションモデルの出現に伴い、LoRAが支配的な微調整パラダイムである下流タスクのための微調整への関心が高まっている。 3Dデータセットはテクスチャ、幾何学、カメラの動き、照明のバリエーションが異なるため、興味深い根本的な疑問があります。 1) 各種類の変動に関連するLoRA部分空間は存在するか? 2)これらの部分空間は、互いに直交する(つまり、互いに直交する)か? 3)効果的に計算する方法? 本稿はこれらのすべての質問に対する回答を提供する。 制御された変動を伴う合成データセットを生成する頑健なアプローチを導入し、各データセットにLoRAアダプタを微調整し、各種類の変動に関連するLoRA部分空間を抽出する。 これらの部分空間は、ほぼ非絡み合っていることを示す。 それらを統合することで、ダウンストリームタスクの予測精度を改善した効率的なLoRA微調整を可能にするLoRAサブスペースが削減される。 特に、このようなLoRA部分空間の削減は、合成データから完全に派生したものの、実際のデータセットに一般化されることを示す。 アブレーション研究は、我々のアプローチにおける選択の有効性を検証する。

関連論文リスト

• Preference-Aligned LoRA Merging: Preserving Subspace Coverage and Addressing Directional Anisotropy [50.63908869296697]
  複数のローランド適応(LoRA)モジュールを統合することで汎用システムの構築が期待できる。 優先重み付きクロスエントロピー擬似空間を用いて重みを重み付けするTARA-Mergingを提案する。 8つのビジョンと6つのNLIベンチマークで、TARA-MergingはバニラとLoRA対応のベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-03-27T11:07:46Z)
• Not All LoRA Parameters Are Essential: Insights on Inference Necessity [36.65493658174926]
  そこで本研究では,各LoRA層がモデルの性能に与える影響について検討する。 本稿では,LoRAで微調整された大規模言語モデルの性能を向上させるための,シンプルで効果的な手法を提案する。
  論文  参考訳（メタデータ） (2025-03-30T08:33:04Z)
• BeamLoRA: Beam-Constraint Low-Rank Adaptation [51.52097743781401]
  Low-Rank Adaptation (LoRA) はパラメータ効率の良い微調整法として広く採用されている。 本研究では,各LoRAモジュールを,各ランクが潜在的サブソリューションに対応するビームとして概念化するビームロラを提案する。
  論文  参考訳（メタデータ） (2025-02-19T10:33:22Z)
• LoRA-One: One-Step Full Gradient Could Suffice for Fine-Tuning Large Language Models, Provably and Efficiently [10.843508549704959]
  本稿では,Low-Rank Adaptation (LoRA) を用いた大規模言語モデルを用いて,理論が実用的なアルゴリズムをガイドし,拡張する方法について検討する。 勾配降下の下では、LoRAアダプタは1ステップの完全な微調整勾配の特異部分空間と整列する。 本稿では, 線形収束を構築し, プリコンディショナーを取り入れた理論駆動型アルゴリズムLoRA-Oneを提案する。
  論文  参考訳（メタデータ） (2025-02-03T10:50:03Z)
• LoRA vs Full Fine-tuning: An Illusion of Equivalence [73.5303340531806]
  我々は,Low-Rank Adaptation (LoRA) とフルファインタニングによる事前学習モデルについて検討する。 特異値分解が全く異なる構造を示すLoRAおよび完全微調整収量行列が得られた。 我々は、LoRAが完全な微調整を忘れてはならないという発見を拡張し、その忘れ物は侵入者次元に大きく局所化されていることを発見した。
  論文  参考訳（メタデータ） (2024-10-28T17:14:01Z)
• NoRA: Nested Low-Rank Adaptation for Efficient Fine-Tuning Large Models [27.757883818520217]
  Nested Low-Rank Adaptation (NoRA) はパラメータ効率の良い微調整のための新しいアプローチである。 外部のLoRA重みを凍結し、内部のLoRA設計を使用することで、NORAはコンパクトなパラメータ空間で正確なタスク適応を可能にする。
  論文  参考訳（メタデータ） (2024-08-18T12:18:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。