論文の概要: MoST: Efficient Monarch Sparse Tuning for 3D Representation Learning

• arxiv url: http://arxiv.org/abs/2503.18368v1
• Date: Mon, 24 Mar 2025 06:05:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:37:51.534197
• Title: MoST: Efficient Monarch Sparse Tuning for 3D Representation Learning
• Title（参考訳）: MoST: 3次元表現学習のための効率的なモナールスパースチューニング
• Authors: Xu Han, Yuan Tang, Jinfeng Xu, Xianzhi Li,
• Abstract要約: 3次元表現学習に適した,最初のパラメータ化に基づくパラメータ効率細調整法であるMonarch Sparse Tuning (MoST)を紹介した。 MoSTは追加の推論オーバーヘッドを導入せず、多くの3D表現学習バックボーンと互換性がある。 我々は3次元点雲の局所的幾何学的特徴を捉えることができる3次元点雲の新たな構造行列群であるポイント・モナーク(Point Monarch)を提案する。
• 参考スコア（独自算出の注目度）: 19.6538452025804
• License:
• Abstract: We introduce Monarch Sparse Tuning (MoST), the first reparameterization-based parameter-efficient fine-tuning (PEFT) method tailored for 3D representation learning. Unlike existing adapter-based and prompt-tuning 3D PEFT methods, MoST introduces no additional inference overhead and is compatible with many 3D representation learning backbones. At its core, we present a new family of structured matrices for 3D point clouds, Point Monarch, which can capture local geometric features of irregular points while offering high expressiveness. MoST reparameterizes the dense update weight matrices as our sparse Point Monarch matrices, significantly reducing parameters while retaining strong performance. Experiments on various backbones show that MoST is simple, effective, and highly generalizable. It captures local features in point clouds, achieving state-of-the-art results on multiple benchmarks, e.g., 97.5% acc. on ScanObjectNN (PB_50_RS) and 96.2% on ModelNet40 classification, while it can also combine with other matrix decompositions (e.g., Low-rank, Kronecker) to further reduce parameters.
• Abstract（参考訳）: まず,3次元表現学習に適したパラメータ効率調整法であるMonarch Sparse Tuning(MoST)を紹介する。 既存のアダプタベースの3D PEFTメソッドとは異なり、MoSTは追加の推論オーバーヘッドを導入せず、多くの3D表現学習バックボーンと互換性がある。 中心となる3次元点雲のための構造行列であるポイントモナール(Point Monarch)について,高表現性を提供しながら不規則点の局所的幾何学的特徴を捉えることができる。 MoSTは、高密度更新重量行列をスパースポイントモナール行列として再パラメータ化し、高い性能を維持しながらパラメータを著しく削減する。 様々なバックボーンの実験により、MoSTは単純で効果的で、非常に一般化可能であることが示されている。 ポイントクラウド内のローカル機能をキャプチャし、複数のベンチマーク(例:97.5% cc)で最先端の結果を達成する。 ScanObjectNN (PB_50_RS) と ModelNet40 の分類では96.2% であり、他の行列分解 (例えば、ローランク、クローネッカー) と組み合わせてパラメータを減少させることもできる。

関連論文リスト

• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• Expanding Sparse Tuning for Low Memory Usage [103.43560327427647]
  メモリ使用量が少ないスパースチューニングのためのSNELL(Sparse tuning with kerNelized LoRA)法を提案する。 低メモリ使用量を達成するため、SNELLはスカラー化のための調整可能な行列を2つの学習可能な低ランク行列に分解する。 コンペティションに基づくスペーシフィケーション機構は、チューナブルウェイトインデックスの保存を避けるためにさらに提案される。
  論文  参考訳（メタデータ） (2024-11-04T04:58:20Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• Exploring Object-Centric Temporal Modeling for Efficient Multi-View 3D Object Detection [20.161887223481994]
  マルチビュー3Dオブジェクト検出のための長周期モデリングフレームワークStreamPETRを提案する。 StreamPETRは、単一フレームのベースラインと比較して、無視可能なコストでのみ、大幅なパフォーマンス向上を実現している。 軽量版は45.0%のmAPと31.7のFPSを実現し、2.3%のmAPと1.8倍の高速FPSを達成している。
  論文  参考訳（メタデータ） (2023-03-21T15:19:20Z)
• Monarch: Expressive Structured Matrices for Efficient and Accurate Training [64.6871423399431]
  大規模なニューラルネットワークは多くのドメインで優れているが、トレーニングや微調整は高価である。 計算やメモリ要件を減らすための一般的なアプローチは、重み付け行列を構造化行列に置き換えることである。 ハードウェア効率のよい行列(Monarch)のクラスを提案する。
  論文  参考訳（メタデータ） (2022-04-01T17:37:29Z)
• Dynamic Convolution for 3D Point Cloud Instance Segmentation [146.7971476424351]
  動的畳み込みに基づく3次元点雲からのインスタンスセグメンテーション手法を提案する。 我々は、同じ意味圏と閉投票を持つ等質点を幾何学的遠近点に対して収集する。 提案手法は提案不要であり、代わりに各インスタンスの空間的および意味的特性に適応する畳み込みプロセスを利用する。
  論文  参考訳（メタデータ） (2021-07-18T09:05:16Z)
• Learning Deformable Tetrahedral Meshes for 3D Reconstruction [78.0514377738632]
  学習に基づく3次元再構成に対応する3次元形状表現は、機械学習とコンピュータグラフィックスにおいてオープンな問題である。 ニューラル3D再構成に関するこれまでの研究は、利点だけでなく、ポイントクラウド、ボクセル、サーフェスメッシュ、暗黙の関数表現といった制限も示していた。 Deformable Tetrahedral Meshes (DefTet) を, ボリューム四面体メッシュを再構成問題に用いるパラメータ化として導入する。
  論文  参考訳（メタデータ） (2020-11-03T02:57:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。