論文の概要: Compressing Vision Transformers in Geospatial Transfer Learning with Manifold-Constrained Optimization

• arxiv url: http://arxiv.org/abs/2601.08882v1
• Date: Mon, 12 Jan 2026 18:41:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-15 18:59:20.122967
• Title: Compressing Vision Transformers in Geospatial Transfer Learning with Manifold-Constrained Optimization
• Title（参考訳）: Manifold-Constrained Optimization を用いた地理空間移動学習における圧縮型視覚変換器
• Authors: Thomas Snyder, H. Lexie Yang, Stefan Schnake, Steffen Schotthöfer,
• Abstract要約: 多様体制約付き最適化フレームワークDLRTを用いて、大規模視覚変換器に基づく地理空間基盤モデルを圧縮する。 提案手法は,ローラン法として市販の低ランク法よりも優れることを示す。
• 参考スコア（独自算出の注目度）: 2.181585878579637
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deploying geospatial foundation models on resource-constrained edge devices demands compact architectures that maintain high downstream performance. However, their large parameter counts and the accuracy loss often induced by compression limit practical adoption. In this work, we leverage manifold-constrained optimization framework DLRT to compress large vision transformer-based geospatial foundation models during transfer learning. By enforcing structured low-dimensional parameterizations aligned with downstream objectives, this approach achieves strong compression while preserving task-specific accuracy. We show that the method outperforms of-the-shelf low-rank methods as LoRA. Experiments on diverse geospatial benchmarks confirm substantial parameter reduction with minimal accuracy loss, enabling high-performing, on-device geospatial models.
• Abstract（参考訳）: リソース制約のあるエッジデバイスに地理空間基盤モデルを配置するには、下流のパフォーマンスを維持するためのコンパクトなアーキテクチャが必要である。 しかし、その大きなパラメータ数と、圧縮によってしばしば引き起こされる精度損失は、実用的な適用を制限している。 本研究では,移動学習における大規模視覚変換器に基づく地理空間基盤モデルを圧縮するために,多様体制約付き最適化フレームワークDLRTを利用する。 下流の目的に整合した構造的低次元パラメータ化を行うことにより,タスク固有の精度を維持しつつ,強い圧縮を実現する。 提案手法は,ローラン法として市販の低ランク法よりも優れることを示す。 多様な地理空間ベンチマークの実験により、精度の低下を最小限に抑え、高性能でデバイス上の地理空間モデルを実現することができる。

関連論文リスト

• Rethinking Autoregressive Models for Lossless Image Compression via Hierarchical Parallelism and Progressive Adaptation [75.58269386927076]
  自己回帰(AR)モデルは、しばしば計算コストの禁止のために非現実的に除外される。 この研究は、階層的並列性とプログレッシブ適応に基づくフレームワークを導入して、このパラダイムを再考する。 各種データセット(自然,衛星,医療)の実験により,本手法が新たな最先端圧縮を実現することを確認した。
  論文  参考訳（メタデータ） (2025-11-14T06:27:58Z)
• On Information Geometry and Iterative Optimization in Model Compression: Operator Factorization [5.952537659103525]
  我々は、多くのモデル圧縮手法が、この射影に対する情報分岐を暗黙的に近似するものとして理解することができると論じる。 ソフトランク制約を受けるニューラルネットワークのトレーニングにおける反復特異値しきい値の収束性を証明する。
  論文  参考訳（メタデータ） (2025-07-12T23:39:14Z)
• FLAT-LLM: Fine-grained Low-rank Activation Space Transformation for Large Language Model Compression [15.784158079414235]
  FLAT-LLMは、アクティベーション空間の微細な低ランク変換に基づく、トレーニング不要な構造圧縮手法である。 回復微調整なしで効率よく効果的な重量圧縮を実現し、数分でキャリブレーションを完了できる。
  論文  参考訳（メタデータ） (2025-05-29T19:42:35Z)
• Choose Your Model Size: Any Compression of Large Language Models Without Re-Computation [10.376875638696504]
  本研究は, 圧縮性能トレードオフを決定するアルゴリズム手法であるACIP (Any Compression via Iterative Pruning) を提案する。 線形層をSVDで再パラメータ化し,その特異値をスペーサ性誘導ペナルティで反復的にプルーする。 本稿では,ACIPが共通量子化に基づく圧縮手法をシームレスに補完することを示す。
  論文  参考訳（メタデータ） (2025-02-03T18:40:58Z)
• Sparse Gradient Compression for Fine-Tuning Large Language Models [58.44973963468691]
  ダウンストリームタスクのための微調整された大型言語モデル(LLM)は、広く利用されていることと、オープンソースモデルの利用が増加しているために、ますます重要になっている。 微調整に伴う高メモリコストは、特にモデルのサイズが大きくなるにつれて大きな課題である。 これらの制約に対処するためにスパース圧縮勾配(SGC)を提案する。
  論文  参考訳（メタデータ） (2025-02-01T04:18:28Z)
• Language Models as Zero-shot Lossless Gradient Compressors: Towards General Neural Parameter Prior Models [56.00251589760559]
  大型言語モデル(LLM)はゼロショット設定でグラデーション先行として振る舞うことができる。 本稿では,LSMと算術符号を統合する新しい手法であるLM-GCを紹介する。 実験により、LM-GCは既存の最先端のロスレス圧縮手法を超越していることが示された。
  論文  参考訳（メタデータ） (2024-09-26T13:38:33Z)
• Efficient Micro-Structured Weight Unification and Pruning for Neural Network Compression [56.83861738731913]
  ディープニューラルネットワーク(DNN)モデルは、特にリソース制限されたデバイスにおいて、実用的なアプリケーションに不可欠である。 既往の非構造的あるいは構造化された重量刈り法は、推論を真に加速することはほとんど不可能である。 ハードウェア互換のマイクロ構造レベルでの一般化された重み統一フレームワークを提案し,高い圧縮と加速度を実現する。
  論文  参考訳（メタデータ） (2021-06-15T17:22:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。