論文の概要: OrthoGeoLoRA: Geometric Parameter-Efficient Fine-Tuning for Structured Social Science Concept Retrieval on theWeb
- arxiv url: http://arxiv.org/abs/2601.09185v1
- Date: Wed, 14 Jan 2026 05:34:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-01-15 18:59:20.286387
- Title: OrthoGeoLoRA: Geometric Parameter-Efficient Fine-Tuning for Structured Social Science Concept Retrieval on theWeb
- Title（参考訳）: OrthoGeoLoRA:Web上の構造化社会科学概念検索のための幾何学的パラメータ効率の良いファインチューニング
- Authors: Zeqiang Wang, Xinyue Wu, Chenxi Li, Zixi Chen, Nishanth Sastry, Jon Johnson, Suparna De,
- Abstract要約: 完全な微調整は計算的かつエネルギー集約的であり、Web4Goodエコシステム内の小さな機関や非営利団体では禁止される可能性がある。
そこでOrthoGeoLoRA を導入し,SVD のような形式を$W = BAtop$ とする。
また,ヨーロッパ言語社会科学シソーラスの階層的概念検索のためのベンチマークも提案する。
- 参考スコア（独自算出の注目度）: 12.336681589267167
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models and text encoders increasingly power web-based information systems in the social sciences, including digital libraries, data catalogues, and search interfaces used by researchers, policymakers, and civil society. Full fine-tuning is often computationally and energy intensive, which can be prohibitive for smaller institutions and non-profit organizations in the Web4Good ecosystem. Parameter-Efficient Fine-Tuning (PEFT), especially Low-Rank Adaptation (LoRA), reduces this cost by updating only a small number of parameters. We show that the standard LoRA update $ΔW = BA^\top$ has geometric drawbacks: gauge freedom, scale ambiguity, and a tendency toward rank collapse. We introduce OrthoGeoLoRA, which enforces an SVD-like form $ΔW = BΣA^\top$ by constraining the low-rank factors to be orthogonal (Stiefel manifold). A geometric reparameterization implements this constraint while remaining compatible with standard optimizers such as Adam and existing fine-tuning pipelines. We also propose a benchmark for hierarchical concept retrieval over the European Language Social Science Thesaurus (ELSST), widely used to organize social science resources in digital repositories. Experiments with a multilingual sentence encoder show that OrthoGeoLoRA outperforms standard LoRA and several strong PEFT variants on ranking metrics under the same low-rank budget, offering a more compute- and parameter-efficient path to adapt foundation models in resource-constrained settings.
- Abstract（参考訳）: 大規模な言語モデルとテキストエンコーダは、デジタルライブラリー、データカタログ、研究者、政策立案者、市民社会が使用する検索インターフェースを含む、社会科学におけるウェブベースの情報システムにますます力を入れている。
完全な微調整は計算的かつエネルギー集約的であり、Web4Goodエコシステム内の小さな機関や非営利団体では禁止される可能性がある。
パラメータ効率の良いファインチューニング(PEFT)、特にローランド適応(LoRA)は、少数のパラメータを更新するだけでコストを削減できる。
標準の LoRA update $ΔW = BA^\top$ には幾何的な欠点がある。
そこでOrthoGeoLoRA を導入し,SVD のような形式を $ΔW = BΣA^\top$ とする。
幾何学的パラメータ化は、Adamや既存の微調整パイプラインのような標準オプティマイザとの互換性を維持しながら、この制約を実装している。
また,電子レポジトリにおける社会科学資源の組織化に広く用いられているELSST(European Language Social Science Thesaurus)の階層的概念検索のためのベンチマークを提案する。
多言語文エンコーダを用いた実験では、OrthoGeoLoRAは、同じ低ランクの予算の下で標準のLoRAやいくつかの強力なPEFTの指標よりも優れており、リソース制約された設定で基礎モデルに適応するためのより計算効率の良いパスを提供する。
関連論文リスト
- GeoRA: Geometry-Aware Low-Rank Adaptation for RLVR [10.820638016337869]
RL更新部分空間の異方性と圧縮性を利用したGeoRAを提案する。
GeoRAは、幾何学的ミスアライメントによる最適化ボトルネックを緩和する。
主要な数学ベンチマークで確立された低ランクのベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2026-01-14T10:41:34Z) - High-Rank Structured Modulation for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
textbfStructured textbfMOdulation textbfAdapterは、より高いランクを維持しながらトレーニング可能なパラメータを少なくする。
論文 参考訳（メタデータ） (2026-01-12T13:06:17Z) - TuckA: Hierarchical Compact Tensor Experts for Efficient Fine-Tuning [83.93651411533533]
4つのキー特性を持つTucker Adaptation(TuckA)を導入する。
我々は,ルータのパラメータサイズを$L$の係数で削減する,効率的なバッチレベルルーティング機構を開発した。
自然言語理解、画像分類、数学的推論におけるベンチマーク実験は、TuckAの有効性を物語っている。
論文 参考訳（メタデータ） (2025-11-10T09:03:16Z) - StelLA: Subspace Learning in Low-rank Adaptation using Stiefel Manifold [51.93627542334909]
低ランク適応(LoRA)は大規模事前訓練モデルのパラメータ効率向上手法として広く採用されている。
3要素分解$U!SVtop$を使用するLoRAの幾何学的拡張を提案する。
論文 参考訳（メタデータ） (2025-10-02T11:59:13Z) - From LLMs to Edge: Parameter-Efficient Fine-Tuning on Edge Devices [3.4233698915405544]
本稿では,資源制約されたエッジ環境に通常デプロイされる畳み込みアーキテクチャのPEFT手法をベンチマークし,解析する。
評価されたPEFT法は, 深部分離可能な畳み込みアーキテクチャに適用した場合, メモリ効率が半減することがわかった。
論文 参考訳（メタデータ） (2025-07-31T13:23:21Z) - MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning [5.412348391086257]
我々は,グローバル共有ロラ,ミッドレベル共有ロラ,レイヤ特化ロラを導入して,グローバルパターン,中間レベル特徴,きめ細かい情報をキャプチャするMPPLoRAを提案する。
様々なNLPタスクの実験により、MPPLoRAはトレーニング可能なパラメータの数を著しく減らしながら、より効率的な適応とより良い性能を実現することが示された。
論文 参考訳（メタデータ） (2025-03-27T07:01:50Z) - Riemannian Preconditioned LoRA for Fine-Tuning Foundation Models [45.72323731094864]
Low-Rank Adaptation (LoRA) は、パラメータ効率のよい微細チューニング(PEFT)法として人気がある。
本研究では,各勾配ステップに$r倍r$プレコンディショナーを導入することにより,LoRAトレーニングの強化について検討する。
論文 参考訳（メタデータ） (2024-02-04T05:05:43Z) - Robust Training of Neural Networks using Scale Invariant Architectures [70.67803417918854]
SGDとは対照的に、Adamのような適応勾配法は、現代のディープネットワークの堅牢なトレーニングを可能にする。
この一般的なアプローチは、パラメータと損失の再スケーリングに頑健であることを示す。
我々は、単にバニラSGDで訓練された場合、Adamのような適応的な手法で訓練されたBERTに匹敵する性能を達成する、SIBERTと呼ばれるスケール不変バージョンのBERTを設計する。
論文 参考訳（メタデータ） (2022-02-02T11:58:56Z) - LoRA: Low-Rank Adaptation of Large Language Models [71.75808607987281]
Low-Rank Adaptation (LoRA)はトレーニング済みモデルの重みを凍結し、トレーニング可能な階数分解をTransformerアーキテクチャの各層に注入する。
GPT-3では、LoRAはトレーニング可能なパラメータの数を1万倍に減らし、計算ハードウェアの要求をフル微調整の3倍に削減できる。
論文 参考訳（メタデータ） (2021-06-17T17:37:18Z) - GradInit: Learning to Initialize Neural Networks for Stable and
Efficient Training [59.160154997555956]
ニューラルネットワークを初期化するための自動化およびアーキテクチャ手法であるgradinitを提案する。
各ネットワーク層の分散は、SGDまたはAdamの単一ステップが最小の損失値をもたらすように調整される。
また、学習率のウォームアップを伴わずに、オリジナルのPost-LN Transformerを機械翻訳用にトレーニングすることもできる。
論文 参考訳（メタデータ） (2021-02-16T11:45:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。