論文の概要: HypeLoRA: Hyper-Network-Generated LoRA Adapters for Calibrated Language Model Fine-Tuning

• arxiv url: http://arxiv.org/abs/2603.19278v2
• Date: Sun, 29 Mar 2026 14:35:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-06 02:36:12.827317
• Title: HypeLoRA: Hyper-Network-Generated LoRA Adapters for Calibrated Language Model Fine-Tuning
• Title（参考訳）: HypeLoRA: キャリブレーション言語モデルファインチューニングのためのハイパーネットワーク生成LoRAアダプタ
• Authors: Bartosz Trojan, Filip Gębala,
• Abstract要約: 現代のトランスフォーマーベースのモデルは、しばしば誤校正に悩まされ、真の経験周波数を反映しない自信過剰な予測を生み出す。 本研究は,LoRAのキャリブレーション・ダイナミクスであるローランド適応と,新しいハイパーネットワーク・アダプティブ・フレームワークについて検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern Transformer-based models frequently suffer from miscalibration, producing overconfident predictions that do not reflect true empirical frequencies. This work investigates the calibration dynamics of LoRA: Low-Rank Adaptation and a novel hyper-network-based adaptation framework as parameter-efficient alternatives to full fine-tuning for RoBERTa. Evaluating across the GLUE benchmark, we demonstrate that LoRA-based adaptation consistently achieves calibration parity with (and in specific tasks exceeds) full fine-tuning, while maintaining significantly higher parameter efficiency. We further explore a dynamic approach where a shared hyper-network generates LoRA factors (A and B matrices) to induce structural coupling across layers. This approach produced results similar to standard LoRA fine-tuning, even achieving better MCC on CoLA dataset. Our study also reveal a critical trade-off: constraining the adaptation space (e.g., freezing matrices A) acts as a powerful regularizer that enhances Expected Calibration Error (ECE), but necessitates a carefully balanced sacrifice in downstream task accuracy. To support future research, we provide a unified and reproducible implementation of contemporary calibration metrics, including ECE, MCE, and ACE. Our findings clarify the relationship between parameter efficiency and probabilistic reliability, positioning structured low-rank updates as a viable foundation for uncertainty-aware Transformer architectures. Code available at: https://github.com/btrojan-official/HypeLoRA
• Abstract（参考訳）: 現代のトランスフォーマーベースのモデルは、しばしば誤校正に悩まされ、真の経験周波数を反映しない自信過剰な予測を生み出す。 本稿では,RoBERTaの完全微調整に代わるパラメータ効率の代替として,ローランク適応と新しいハイパーネットワークベースの適応フレームワークのキャリブレーションダイナミクスについて検討する。 GLUEベンチマークで評価したところ、LoRAベースの適応は、パラメータ効率を著しく高く保ちながら、完全な微調整(および特定のタスクにおいて)でキャリブレーションパリティを一定に達成できることが示されている。 さらに,共有ハイパーネットワークがLoRA因子(AおよびB行列)を生成し,層間構造結合を誘導する動的アプローチについても検討する。 このアプローチは標準のLoRAファインチューニングと同じような結果をもたらし、CoLAデータセット上でより優れたMCCを実現した。 適応空間(例えば、凍結行列A)の制約は、期待校正誤差(ECE)を高める強力な正則化器として機能するが、下流タスク精度では注意深くバランスのとれた犠牲が必要である。 今後の研究を支援するため,ECE,MCE,ACEなどの現代校正指標の統一的かつ再現可能な実装を提供する。 その結果,パラメータ効率と確率的信頼性の関係を解明し,不確実性を考慮したトランスフォーマーアーキテクチャの基盤として低ランク更新を位置づけた。 https://github.com/btrojan-official/HypeLoRA

関連論文リスト

• Curvature-Guided LoRA: Steering in the pretrained NTK subspace [60.35296431630704]
  本稿では,PEFTを用いて得られた予測器と,出力レベルにおける完全微調整の予測器との整合性を考慮した予測アライメント問題を提案する。 我々は、この目的が自然に、ニュートンのような、曲率ホワイトの勾配に対応する最適な低ランク更新を行う、曲率対応の2階定式化につながることを示した。 この知見に基づいて、局所曲率情報を用いて適応方向を選択し、スケールする曲率誘導LoRA(CG-LoRA)を提案する。
  論文  参考訳（メタデータ） (2026-03-31T14:46:39Z)
• Stabilized Fine-Tuning with LoRA in Federated Learning: Mitigating the Side Effect of Client Size and Rank via the Scaling Factor [8.51407618718798]
  プライバシ制約がフェデレーション学習(FL)を必要とする分散シナリオでは、ローランド適応(LoRA)の統合は不安定であることが多い。 本稿では,アダプタランクとフェデレートアグリゲーションの相互作用を理論的に特徴付けるフレームワークである安定化フェデレートロラ(SFed-LoRA)を紹介する。 SFed-LoRAは高階崩壊を防止し,安定性を著しく向上し,より高速な収束を実現することを実証した。
  論文  参考訳（メタデータ） (2026-03-09T07:49:56Z)
• Merging Beyond: Streaming LLM Updates via Activation-Guided Rotations [55.047454145941366]
  Streaming Mergingは、反復最適化プロセスとしてマージを概念化する革新的なモデル更新パラダイムである。 ARMは勾配勾配勾配のダイナミクスを近似するために設計された戦略である。 ARMは初期のSFTチェックポイントしか必要とせず、反復的なマージによって完全に収束したSFTモデルを上回る。
  論文  参考訳（メタデータ） (2026-02-03T08:15:57Z)
• Parameter-Efficient Fine-Tuning for HAR: Integrating LoRA and QLoRA into Transformer Models [0.2939891130492345]
  低ランク適応(LoRA)と量子化LoRA(Quantized LoRA)は、人間の活動認識のためのフルモデル微調整に代わるスケーラブルな代替手段として検討されている。 LoRAは限られた監督下でも堅牢な性能を維持している。 QLoRAは、量子化によって凍結重量のメモリフットプリントを削減することで、これらの利点を拡張している。
  論文  参考訳（メタデータ） (2025-12-19T14:12:43Z)
• Retrieval is Not Enough: Enhancing RAG Reasoning through Test-Time Critique and Optimization [58.390885294401066]
  Retrieval-augmented Generation (RAG) は知識基底型大規模言語モデル(LLM)を実現するためのパラダイムとして広く採用されている。 RAGパイプラインは、モデル推論が得られた証拠と整合性を維持するのに失敗することが多く、事実上の矛盾や否定的な結論につながる。 批判駆動アライメント(CDA)に基づく新しい反復的枠組みであるAlignRAGを提案する。 AlignRAG-autoは、動的に洗練を終了し、批判的な反復回数を事前に指定する必要がなくなる自律的な変種である。
  論文  参考訳（メタデータ） (2025-04-21T04:56:47Z)
• C-LoRA: Continual Low-Rank Adaptation for Pre-trained Models [26.560293264523903]
  Low-Rank Adaptation (LoRA) は、自然言語処理やコンピュータビジョンなどの分野で広く応用されている効率的な微調整手法である。 連続学習のためのLoRAの新たな拡張である連続低ランク適応(C-LoRA)を提案する。 C-LoRAは学習可能なルーティングマトリックスを使用して、タスク間のパラメータ更新を動的に管理する。
  論文  参考訳（メタデータ） (2025-02-25T07:35:36Z)
• Dynamic Adaptation of LoRA Fine-Tuning for Efficient and Task-Specific Optimization of Large Language Models [0.7421845364041001]
  本稿では,大規模言語モデル-動的LoRAのためのファインチューニング手法を提案する。 効率と性能を改善するために動的適応機構を追加します。 動的LoRAの効率は、ベンチマークデータセットの実験で検証された。
  論文  参考訳（メタデータ） (2025-01-24T18:54:14Z)
• Replay-Free Continual Low-Rank Adaptation with Dynamic Memory [62.85596937435928]
  我々は、事前学習された視覚変換器(ViT)が、時間とともに新しい下流タスクを逐次微調整できる連続学習を再考する。 近年の研究では、CL技術とパラメータ効率の良い微調整の交差が強調されている。 DualLoRA (Dual Low-Rank Adaptation) と呼ばれる新しいPEFT-CL法を提案する。
  論文  参考訳（メタデータ） (2024-11-01T14:28:39Z)
• Less is More: Extreme Gradient Boost Rank-1 Adaption for Efficient Finetuning of LLMs [75.11449420928139]
  微調整型大規模言語モデル(LLM)は、訓練済みモデルを下流タスクに適応させる上で重要な技術となっている。 Low-Rank Adaptation (LoRA) は有望な解決法として登場したが、低ランク適応の実用性能と理論的最適性の間にはギャップがある。 本稿では,このギャップを埋める新しいフレームワークであるeXtreme Gradient Boosting LoRAを提案する。
  論文  参考訳（メタデータ） (2024-10-25T17:07:13Z)
• Randomized Asymmetric Chain of LoRA: The First Meaningful Theoretical Framework for Low-Rank Adaptation [58.288682735160585]
  Low-Rank Adaptation (LoRA) は、ファインチューニングモデルの一般的なテクニックである。 LoRAは、フルパラメータの微調整と比較すると、しばしば実行されます。 本稿では,LoRA手法の適応率を厳密に分析するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-10T18:51:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。