論文の概要: Amortized Bayesian Meta-Learning for Low-Rank Adaptation of Large Language Models

• arxiv url: http://arxiv.org/abs/2508.14285v1
• Date: Tue, 19 Aug 2025 21:57:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-21 16:52:41.27968
• Title: Amortized Bayesian Meta-Learning for Low-Rank Adaptation of Large Language Models
• Title（参考訳）: 大規模言語モデルの低ランク適応のための記憶型ベイズメタラーニング
• Authors: Liyi Zhang, Jake Snell, Thomas L. Griffiths,
• Abstract要約: 低ランク適応(LoRA)を用いた微調整型大規模言語モデルは、特定のデータセットから情報を組み込むためのコスト効率のよい方法である。 微調整 LLM がいかに一般化するか、すなわち、目に見えないデータセット上でどれだけうまく機能するかは、しばしば不明である。 我々は,大規模モデルへの一般化とスケールを改善するために,LoRA (ABMLL) のためのアモータライズベイズメタラーニングを提案する。
• 参考スコア（独自算出の注目度）: 7.075648770762989
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning large language models (LLMs) with low-rank adaptaion (LoRA) is a cost-effective way to incorporate information from a specific dataset. However, it is often unclear how well the fine-tuned LLM will generalize, i.e., how well it will perform on unseen datasets. Methods have been proposed to improve generalization by optimizing with in-context prompts, or by using meta-learning to fine-tune LLMs. However, these methods are expensive in memory and computation, requiring either long-context prompts or saving copies of parameters and using second-order gradient updates. To address these challenges, we propose Amortized Bayesian Meta-Learning for LoRA (ABMLL). This method builds on amortized Bayesian meta-learning for smaller models, adapting this approach to LLMs while maintaining its computational efficiency. We reframe task-specific and global parameters in the context of LoRA and use a set of new hyperparameters to balance reconstruction accuracy and the fidelity of task-specific parameters to the global ones. ABMLL provides effective generalization and scales to large models such as Llama3-8B. Furthermore, as a result of using a Bayesian framework, ABMLL provides improved uncertainty quantification. We test ABMLL on Unified-QA and CrossFit datasets and find that it outperforms existing methods on these benchmarks in terms of both accuracy and expected calibration error.
• Abstract（参考訳）: 低ランク適応 (LoRA) を用いた細調整大型言語モデル (LLM) は、特定のデータセットから情報を組み込むためのコスト効率のよい方法である。 しかし、微調整 LLM がどれだけうまく一般化するか、すなわち、目に見えないデータセット上でどれだけうまく機能するかは、しばしば不明である。 テキスト内プロンプトを最適化したり、メタラーニングを用いてLLMを微調整することで一般化を改善する手法が提案されている。 しかし、これらの手法はメモリと計算に高価であり、長いコンテキストのプロンプトかパラメータのコピーを保存し、二階勾配更新を使用する必要がある。 これらの課題に対処するために,LoRA (ABMLL) のためのアモーティズドベイズメタラーニングを提案する。 この手法は、より小さなモデルに対する償却ベイズメタラーニングに基づいて構築され、計算効率を保ちながら、このアプローチをLLMに適用する。 タスク固有パラメータとグローバルパラメータをLoRAのコンテキストで再設定し、新しいハイパーパラメータを用いて、タスク固有パラメータとグローバルパラメータとの整合性をバランスさせる。 ABMLLはLlama3-8Bのような大型モデルに効果的な一般化とスケールを提供する。 さらに、ベイズフレームワークを使用した結果、AMMLLは不確実性の定量化を改善した。 We test ABMLL on Unified-QA and CrossFit datasets and found it is outperforms existing method on these benchmarks with both accuracy and expected calibration error。

関連論文リスト

• LLM Unlearning using Gradient Ratio-Based Influence Estimation and Noise Injection [0.0]
  既存の経験的手法は、ローカライゼーションが不十分なため、不完全な忘れ物や意図しない無関係な知識の劣化をもたらすことが多い。 GRINは、忘れデータの記憶に最も寄与するパラメータを特定するための、勾配比に基づく新しい指標を導入した。 そして、微調整の前にこれらのパラメータに選択的ノイズ注入を行い、モデルユーティリティを維持しながら学習性能を向上させる。
  論文  参考訳（メタデータ） (2025-08-08T17:15:32Z)
• Ravan: Multi-Head Low-Rank Adaptation for Federated Fine-Tuning [16.99490636203893]
  パラメータ効率とモデル表現率のバランスをとる適応型マルチヘッドLoRA法であるtextscRavanを提案する。 ビジョンと言語ベンチマークの実験では、textscRavanは以前のパラメータ効率の基準線よりも2-8%精度が向上している。
  論文  参考訳（メタデータ） (2025-06-05T20:28:02Z)
• MSPLoRA: A Multi-Scale Pyramid Low-Rank Adaptation for Efficient Model Fine-Tuning [5.412348391086257]
  我々は,グローバル共有ロラ,ミッドレベル共有ロラ,レイヤ特化ロラを導入して,グローバルパターン,中間レベル特徴,きめ細かい情報をキャプチャするMPPLoRAを提案する。 様々なNLPタスクの実験により、MPPLoRAはトレーニング可能なパラメータの数を著しく減らしながら、より効率的な適応とより良い性能を実現することが示された。
  論文  参考訳（メタデータ） (2025-03-27T07:01:50Z)
• Rethinking Data: Towards Better Performing Domain-Specific Small Language Models [0.0]
  本稿では,小言語モデル(LM)の微調整について述べる。 LMトレーニングパイプラインの各段階でのデータ品質を改善することで、これを実現する。 我々は、異なるデータサブセット上の異なるパラメータで微調整されたモデルをマージすることで、モデル一般化能力を向上させる。
  論文  参考訳（メタデータ） (2025-03-03T12:19:12Z)
• Adaptive Pruning for Large Language Models with Structural Importance Awareness [66.2690963378878]
  大規模言語モデル(LLM)は言語理解と生成能力を大幅に改善した。 LLMは、高い計算およびストレージリソース要求のため、リソース制約のあるエッジデバイスにデプロイするのは難しい。 モデル性能を維持しつつ,計算コストとメモリコストを大幅に削減する構造的適応型プルーニング(SAAP)を提案する。
  論文  参考訳（メタデータ） (2024-12-19T18:08:04Z)
• HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
  LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。 本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。 テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
  論文  参考訳（メタデータ） (2024-11-10T19:59:54Z)
• Bypass Back-propagation: Optimization-based Structural Pruning for Large Language Models via Policy Gradient [57.9629676017527]
  本研究では,プルーンドモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する最適化に基づく構造的プルーニングを提案する。 我々は、基底となるベルヌーイ分布をサンプルのバイナリ・プルーニングマスクに学習することでこれを実現する。 LLaMA, LLaMA-2, LLaMA-3, Vicuna, Mistral モデルによる実験により, 本手法の有効性と有効性を示すことができた。
  論文  参考訳（メタデータ） (2024-06-15T09:31:03Z)
• One Token Can Help! Learning Scalable and Pluggable Virtual Tokens for Retrieval-Augmented Large Language Models [67.49462724595445]
  Retrieval-augmented Generation (RAG)は、大規模言語モデル(LLM)を改善するための有望な方法である。 本稿では,RAGのためのスケーラブルでプラガブルな仮想トークンを学習する新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-05-30T03:44:54Z)
• Scaling Sparse Fine-Tuning to Large Language Models [67.59697720719672]
  大きな言語モデル(LLM)は、パラメータの数が多いため、完全な微調整が難しい。 本研究では,パラメータの配列とパラメータのデルタを事前学習した値に対して保持する新しいスパース微調整法SpIELを提案する。 提案手法は,LoRAのようなパラメータ効率の高い微調整法よりも性能が優れ,実行時間も同等であることを示す。
  論文  参考訳（メタデータ） (2024-01-29T18:43:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。