論文の概要: NaRA: Noise-Aware LoRA for Parameter-Efficient Fine-Tuning of Diffusion LLMs
- arxiv url: http://arxiv.org/abs/2605.29716v1
- Date: Thu, 28 May 2026 10:13:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-30 02:45:56.17667
- Title: NaRA: Noise-Aware LoRA for Parameter-Efficient Fine-Tuning of Diffusion LLMs
- Title（参考訳）: NaRA:拡散LDMのパラメータ効率向上のためのノイズ対応LORA
- Authors: Shuaidi Wang, Zhan Zhuang, Ruping Huang, Yu Zhang,
- Abstract要約: 騒音対応低域適応(NaRA)
ノイズレベルを条件とした軽量でグローバルに共有されたハイパーネットワークによって生成される低ランクコア行列を導入したノイズ対応低ランク適応(NaRA)を提案する。
提案するNaRAフレームワークの理論的正当性を示し,コモンセンス推論,数理推論,コード生成ベンチマークによるノイズ非依存ベースラインに対する一貫した改善を実証的に示す。
- 参考スコア（独自算出の注目度）: 6.955984725234139
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Diffusion Large Language Models (dLLMs) have emerged as a promising non-autoregressive generative paradigm. Given the prohibitive computational cost of full fine-tuning, Parameter-Efficient Fine-Tuning (PEFT) has become the standard approach. However, existing PEFT methods (e.g., LoRA), originally tailored for autoregressive models, rely on static parameters that are agnostic to the noise level. Consequently, they ignore the intrinsic dynamics of the diffusion process, where input distributions and generation difficulty shift significantly along the denoising trajectory, rendering them suboptimal for dLLMs. To address this, we propose Noise-aware Low-Rank Adaptation (NaRA), which introduces a low-rank core matrix generated by a lightweight, globally shared hypernetwork conditioned on the noise level. This design enables the update matrices to vary continuously along the diffusion process while keeping parameter and latency overhead negligible. We provide a theoretical justification for the proposed NaRA framework and empirically demonstrate consistent improvements over noise-agnostic baselines across commonsense reasoning, mathematical reasoning, and code generation benchmarks. Our code is available at https://github.com/generaldi/NaRA.
- Abstract（参考訳）: 拡散大言語モデル(dLLM)は、将来性のある非自己回帰的生成パラダイムとして登場した。
完全微調整の禁止的な計算コストを考えると、パラメータ効率のよい微調整(PEFT)が標準的手法となっている。
しかし、従来のPEFT法(例えばLoRA)は、もともと自己回帰モデルに適したもので、ノイズレベルに依存しない静的パラメータに依存している。
その結果, 拡散過程の内在的ダイナミクスは無視され, 入力分布と生成困難はデノイング軌道に沿って大きく変化し, dLLM に準最適となる。
そこで我々は,ノイズレベルを条件とした軽量でグローバルに共有されたハイパーネットワークによって生成される低ランクコア行列を導入した,ノイズ対応低ランク適応(NaRA)を提案する。
この設計により、パラメータとレイテンシのオーバーヘッドを無視しながら、更新行列を拡散プロセスに沿って連続的に変更することができる。
提案するNaRAフレームワークの理論的正当性を示し,コモンセンス推論,数理推論,コード生成ベンチマークによるノイズ非依存ベースラインに対する一貫した改善を実証的に示す。
私たちのコードはhttps://github.com/ generaldi/NaRA.comで公開されています。
関連論文リスト
- SMoA: Spectrum Modulation Adapter for Parameter-Efficient Fine-Tuning [57.85676271833619]
低ランク適応 (LoRA) は、全パラメータの微調整をシミュレートするために低ランク更新法を用いる。
ランクが大きくなるにつれて、より主特異な方向が保存され、一般にモデルの性能が向上する。
textbfSpectrum textbfModulation textbfAdapterを提案する。
論文 参考訳（メタデータ） (2026-05-20T13:19:28Z) - Adaptive Guidance for Retrieval-Augmented Masked Diffusion Models [60.25003813232697]
本稿では,Masked Diffusion Models (MDMs) のトレーニング自由適応ガイダンスフレームワークとして,適応検索型Masked Diffusion (ARAM) を提案する。
ARAMは、検索した文脈によって誘導される分布シフトのSNR(Signal-to-Noise Ratio)に従って、雑音発生時の誘導スケールを校正する。
複数の知識集約型QAベンチマークの実験は、ARAMが競争力のあるRAGベースラインよりも全体的なQA性能を改善することを示している。
論文 参考訳（メタデータ） (2026-03-18T12:54:50Z) - Artificial Entanglement in the Fine-Tuning of Large Language Models [37.29231114531405]
大規模言語モデル(LLM)はパラメータ効率細調整(PEFT)手法を用いて新しいタスクに適応することができる。
本研究では、量子情報に触発された視点を用いて、その効果を理解する。
論文 参考訳（メタデータ） (2026-01-11T06:34:50Z) - Addressing prior dependence in hierarchical Bayesian modeling for PTA data analysis II: Noise and SGWB inference through parameter decorrelation [0.0]
PTA解析は、各パルサーに固定された均一ノイズを割り当てる。
ノイズ先行を高次ハイパーパラメータでパラメータ化する階層的ベイズモデリング戦略を採用する。
階層的処理によりノイズパラメータがより厳密に制約され,レッドノイズSGWB縮退が部分的に緩和されることが示唆された。
論文 参考訳（メタデータ） (2025-11-03T17:54:55Z) - Mitigating the Noise Shift for Denoising Generative Models via Noise Awareness Guidance [54.88271057438763]
ノイズアウェアネスガイダンス (NAG) は、事前に定義された騒音スケジュールと整合性を保つために、サンプリング軌道を明示的に制御する補正手法である。
NAGは一貫してノイズシフトを緩和し、主流拡散モデルの生成品質を大幅に改善する。
論文 参考訳（メタデータ） (2025-10-14T13:31:34Z) - HyperAdaLoRA: Accelerating LoRA Rank Allocation During Training via Hypernetworks without Sacrificing Performance [27.391727025825546]
Low-Rank Adaptation (LoRA)は、大規模言語モデルを微調整するための有望なアプローチとして登場した。
本稿では,ハイパーネットワークを活用してAdaLoRAの収束を促進する新しいフレームワークであるHyperAdaLoRAを提案する。
本手法は性能を犠牲にすることなく高速な収束を実現する。
論文 参考訳（メタデータ） (2025-10-03T00:15:59Z) - Noise-Level Diffusion Guidance: Well Begun is Half Done [9.745109820010601]
ノイズレベルガイダンス(NLG)は、単純で効率的で一般的なノイズレベル最適化手法である。
一般的な誘導との整合性を高めることにより、初期雑音を改善させる。
本手法は,拡散モデルに対する実用的でスケーラブルな拡張としてNLGを確立する。
論文 参考訳（メタデータ） (2025-09-17T13:05:59Z) - Noise Hypernetworks: Amortizing Test-Time Compute in Diffusion Models [57.49136894315871]
テストタイムスケーリングの新しいパラダイムは、推論モデルと生成視覚モデルにおいて驚くべきブレークスルーをもたらした。
本稿では,テスト時間スケーリングの知識をモデルに組み込むことの課題に対する1つの解決策を提案する。
拡散モデルにおいて、初期入力ノイズを変調するノイズハイパーネットワークにより、報酬誘導試験時間雑音の最適化を行う。
論文 参考訳（メタデータ） (2025-08-13T17:33:37Z) - DEeR: Deviation Eliminating and Noise Regulating for Privacy-preserving Federated Low-rank Adaptation [29.30782543513243]
我々は、UnderlineDeviation UnderlineEliminatingとNoisunderlinee Underline Regulating (DEeR)と呼ばれるプライバシー保護フェデレーションファインタニングフレームワークを提案する。
DeeRは、最先端のアプローチと比較して、公開医療データセットのパフォーマンスが向上していることを示す。
論文 参考訳（メタデータ） (2024-10-16T18:11:52Z) - LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。
よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。
本手法は,比較性能を維持しつつパラメータ数を削減できる。
論文 参考訳（メタデータ） (2024-10-05T06:59:50Z) - Shape Matters: Understanding the Implicit Bias of the Noise Covariance [76.54300276636982]
勾配降下のノイズはパラメータ化モデルに対するトレーニングにおいて重要な暗黙の正則化効果をもたらす。
ミニバッチやラベルの摂動によって引き起こされるパラメータ依存ノイズはガウスノイズよりもはるかに効果的であることを示す。
分析の結果,パラメータ依存ノイズは局所最小値に偏りを生じさせるが,球状ガウス雑音は生じないことがわかった。
論文 参考訳（メタデータ） (2020-06-15T18:31:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。