論文の概要: Queryable LoRA: Instruction-Regularized Routing Over Shared Low-Rank Update Atoms

• arxiv url: http://arxiv.org/abs/2605.08423v1
• Date: Fri, 08 May 2026 19:32:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.632938
• Title: Queryable LoRA: Instruction-Regularized Routing Over Shared Low-Rank Update Atoms
• Title（参考訳）: Queryable LoRA: 共有低ランク更新Atom上での命令規則化ルーティング
• Authors: Omatharv Bharat Vaidya, Connor T. Jerzak, Nhat Ho, Chandrajit Bajaj,
• Abstract要約: 本稿では,大規模ニューラルネットワークのパラメータ効率向上のためのデータ適応手法を提案する。 我々のアプローチは、純粋なレイヤローカルアダプタを低ランク更新原子の共有クエリ可能なメモリに置き換える。
• 参考スコア（独自算出の注目度）: 41.71279032037811
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present a data-adaptive method for parameter-efficient fine-tuning of large neural networks. Standard low-rank adaptation methods improve efficiency by restricting each layer update to a fixed low-rank form, but this static parameterization can be too rigid when the appropriate correction depends on the input and on the evolving depth-wise computation of the network. Our approach replaces a purely layer-local adapter with a shared queryable memory of low-rank update atoms. For each block of layers, the model forms a query from the current low-rank state and a running summary of previous blocks, uses this query to retrieve a content-dependent combination of shared update components via attention, and applies the resulting routed operator within the low-rank bottleneck. In this way, the method retains the efficiency and scalability of low-rank adaptation while allowing the effective update to vary across inputs and to share reusable structure across layers. The resulting architecture provides a principled middle ground between static LoRA-style updates and fully generated parameter updates: it remains compact and parameter-efficient while supporting dynamic, context-sensitive adaptation. Further, we incorporate instruction-regularization by augmenting routing logits with a language-induced prior over update atoms, thereby biasing the selection of low-rank transformations toward semantically relevant directions without generating unconstrained parameter updates. Experiments on noisy non-linear regression tasks and LLM fine-tuning suggest that this queryable update-memory formulation can improve final test performance and training stability compared to standard low-rank adaptation, while using a comparable number of trainable parameters.
• Abstract（参考訳）: 本稿では,大規模ニューラルネットワークのパラメータ効率向上のためのデータ適応手法を提案する。 標準の低ランク適応法は、各レイヤの更新を固定された低ランク形式に制限することで効率を向上するが、この静的パラメータ化は、適切な修正が入力に依存する場合やネットワークの深度ワイド計算に依存する場合、厳密すぎる可能性がある。 我々のアプローチは、純粋なレイヤローカルアダプタを低ランク更新原子の共有クエリ可能なメモリに置き換える。 各レイヤブロックに対して、モデルが現在のローランク状態からのクエリと以前のブロックの実行サマリーを生成し、このクエリを使用して、共有更新コンポーネントのコンテンツ依存の組み合わせを注意して検索し、結果として得られたルーティングされた演算子をローランクボトルネックに当てはめます。 このようにして、この手法は低ランク適応の効率とスケーラビリティを維持しつつ、効果的な更新を入力毎に変更し、レイヤ間で再利用可能な構造を共有することができる。 結果として得られたアーキテクチャは、静的なLoRAスタイルの更新と完全に生成されたパラメータの更新の間に、原則化された中間層を提供する。 さらに、命令規則化を、言語によって引き起こされた事前更新原子によるルーティングロジットを増大させることにより、制約のないパラメータ更新を発生させることなく、意味的に関連する方向へのローランク変換の選択をバイアスする。 ノイズの多い非線形回帰タスクとLLM微調整の実験から、このクエリ可能な更新メモリの定式化は、トレーニング可能なパラメータの数に匹敵する数を使いながら、通常の低ランク適応よりも最終的なテスト性能とトレーニングの安定性を向上させることが示唆されている。

関連論文リスト

• Scalable Hyperparameter-Divergent Ensemble Training with Automatic Learning Rate Exploration for Large Models [8.687019807776881]
  データ並列勾配勾配による大規模ニューラルネットワークのトレーニングでは、NGPUレプリカを割り当てて、効果的に同一の更新を計算する。 本稿では,これらのレプリカを同時学習率設定のオーバヘッドに再利用する手法を提案する。 さらに,レプリカ間の相対的トレーニング損失を性能信号として扱う自動学習率(autoLR)コントローラを提案する。
  論文  参考訳（メタデータ） (2026-04-27T17:17:28Z)
• Efficient Continual Learning in Neural Machine Translation: A Low-Rank Adaptation Approach [0.4870012761464388]
  ニューラルネットワーク翻訳(NMT)における継続的な学習は、破滅的な忘れ込みと、再訓練の計算コストの増大という2つの課題に直面している。 本研究は,これらの課題に対処するためのパラメータ効率の高いフレームワークとしてローランド適応(LoRA)を確立する。
  論文  参考訳（メタデータ） (2025-12-10T18:37:57Z)
• TsqLoRA: Towards Sensitivity and Quality Low-Rank Adaptation for Efficient Fine-Tuning [8.738094135297786]
  ダウンストリームタスクのための微調整済みの大規模な事前学習モデルは、計算コストが高く、メモリ集約的である。 TsqLoRAは、データ品質駆動選択と感度認識低ランク適応を統合した新しい手法である。 実験の結果、TsqLoRAは様々なNLPタスクの性能を維持したり改善したりしながら、微調整効率を向上することが示された。
  論文  参考訳（メタデータ） (2025-09-23T03:10:41Z)
• Neural Network Training via Stochastic Alternating Minimization with Trainable Step Sizes [3.246129789918632]
  ディープニューラルネットワークのトレーニングは本質的に非最適化問題である。 勾配降下(SGD)のような標準的なアプローチでは、パラメータを同時に更新する必要がある。 そこで本研究では,SAMTを用いた列車最小化手法を提案する。 SAMTは、最先端のメソッドに比べて、パラメータ更新が少なく、パフォーマンスが向上する。
  論文  参考訳（メタデータ） (2025-08-06T08:23:38Z)
• PVBF: A Framework for Mitigating Parameter Variation Imbalance in Online Continual Learning [19.18078967631654]
  オンライン連続学習(OCL)は、AIシステムが非定常データストリームから適応的に学習できるようにする。 本稿では,パラメータ変動の不均衡をERベースOCLの予測バイアスに寄与する重要な要因として挙げる。
  論文  参考訳（メタデータ） (2025-02-25T02:56:42Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• LoRTA: Low Rank Tensor Adaptation of Large Language Models [70.32218116940393]
  Low Rank Adaptation (LoRA) は、PEFT (Efficient Fine Tuning) 法として人気がある。 よりコンパクトで柔軟な表現を可能にする高階Candecomp/Parafac(CP)分解を提案する。 本手法は,比較性能を維持しつつパラメータ数を削減できる。
  論文  参考訳（メタデータ） (2024-10-05T06:59:50Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。