論文の概要: SCALE-LoRA: Auditing Post-Retrieval LoRA Composition with Residual Merging and View Reliability

• arxiv url: http://arxiv.org/abs/2605.01429v1
• Date: Sat, 02 May 2026 13:00:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-05 20:33:49.768445
• Title: SCALE-LoRA: Auditing Post-Retrieval LoRA Composition with Residual Merging and View Reliability
• Title（参考訳）: SCALE-LoRA: 残留マージとビュー信頼性を備えた検索後LoRA構成監査
• Authors: Shuaipeng Zhou, Yu Zhang,
• Abstract要約: 低ランク適応(LoRA)アダプタはパラメータ効率適応の実用的な副産物になりつつある。 オープンプール LoRA 再利用のための監査・構成フレームワークである Sparse-Composition Agreement Layer (SCALE) を導入する。 実験項目では,詳細なスコア,ペア監査,パスコスト記録が報告されている。
• 参考スコア（独自算出の注目度）: 2.9388795721577328
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Libraries of Low-Rank Adaptation (LoRA) adapters are becoming a practical by-product of parameter-efficient adaptation. Once such adapters accumulate, a natural question is no longer how to train one adapter for one task, but how to reuse an open pool of adapters for a new task given only a small support set. Prior work has shown that LoRA modules can be composed at the task level and dynamically selected at the instance level. However, open-pool LoRA reuse is not automatic: retrieving relevant adapters does not guarantee that their parameter updates are compatible, and composing adapters does not guarantee reliable outputs. We introduce the Sparse-Composition Agreement Layer (SCALE), a post-retrieval audit and composition framework for open-pool LoRA reuse. SCALE contains a deployable 1.0* merge path, Layer-Adaptive Sparse Residual Composition (LASRC), and a higher-cost reliability-analysis layer for multi-view disagreement. LASRC addresses merge interference by preserving a linear anchor while residualizing block-wise adapter update directions. The reliability layer treats disagreement among sparse composition views as an observable uncertainty signal and compares agreement, support-loss proxy selection, and oracle headroom under explicit path cost. In matched FLAN-T5-Large, BIG-Bench Hard (BBH), and 97-LoRA experiments, LASRC gives a directional single-view gain under fixed retrieval, while SCALE-support is reported as a query-label-free 3.0* reliability-analysis variant rather than as a calibrated or throughput-equivalent selector. Protocol-distinct BBH-8 validation shows the same qualitative trend on three decoder-only backbones. Detailed scores, paired audits, and path-cost records are reported in the experimental section.
• Abstract（参考訳）: 低ランク適応(LoRA)アダプタのライブラリは、パラメータ効率適応の実用的な副産物になりつつある。 このようなアダプタが蓄積されると、自然な疑問は、ひとつのタスクに対してひとつのアダプタをトレーニングする方法ではなく、小さなサポートセットだけを与えられた新しいタスクに対して、アダプタのオープンプールを再利用する方法である。 以前の研究によると、LoRAモジュールはタスクレベルで構成でき、インスタンスレベルで動的に選択できる。 しかし、オープンプールのLoRAの再利用は自動ではない。関連するアダプタの検索は、パラメータの更新が互換性があることを保証せず、アダプタを構成することは、信頼できる出力を保証しない。 オープンプール LoRA 再利用のための監査・構成フレームワークである Sparse-Composition Agreement Layer (SCALE) を導入する。 SCALEにはデプロイ可能な1.0*マージパス、Layer-Adaptive Sparse Residual Composition (LASRC)、マルチビューの不一致のための高コスト信頼性分析レイヤが含まれている。 LASRCは、ブロックワイドアダプタ更新方向を残留させながら線形アンカーを保存することで、マージ干渉に対処する。 信頼性層は、スパース構成ビュー間の不一致を観測可能な不確実性信号として扱い、明示的なパスコストで、合意、サポートロスプロキシ選択、およびオラクルヘッドルームを比較する。 FLAN-T5-Large、BIG-Bench Hard(BBH)、97-LoRAの実験では、LASRCは固定された検索の下で一方向のビューゲインを与え、SCALEサポートはキャリブレーションやスループット等価なセレクタではなく、クエリラベルなしの3.0*信頼性分析変種として報告される。 プロトコル固有のBBH-8バリデーションは、3つのデコーダのみのバックボーンで同じ定性的傾向を示す。 実験項目では,詳細なスコア,ペア監査,パスコスト記録が報告されている。

関連論文リスト

• Relatron: Automating Relational Machine Learning over Relational Databases [50.94254514286021]
  本稿では, RDL と DFS を共有設計空間に統合し, 多様な RDB タスクを対象としたアーキテクチャ中心の検索を行う。 RDLはDFSを一貫して上回り、高いタスク依存性を持つ。(2)タスク全体において単一のアーキテクチャが支配的であり、タスク認識モデル選択の必要性を強調し、精度は選択アーキテクチャの信頼性の低いガイドである。
  論文  参考訳（メタデータ） (2026-02-26T02:45:22Z)
• The Appeal and Reality of Recycling LoRAs with Adaptive Merging [33.0501514389443]
  私たちは、Hugging Face Hubのようなモデルリポジトリで見つかったLoRAのリサイクルについて検討しています。 適応的なマージ手法は,ベースモデルよりも性能が向上するが,新しいLoRAをトレーニングする際のメリットは限定的であることを示す。 このことは、リサイクルされたLoRAからの適応的なマージが、主にある種の正規化効果を介して機能する可能性を高める。
  論文  参考訳（メタデータ） (2026-02-12T18:59:20Z)
• Task-Aware LoRA Adapter Composition via Similarity Retrieval in Vector Databases [3.4869850730657728]
  本稿では,ベクトルデータベースにおける類似性検索を利用した動的LoRAアダプタ合成のための新しいフレームワークを提案する。 提案手法は,22種類のコモンセンス推論,質問応答,自然言語推論,感情分析などの学習例を組み込んで,タスク認識ベクトルデータベースを構築する。 我々のフレームワークは、追加のレトリバートレーニングを必要とせず、凍結埋め込みで動作し、効率的で解釈可能なアダプタ構成を可能にする。
  論文  参考訳（メタデータ） (2026-02-01T22:20:04Z)
• Parametric Retrieval-Augmented Generation using Latent Routing of LoRA Adapters [27.694134466842502]
  Parametric Retrieval-Augmented Generation (PRAG)は、外部知識を直接Large Language Model (LLM)に統合する。 現在のPRAGアプローチでは、個々のドキュメントに専用のLoRAアダプタを使用して、textbfone-to-oneドキュメントエンコーディング方式を採用している。 本稿では,潜在経路符号化プロセスを利用するPRAGにおける経路の符号化のための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2025-11-21T08:44:21Z)
• RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory [57.449129198822476]
  RCRは、マルチエージェント大言語モデル(LLM)システムのためのロールアウェアコンテキストルーティングフレームワークである。 役割とタスクステージに基づいて、各エージェントに対して意味的に関連するメモリサブセットを動的に選択する。 軽量スコアリングポリシは、メモリ選択をガイドし、エージェント出力を共有メモリストアに統合する。
  論文  参考訳（メタデータ） (2025-08-06T21:59:34Z)
• Tensorized Clustered LoRA Merging for Multi-Task Interference [29.488565631016332]
  マルチタスク設定では、ヘテロジニアスソースでトレーニングされたLoRAアダプタをマージすると、しばしばtextittaskの干渉が発生し、下流のパフォーマンスが低下する。 本稿では,タスクの干渉に対処するために,テンソル化されたクラスタ化LoRAライブラリを提案する。 TC-LoRAはPhi-3で+1.4%、Mistral-7Bで+2.3%の精度を達成し、LCM適応におけるTC-LoRAの有効性を示した。
  論文  参考訳（メタデータ） (2025-08-06T01:26:43Z)
• Low-rank variational dropout: Uncertainty and rank selection in adapters [0.0]
  BayesLoRA は LoRA の設定における変分ドロップアウトを再検討し、自然の単位は個々の重みではなく、アダプタの全ランクであることを示した。 BayesLoRA は、(i) がアダプタのみのモンテカルロサンプリングによって予測し、(ii) がARDスタイルのKL項を介して自動的に冗長な階数を自動的に生成する、という後部を定めている。
  論文  参考訳（メタデータ） (2025-06-28T08:22:02Z)
• Retrieval-Augmented Mixture of LoRA Experts for Uploadable Machine Learning [57.36978335727009]
  Low-Rank Adaptation (LoRA)は、大規模言語モデル(LLM)を微調整する効率的な方法を提供する。 本稿では,入力プロンプトに基づいて複数のLoRAを適応的に検索・構成するフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-24T05:24:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。