論文の概要: Parametric Memory Decoding for Zero-Shot Routing in LoRA-Based External Parametric Memory
- arxiv url: http://arxiv.org/abs/2607.04118v1
- Date: Sun, 05 Jul 2026 05:11:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-07 22:26:29.834088
- Title: Parametric Memory Decoding for Zero-Shot Routing in LoRA-Based External Parametric Memory
- Title（参考訳）: LoRAを用いた外部パラメトリックメモリにおけるゼロショットルーティングのためのパラメトリックメモリデコーディング
- Abstract要約: ゼロショットLoRAルーティングを改善するためのフレームワークとしてパラメトリックメモリデコーディング(PMD)を提案する。
PMDは、各LoRAの応答等級を単一のベースモデルプレフィルからスコアする。
実験により、PSDは複数のゼロショットルーティング設定で最強の内部信号性能を達成することが示された。
- 参考スコア（独自算出の注目度）: 20.823396840665055
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the rise of parametric memory, LoRA-based External Parametric Memory (EPM) has emerged as a modular solution, but existing routing methods often introduce additional training, deployment, and maintenance overhead. This raises a natural question: can a LoRA-based EPM bank be routed without maintaining an additional routing component? However, existing zero-shot LoRA routing methods still face two problems under the EPM setting: (1) their evaluations are scattered across different task settings rather than organized around EPM access, and (2) their routing signals lack a unified perspective to guide systematic improvement. To address these problems, we organize PMD-Bench, covering document-level, domain-level knowledge, and task-skill, and propose Parametric Memory Decoding (PMD), the first framework designed to systematically improve zero-shot LoRA routing by reframing it as decoding activations over external parametric memory. Based on PMD, we further instantiate PMDRouter, which scores each LoRA by its response magnitude from a single base-model prefill. Experiments on PMD-Bench show that PMDRouter achieves the strongest internal-signal performance across multiple zero-shot routing settings. These results demonstrate the feasibility of zero-shot LoRA routing and suggest that PMD can serve as a general framework for improving zero-shot routing methods. Sources: Github (https://anonymous.4open.science/r/Parametric-Memory-Decoding-872A/)
- Abstract（参考訳）: パラメトリックメモリの台頭に伴い、LoRAベースの外部パラメトリックメモリ(EPM)がモジュラーソリューションとして登場したが、既存のルーティングメソッドでは、追加のトレーニング、デプロイメント、メンテナンスのオーバーヘッドが導入されることが多い。
LoRAベースのEPM銀行は、追加のルーティングコンポーネントをメンテナンスすることなく、ルーティングできますか?
しかし,既存のゼロショット LoRA ルーティング手法では,(1) 評価は EPM アクセスを中心に整理されるのではなく,異なるタスク設定に分散し,(2) ルーティング信号には体系的な改善を導くための統一的な視点が欠如している。
これらの問題に対処するため、文書レベル、ドメインレベルの知識、タスクスキルを網羅したPMD-Benchを編成し、外部パラメトリックメモリ上でのデコードアクティベーションとして、ゼロショットLORAルーティングを体系的に改善するParametric Memory Decoding(PMD)を提案する。
PMDに基づいてPMDRouterをさらにインスタンス化し,各LoRAの応答等級を1つのベースモデルプレフィルから評価する。
PMD-Benchの実験では、PMDRouterは複数のゼロショットルーティング設定で最大の内部信号性能を達成している。
これらの結果は、ゼロショットLoRAルーティングの実現可能性を示し、ゼロショットルーティング法を改善するための一般的なフレームワークとして、PMDが役立つことを示唆している。
出典:Github (https://anonymous.4open.science/r/Parametric-Memory-Decoding-872A/)
関連論文リスト
- Agent-as-a-Router: Agentic Model Routing for Coding Tasks [54.00153674547733]
Agent-as-a-router (AC)はC-A-Fループとしてルーティングを形式化する(Context->Action->FeedbackContext)
ACは、分配タスクに対する最小の累積後悔を達成し、配布外エージェントプログラミングタスクに一般化する。
論文 参考訳（メタデータ） (2026-06-22T06:37:31Z) - What Happens Inside Agent Memory? Circuit Analysis from Emergence to Diagnosis [19.29853121538131]
我々はQwen-3ファミリー(0.6B-14B)と2つのメモリフレームワーク(mem0とA-MEM)の回路をトレースする。
我々は無監督段階診断を開発し,76.2%の精度でサイレント障害を責任ある手術に局在させる。
論文 参考訳（メタデータ） (2026-05-05T04:17:22Z) - MemRouter: Memory-as-Embedding Routing for Long-Term Conversational Agents [20.000127976303606]
我々は、下流の応答バックボーンからメモリの入力を分離する書き込み側メモリルータであるMemを紹介する。
Memは、12Mパラメータのみをトレーニングしながら、軽量な分類ヘッドを使用してターンを格納すべきかどうかを予測する。
論文 参考訳（メタデータ） (2026-05-01T02:33:50Z) - ReMix: Reinforcement routing for mixtures of LoRAs in LLM finetuning [85.39146836671897]
低ランクアダプタ(LoRAs)は、トレーニング可能な低ランク行列をトレーニング済みモデルに注入し、新しいタスクに適応するパラメータ効率の微調整技術である。
既存のMixture-of-LoRAsルータは学習したルーティングウェイトを各LoRAに割り当て、ルータのエンドツーエンドのトレーニングを可能にする。
Reinforcement Routing for Mixture-of-LoRAs (ReMix) と呼ばれる新しいルータを提案する。
論文 参考訳（メタデータ） (2026-03-10T18:51:27Z) - CoMoL: Efficient Mixture of LoRA Experts via Dynamic Core Space Merging [49.87105462292961]
Core Space Mixture of LoRA (bfCoMoL)は、専門家の多様性、パラメータ効率、きめ細かい適応を取り入れた新しいMoE-LoRAフレームワークである。
CoMoLは、複数のタスクで既存のメソッドを一貫して上回る。
論文 参考訳（メタデータ） (2026-02-28T09:40:11Z) - LLMRouterBench: A Massive Benchmark and Unified Framework for LLM Routing [44.046399484829635]
大規模言語モデル(LLM)ルーティングは、各クエリをアンサンブルから最も適切なモデルに割り当てる。
LLMルーティングのための大規模ベンチマークおよび統合フレームワークであるLLMBenchを紹介する。
21のデータセットと33のモデルから400K以上のインスタンスで構成されている。
論文 参考訳（メタデータ） (2026-01-12T05:01:15Z) - RCR-Router: Efficient Role-Aware Context Routing for Multi-Agent LLM Systems with Structured Memory [57.449129198822476]
RCRは、マルチエージェント大言語モデル(LLM)システムのためのロールアウェアコンテキストルーティングフレームワークである。
役割とタスクステージに基づいて、各エージェントに対して意味的に関連するメモリサブセットを動的に選択する。
軽量スコアリングポリシは、メモリ選択をガイドし、エージェント出力を共有メモリストアに統合する。
論文 参考訳（メタデータ） (2025-08-06T21:59:34Z) - Learning to Route Queries Across Knowledge Bases for Step-wise Retrieval-Augmented Reasoning [60.84901522792042]
Multimodal Retrieval-Augmented Generation (MRAG)は、マルチモーダル大言語モデル(MLLM)における幻覚の緩和を約束している。
進化する推論状態に基づいて知識をいつどこで取得するかを学習する新しいMRAGフレームワークであるR1を提案する。
R1-は多種多様なKBを適応的かつ効果的に利用でき、不要な検索を減らし、効率と精度を向上させる。
論文 参考訳（メタデータ） (2025-05-28T08:17:57Z) - In-Context Meta LoRA Generation [61.690065588534296]
Low-rank Adaptation (LoRA) はタスク固有の微調整機能を示す。
In-Context Meta LoRA (ICM-LoRA) は,大規模言語モデルのタスク固有のカスタマイズを効率的に行う新しい手法である。
ICM-LoRAは、現在のパラメータ再構成法よりも正確なLoRAパラメータ再構成を可能にする。
論文 参考訳（メタデータ） (2025-01-29T13:12:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。