論文の概要: Substrate Asymmetry in User-Side Memory: A Diagnostic Framework
- arxiv url: http://arxiv.org/abs/2606.11712v1
- Date: Wed, 10 Jun 2026 06:39:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-11 16:42:38.329583
- Title: Substrate Asymmetry in User-Side Memory: A Diagnostic Framework
- Title(参考訳): ユーザ側記憶における基板非対称性:診断フレームワーク
- Authors: Youwang Deng,
- Abstract要約: 記憶は少なくとも3つの軸に分解される -- 行動整合性(スタイル、声)、事実の存在(歴史における事実を思い出す)、事実の欠如(事実が欠如している場合)。
この集計値が反対方向障害を隠蔽することを示す。
我々は、診断フレームワーク、診断された実データ陰性、アライメント・タックス・レプリケーション、ルーティング・アズ・クラス化発見に貢献する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: User-side memory in LLMs is typically scored as a single "personalization" capability: given a user's history, is the output more user-aware? We show this aggregate metric hides opposite-direction failures. Memory factorises into at least three orthogonal axes -- behavioral consistency (style, voice), factual presence (recall facts in history), and factual absence (abstain when a fact is absent) -- and no single substrate wins all three. Comparing per-user gamma-LoRA (a small LoRA adapter trained on each user's history; gamma denotes per-user, not per-task) against BGE-large dense top-K retrieval on a controlled 50-user synthetic corpus and a real-data probe (LaMP-3), we find gamma-LoRA decisively wins behavioral style while RAG decisively wins factual absence -- and the same query-projection cells in attention layers 21-35 causally load-bear both effects in opposite directions (zeroing those LoRA weights raises absence-probe TPR by +33 pp and drops presence-probe TPR by 20 pp). On the more heavily RLHF-tuned Llama-3.1-8B-Instruct the asymmetry strengthens, not heals: parametric memory's behavioral advantage collapses while its absence-calibration deficit against retrieval widens -- an alignment tax on parametric user-memory. On real-data LaMP-3, gamma-LoRA underperforms a majority baseline; a 9-condition mitigation sweep diagnoses this as instruction-following collapse, not substrate failure (a 9x2 cross-product shows the eval-time {1..5} logit mask drives main_acc to >=0.995 on every recipe), and the best training-time fix replicates bit-identically on Llama. Finally, substrate-selection routing is question-classification, not calibration: a 110M DistilBERT on the question text alone beats every logit-based router. We contribute the diagnostic framework, the diagnosed real-data negative, the alignment-tax replication, and the routing-as-classification finding.
- Abstract(参考訳): LLMのユーザ側のメモリは通常、単一の"個人化"能力として評価される。
この集計値が反対方向障害を隠蔽することを示す。
メモリは、少なくとも3つの直交軸 – 行動整合性(スタイル、声)、事実の存在(歴史における事実を思い出す)、事実の欠如(事実が存在しない場合) – に分解される。
ユーザ毎のガンマロラ(各ユーザ履歴に基づいて訓練された小さなLoRAアダプタ)と、制御された50ユーザ合成コーパスと実データプローブ(LaMP-3)のBGE-large高密度トップK検索を比較した結果、RAGが事実上不在であるのに対して、ガンマロラが決定的に行動様式に勝っていることがわかった。
より重いRLHFで調整されたLlama-3.1-8Bでは、非対称性が強化され、修復は行われない。
9-条件緩和スイープは、これを命令追従崩壊と診断し、基板の故障ではなく、命令追従崩壊と診断する(9x2のクロスプロダクトは、eval-time {1.5} のロジットマスクがメイン_acc >=0.995 まですべてのレシピで駆動する)。
最後に、基板選択ルーティングは、キャリブレーションではなく質問分類である: 質問テキストの110M DistilBERTは、すべてのロジットベースのルータに勝っている。
我々は、診断フレームワーク、診断された実データ陰性、アライメント・タックス・レプリケーション、ルーティング・アズ・クラス化発見に貢献する。
関連論文リスト
- Entity-Collision: A Stratified Protocol for Attributing Retrieval Lift in Agent Memory [0.0]
エンドツーエンドのエージェント-メモリベンチマークでは、レトリバー毎に単一の hit@k が報告されている。
本稿では,BM25フロアを構造的に固定するシステムに依存しないプロトコルであるエンティティ・コリジョンを提案する。
論文 参考訳(メタデータ) (2026-05-28T09:02:48Z) - Analyzing Quality-Latency-Resource Trade-offs in a Technical Documentation RAG Assistant Using LoRA Adaptation [0.0]
発電機のローランド適応(LoRA)を用いた検索拡張世代(RAG)システムにおける品質-遅延-リソーストレードオフについて検討する。
公式文書上で5,144の質問応答ペアのベンチマークを構築し、それを固定されたハイブリッド検索パイプライン(BGE-M3高密度、BGE-M3ネイティブ、Reciprocal Rank Fusion、クロスエンコーダ更新)と組み合わせる。
論文 参考訳(メタデータ) (2026-05-27T09:37:55Z) - Universal Boosts, Specific Suppressors: Sparse Autoencoder Steering of Medical Vision-Language Models [6.166748218298133]
医用視覚モデル(VLM)は胸部X線レポートを作成する際にしばしば発見を作製する。
パートーケンススパースオートエンコーダに基づく復号時間残差ステアリングにより、重み更新なしでこれを緩和する。
MIMIC-CXRテストスプリットでは,推測のみの手法により,生成したレポートの品質が向上する。
論文 参考訳(メタデータ) (2026-05-24T10:17:24Z) - MemReranker: Reasoning-Aware Reranking for Agent Memory Retrieval [37.54115468116941]
本報告では,Qwen3-Reranker を用いた多段 LLM 知識蒸留によるリグレードモデルファミリ MemReranker (0.6B/4B) について紹介する。
メモリ検索ベンチマークでは、MemReranker-0.6BはBGE-Rerankerを大きく上回り、オープンソースの4B/8BモデルとGPT-4o-miniをキーメトリクスでマッチングする。
MemReranker-4B はさらに 0.737 MAP を達成し、Gemini-3-Flash と同等のメトリクスを持つ一方で、推論遅延を10-20%の大型モデルで維持している。
論文 参考訳(メタデータ) (2026-05-07T12:33:57Z) - Feedback-Normalized Developer Memory for Reinforcement-Learning Coding Agents: A Safety-Gated MCP Architecture [0.0]
本稿では、RLコーディングエージェントのためのローカルファーストのモデルコンテキストプロトコル(MCP)ネイティブな開発者メモリアーキテクチャであるRL Developer Memoryについて述べる。
メモリ選択をログ化されたコンテキスト決定プロセスとして扱う。
システムは、RLアルゴリズムのバグ、ハードネガ、レビューゲートされたRL/コントロールケース、低リスク障害を含む決定論的200ケースのベンチマークで評価される。
論文 参考訳(メタデータ) (2026-05-02T18:37:36Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳(メタデータ) (2026-04-09T10:26:32Z) - Training Large Reasoning Models Efficiently via Progressive Thought Encoding [63.254758972725654]
大規模推論モデル(LRM)は複雑な問題に優れるが、効率にとって重要な障壁に直面している。
本稿では,パラメータ効率のよい微調整手法であるProgressive Thoughtを紹介する。
論文 参考訳(メタデータ) (2026-02-18T20:03:38Z) - Beyond SGD, Without SVD: Proximal Subspace Iteration LoRA with Diagonal Fractional K-FAC [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。
本研究では,ローランクプロジェクション(SVDLoRA)とローラファインチューニング(LoRAファインタニング)のフルステップでのトレーニングのギャップに対処する。
勾配降下のギャップを埋めるメモリ効率の良いサブルーチンであるLoRSumを提案する。
論文 参考訳(メタデータ) (2026-02-18T13:41:41Z) - Faster Than SVD, Smarter Than SGD: The OPLoRA Alternating Update [50.36542772932594]
Low-Rank Adaptation (LoRA) は、凍結重量の上の低ランク更新を学習することで、大きなモデルを微調整する。
ローランクプロジェクションによる完全なトレーニング(SVDLoRA)とLoRAファインチューニングの間にはまだギャップがあり、LoRAのステップをさらに改善できることを示している。
論文 参考訳(メタデータ) (2025-09-24T10:32:50Z) - Model Surgery: Modulating LLM's Behavior Via Simple Parameter Editing [63.20133320524577]
パラメータの小さなサブセットを編集することで、大きな言語モデル(LLM)の特定の振る舞いを効果的に調節できることを示す。
我々の手法は、RealToxicityPromptsデータセットで最大90.0%の毒性を減少させ、ToxiGenで49.2%を達成する。
論文 参考訳(メタデータ) (2024-07-11T17:52:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。