論文の概要: CACHE-UK: A Stability-Aware Memory Editor for Sequentially Updated Quantized LLMs in Finance
- arxiv url: http://arxiv.org/abs/2607.28292v1
- Date: Thu, 30 Jul 2026 14:36:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-31 21:37:00.609234
- Title: CACHE-UK: A Stability-Aware Memory Editor for Sequentially Updated Quantized LLMs in Finance
- Title（参考訳）: CACHE-UK:ファイナンスにおける逐次更新量子化LLMのための安定性を考慮したメモリエディタ
- Abstract要約: CACHE-UK (Contextual Adaptive Continual Hybrid Editor for UK Finance) は、ドメイン固有の量子化LDM向けに設計された安定性を考慮したメモリ編集フレームワークである。
4ビットの量子化OpenLLaMA-3Bモデルを用いて、88,021文書の英国財務コーパスの評価を行った。
最も高い試験成功率(一般化)率(28%、最強適応ベースラインの6ポイント改善)
- 参考スコア（独自算出の注目度）: 5.111650095699029
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large Language Models (LLMs) deployed in dynamic financial environments face a critical challenge: maintaining factual accuracy as market conditions, regulations, and corporate facts change continuously. While 4-bit quantization enables efficient deployment, it severely limits the viability of sequential memory editing: existing methods undergo catastrophic performance degradation under this "quantization stability crisis." We introduce CACHE-UK (Contextual Adaptive Continual Hybrid Editor for UK Finance), a stability-aware memory editing framework specifically designed for domain-specific, quantized LLMs. CACHE-UK integrates three components: a rank-1 LoRA perturbation mechanism that confines edits to the low-rank adapter subspace, a financial domain prioritization module for content-adaptive edit strength, and a closed-loop Stability Controller that tracks "degradation debt" to prevent catastrophic forgetting across sequential updates. Evaluated on a 4-bit quantized OpenLLaMA-3B model with a curated UK financial corpus of 88,021 documents, CACHE-UK reduces knowledge degradation by 11-17% relative to adapted baselines under identical 4-bit constraints -- its most robust effect -- while attaining the highest test success (generalization) rate observed in our setting (28%, a 6 percentage point improvement over the strongest adapted baseline). These results indicate that stability-aware editing can improve factual maintenance in resource-constrained financial LLM deployments, though absolute generalization rates remain low.
- Abstract（参考訳）: 動的金融環境に展開される大規模言語モデル(LLM)は、市場条件や規制、企業事実が継続的に変化するにつれて、事実の正確性を維持するという、重大な課題に直面します。
4ビット量子化は効率的なデプロイメントを可能にするが、シーケンシャルメモリ編集の可能性を著しく制限する。
CACHE-UK (Contextual Adaptive Continual Hybrid Editor for UK Finance) は、ドメイン固有の量子化LDM向けに設計された安定性を考慮したメモリ編集フレームワークである。
CACHE-UKは3つのコンポーネントを統合している: ランク1のLoRA摂動機構は、低ランクのアダプタサブスペースに編集を閉じ込める、コンテンツ適応的な編集強度のための金融ドメイン優先順位付けモジュール、そして、シーケンシャルアップデートの破滅的な忘れを防ぐために"劣化負債"を追跡するクローズループ安定化コントローラである。
CACHE-UKは、4ビットの量子化OpenLLaMA-3Bモデルと88,021文書のキュレートされた英国財務コーパスで評価され、同じ4ビットの制約の下で適用されたベースラインに対して知識劣化を11-17%削減します。
これらの結果から,資源制約のLLMデプロイメントにおいて,絶対的な一般化率を保ちながら,安定性に配慮した編集が現実のメンテナンスを改善する可能性が示唆された。
関連論文リスト
- Reliability Scaling Laws for Quantized Large Language Models [68.39028482878265]
量子化は、パラメータのビット幅を小さくすることで、有能でリソース効率のよい大規模言語モデル(LLM)を構築するための戦略である。
まず,3つの鍵成分からなる量子化LDMの総合的信頼性評価を行う。
信頼性ピークは4ビットの量子化モデルに対して発生し、適度なサイズのモデルの量子化が最良の信頼性と効率のトレードオフをもたらすことを示す。
論文 参考訳（メタデータ） (2026-07-12T17:39:09Z) - ReQAT: Achieving Full-Precision Reasoning Accuracy with 4-bit Floating-Point Quantization-Aware Training [12.549469252572079]
大規模推論モデル(LRM)は、長いチェーン・オブ・シークレットを通じて強力な問題解決を実現する。
LRMは、完全精度推論とKVキャッシュフットプリントの増大によるコストの高い制約を受ける。
3つのコンポーネントを持つ推論中心のFP4トレーニングフレームワークであるReQATを提案する。
論文 参考訳（メタデータ） (2026-06-14T09:00:06Z) - YouZhi: Towards High-Concurrency Financial LLMs via Adaptive GQA-to-MLA Transition [78.52944812151664]
大きな言語モデル(LLM)は、大きな金融革新をもたらすが、そのデプロイメントはKVキャッシュメモリのオーバーヘッドによってボトルネックになる。
我々は,Huawei Ascendエコシステム上に構築された包括的な構造遷移とトレーニングパイプラインによって強化された,高効率な金融LLMであるYouZhi-LLMを提案する。
論文 参考訳（メタデータ） (2026-06-04T08:44:37Z) - FAIR-Calib: Frontier-Aware Instability-Reweighted Calibration for Post-Training Quantization of Diffusion Large Language Models [50.86041384789834]
エンドツーエンドの拡散ロールアウトを必要とせずに、脆弱なフロンティア状態の保護を優先するdLLMのための2段階PTQフレームワークを提案する。
我々は、FAIR-CalibがLLaDAとDream(W4A4)の最先端ベースラインを一貫して上回り、フロンティア決定のフリップを減らし、様々なベンチマークにおけるコミット後のミスマッチを抑制することを示した。
論文 参考訳（メタデータ） (2026-06-04T08:00:51Z) - When Bits Break Recourse: Counterfactual-Faithful Quantization [0.6999740786886536]
我々は、妥当性、コスト、方向安定性を通じて、量子化の下での対実感度を定式化する。
本稿では, 量子化器パラメータと混合精度ビット割り当てを訓練し, 対物行動の保存を行うCFQを提案する。
論文 参考訳（メタデータ） (2026-05-16T21:19:31Z) - CAGE: Curvature-Aware Gradient Estimation For Accurate Quantization-Aware Training [73.46600457802693]
本稿では,量子化による損失に対応する新しい手法を提案する。
CAGEは、同様の計算コストで、精度の観点から最先端の手法を大幅に改善する。
LlamaモデルのQAT事前トレーニングでは、CAGEは4ビット(W4A4)で達成された精度と事前のベストメソッドとを一致させる。
論文 参考訳（メタデータ） (2025-10-21T16:33:57Z) - FR-LUX: Friction-Aware, Regime-Conditioned Policy Optimization for Implementable Portfolio Management [4.235667373386689]
取引コストとレギュラーシフトは、紙ポートフォリオが生の取引で失敗する主な理由である。
我々は、コストのかかる貿易政策を学習する強化学習フレームワークFR-LUXを紹介する。
我々は, 対流摩擦下での最適性, KL信頼領域での単調改善, 長期反転境界, 比例コストによる非作用帯域の誘導などの保証を行う。
論文 参考訳（メタデータ） (2025-10-03T13:22:54Z) - AQUA-LLM: Evaluating Accuracy, Quantization, and Adversarial Robustness Trade-offs in LLMs for Cybersecurity Question Answering [8.946002046630845]
大規模言語モデル(LLM)は近年,サイバーセキュリティ質問応答(QA)の強力な可能性を示している。
それらの膨大な計算要求は、リソース制約のあるエッジデバイスへの展開に重大な課題をもたらす。
AQUA-LLMは、4つの異なる構成で複数の最先端の小型LCMをベンチマークするために設計された評価フレームワークである。
論文 参考訳（メタデータ） (2025-09-16T20:19:24Z) - Optimizing Large Language Model Training Using FP4 Quantization [73.55459961002371]
量子化トレーニングは、低ビット演算によるコスト削減を可能にすることで、有望なソリューションを提供する。
この研究は、大規模言語モデル(LLM)のための最初のFP4トレーニングフレームワークを紹介します。
論文 参考訳（メタデータ） (2025-01-28T18:04:50Z) - Functional-level Uncertainty Quantification for Calibrated Fine-tuning on LLMs [38.33520071583312]
Calibrated Fine-Tuning (UQ4CT)は、入力を出力にマッピングする関数の空間上の不確実性をキャプチャし、校正する。
我々は,機能空間を階層的に分解するMix-of-expertsフレームワークを用いて,微調整段階のUQ4CTを実装した。
分散シフト中であっても、UQ4CTはより優れたECE性能を高い精度で維持し、一般化性の向上を示す。
論文 参考訳（メタデータ） (2024-10-09T00:09:15Z) - ConU: Conformal Uncertainty in Large Language Models with Correctness Coverage Guarantees [68.33498595506941]
自己整合性理論に基づく新しい不確実性尺度を導入する。
次に,CPアルゴリズムに正当性に整合した不確かさ条件を組み込むことにより,適合性不確かさの基準を策定する。
実証的な評価は、我々の不確実性測定が過去の最先端手法よりも優れていることを示している。
論文 参考訳（メタデータ） (2024-06-29T17:33:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。