論文の概要: Marginal utility, matrix factorization, and the Key-Value (KV) cache: a unified information-economic framework for sovereign geo-mining inference
- arxiv url: http://arxiv.org/abs/2609.20068v1
- Date: Thu, 17 Sep 2026 11:19:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.242794
- Title: Marginal utility, matrix factorization, and the Key-Value (KV) cache: a unified information-economic framework for sovereign geo-mining inference
- Title(参考訳): 社会的効用、行列因数分解、キーバリュー(KV)キャッシュ--主権的地雷推定のための統合情報経済フレームワーク
- Abstract要約: 本稿では,限界効用の概念と機械学習構造との間に理論的橋渡しを行う。
ジオマイニング文書からの構造化情報の自動抽出に適用する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This paper builds a theoretical bridge between the economic notion of marginal utility and two machine-learning constructs, matrix factorization and the Key--Value cache of transformer language models. The singular value spectrum of a rating matrix is shown to be a diminishing marginal utility schedule for latent factors, the eigenvalue spectrum of the projected covariance operator to be the marginal utility schedule of a model's learned representation, and cache eviction and low-rank cache compression to be instances of constrained utility maximization under a memory budget. The three collapse into a single allocation rule: retain the top dimensions whose eigenvalue exceeds the shadow price of the binding constraint. The framework is applied to the automated extraction of structured information from geo-mining documents, where it motivates a multi-pass inference protocol, a layer-wise TIES model merging procedure, and a selection policy combining extraction quality, localization drift and energy, scalarized with a Conditional Value-at-Risk term on drift. Two empirical contributions are reported. An 11.2-million-parameter hierarchical classifier, trained in about five minutes on a single GPU, reaches 90.0 per cent level-1 accuracy on a held-out test set from a 973-document uranium-exploration corpus, against 92.0 per cent for a proprietary model on a fifty-document human audit of the same corpus, at a latency of 2.62 ms per card against approximately 2,000 ms for the API and at negligible cost. A diagnostic of uniform-density TIES merging exposes a reproducible degenerate mode in which the merged model returns token-identical outputs across five geographically distinct districts while declaring high confidence; re-executing the merge under layer-wise calibrated densities removes that signature on the diagnostic sample. The full-scale extraction benchmark, including LoRA fine-tuning, is reported as projected rather than measured and remains an empirical extension of this work.
- Abstract(参考訳): 本稿では, 限界効用の概念と2つの機械学習構造, 行列分解, キー値キャッシュの理論的ブリッジを構築する。
評価行列の特異値スペクトルは、潜在因子に対する限界効用スケジュールの減少、予測共分散演算子の固有値スペクトルはモデルが学習した表現の限界効用スケジュール、キャッシュ消去と低ランクキャッシュ圧縮はメモリ予算の下で制約効用最大化のインスタンスである。
固有値が結合制約のシャドウ価格を超えるトップ次元を保持する。
このフレームワークは、マルチパス推論プロトコル、レイヤワイズTIESモデルマージ手順、および抽出品質、局所化ドリフトとエネルギーを組み合わせた選択ポリシーを、ドリフトにおける条件付き値-アット-リスク項でスキャラライズするジオマイニング文書から構造化された情報の自動抽出に適用する。
2つの経験的貢献が報告されている。
1つのGPUで約5分で訓練された11.2万パラメートル階層型分類器は、993ドキュメンテーションウラン探索コーパスのホールドアウトテストセットで90.0パーセントの精度に達し、同一コーパスの50ドキュメンテーション人間監査のプロプライエタリモデルでは92.0パーセント、APIと無視可能なコストで1カードあたり2.62msのレイテンシで90.0パーセントに達した。
均一密度のTIESマージの診断は、マージモデルが5つの地理的に異なる領域でトークンID出力を返す再現可能な縮退モードを公開すると同時に、高い信頼性を宣言する。
LoRAファインチューニングを含むフルスケールの抽出ベンチマークは、測定ではなく予測として報告されており、この研究の実証的な拡張である。
関連論文リスト
- Amortised Post-Hoc Explanation with Exact Preservation for Dynamic Graph Anomaly Detectors [2.169919643934826]
動的グラフにおける異常検出は、金融詐欺分析、侵入検知、プラットフォームの整合性を支える。
エッジがフラグ付けされた場合、アナリストはスコアのみを受け取る。
我々は、トレーニングされた凍結されたStrGNNをラップし、フラグ付きエッジ毎に出力する、ポストホックな説明層であるX-StrGNNを紹介する。
論文 参考訳(メタデータ) (2026-08-16T06:10:40Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳(メタデータ) (2026-06-05T14:00:47Z) - A Modelling and Evaluation Framework for EuroCrops-Driven Sentinel-2 Crop Segmentation [78.66324246922831]
本研究では,Sentinel-2イメージとEuroCropsパーセルレベルのアノテーションからセマンティックセグメンテーション対応農業データセットを生成するパイプラインを提案する。
このデータセットには、ヨーロッパ5カ国から67,337のパッチが含まれており、10種類の作物と背景の分類を減らしている。
The four-level U-Net with Group Normalization were training using 10 Sentinel-2 spectrum bands and a Composite loss with class-weighted cross-entropy and Dice loss。
論文 参考訳(メタデータ) (2026-05-30T11:20:29Z) - Rethinking Molecular OOD Generalization via Target-Aware Source Selection [10.102858221967791]
SCOPE-BENCHは、明示的な物理化学的記述空間におけるクラスタレベルのパーティショニングに基づいて構築されたベンチマークである。
POMAは、知識伝達を検索-合成-適応パイプラインとして定式化するフレームワークである。
SCOPE-BENCHにおける最先端の3D分子モデルの予測誤差は平均5.9倍である。
論文 参考訳(メタデータ) (2026-05-13T16:09:46Z) - Human-Inspired Memory Architecture for LLM Agents [0.9507070656654629]
6つの認知機構からなる生体記憶アーキテクチャを提案する。
各メカニズムは、単純メモリ蓄積の特定の障害モードに対処する。
S層スケール(50セッション)では、デダップベースのコンソリデーションにより、好みのリコールが+13.3pp向上する。
論文 参考訳(メタデータ) (2026-05-08T22:52:37Z) - The Surprising Universality of LLM Outputs: A Real-Time Verification Primitive [0.0]
CPUのみのスコアリングプリミティブはトークン当たり2.6マイクロ秒で動作する。
トークンのランク周波数分布は同じ2パラメータのMandelbrotランキング分布に収束する。
利用可能な場合にモデルログの確率で構成し、クローズドAPIで使用可能なランクオンリーモードに分解するシングルパススコアリングプリミティブを導出する。
論文 参考訳(メタデータ) (2026-04-28T13:35:31Z) - Open-Set Vein Biometric Recognition with Deep Metric Learning [0.0]
我々は厳密なオープンセット制約の下でDeep Metric Learning(DML)の計算境界を厳格に評価する。
提案手法は,非ネイティブなL2正規化埋め込みを学習し,類似性しきい値を用いたプロトタイプベースマッチングを採用する。
大規模MMCBNU 6000ベンチマークでは、我々の最良のモデル(ResNet50-CBAM)がOSCR 0.9945、AUROC 0.9974、EER 1.57%を達成し、高い識別精度 (99.6% Rank-1) を維持しながら、未知の被験者を頑健に拒否する。
論文 参考訳(メタデータ) (2026-04-16T11:03:11Z) - Hybrid-Segmentor: A Hybrid Approach to Automated Fine-Grained Crack Segmentation in Civil Infrastructure [52.2025114590481]
エンコーダ・デコーダをベースとした手法であるHybrid-Segmentorを導入する。
これにより、モデルは、様々な種類の形状、表面、き裂の大きさを区別する一般化能力を向上させることができる。
提案モデルは,5つの測定基準(精度0.971,精度0.804,リコール0.744,F1スコア0.770,IoUスコア0.630)で既存ベンチマークモデルより優れ,最先端の状態を達成している。
論文 参考訳(メタデータ) (2024-09-04T16:47:16Z) - KVQuant: Towards 10 Million Context Length LLM Inference with KV Cache Quantization [67.74400574357472]
LLMは、大きなコンテキストウィンドウを必要とするアプリケーションでの利用が増えており、この大きなコンテキストウィンドウでは、KVキャッシュのアクティベーションが推論時のメモリ消費の主要な要因として表面化している。
量子化はKVキャッシュのアクティベーションを圧縮する上で有望な手法であるが、既存のソリューションは4ビット以下の精度でアクティベーションを正確に表現できない。
我々の研究であるKVQuantは、いくつかの新しい手法を取り入れることで、低精度のKVキャッシュ量子化を容易にする。
論文 参考訳(メタデータ) (2024-01-31T18:58:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。