論文の概要: LatentPort: Beyond KV Cache - Cross-Model Transfer of Recurrent Memory in Hybrid Language Models: A 4B-to-9B Hybrid-State Handoff Without Target Prefix Replay
- arxiv url: http://arxiv.org/abs/2609.25053v1
- Date: Mon, 07 Sep 2026 03:57:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.844034
- Title: LatentPort: Beyond KV Cache - Cross-Model Transfer of Recurrent Memory in Hybrid Language Models: A 4B-to-9B Hybrid-State Handoff Without Target Prefix Replay
- Title（参考訳）: LatentPort: KVキャッシュを超えて - ハイブリッド言語モデルにおけるリカレントメモリのクロスモデル転送:ターゲットプリフィックスのリプレイなしで4Bから9Bのハイブリッドステートハンドオフ
- Abstract要約: これは、異なる言語モデル間で持続的な再帰的推論状態を示す最初のクロスモデルハンドオフである。
直接リカレントと畳み込みの再利用は、テストされたGDNマップよりも優れている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Can one language model hand its live memory to another without the receiver rereading the context? We demonstrate useful persistent hybrid-state transfer across one architecture-matched Qwen3.5 4B-to-9B sibling pair. To our knowledge, this is the first demonstrated cross-model handoff of persistent recurrent inference state between differently sized hybrid language models without target prefix replay. Translated attention KV alone leaves a large gap; adding the Gated DeltaNet (GDN) persistent-state package lowers teacher-forced negative log-likelihood (NLL), the average next-token log-loss, by 0.747 nats/token (95% paired document bootstrap CI [0.6921, 0.8047]), improving all 64 PG19 documents. Direct recurrent and convolution reuse outperforms the tested learned GDN maps, consistent with partial functional compatibility of persistent-state coordinates. A fresh component factorial selects translated KV with direct recurrent and convolution state. An additional 434,176-parameter correction improves that base on 64 fresh web documents: continuation loss is 0.076 nats/token above native 9B (excess NLL), Jensen-Shannon (JS) divergence is 0.022, and native context recovery (NCR) is 0.918. Corrected 9B significantly beats continued 4B inference while processing zero historical prefix tokens. Evidence covers one direction, one geometry-matched Base-model pair, and 4K teacher-forced continuation; the near-native gate failed, the 16K branch was not run, and free-generation equivalence and a general state interface remain unproven.
- Abstract（参考訳）: ある言語モデルは、受信者がコンテキストを読まないまま、そのライブメモリを別の言語に渡せるか?
アーキテクチャに適合したQwen3.5 4B-to-9B 兄弟対間の持続的ハイブリッド状態移動を示す。
我々の知る限り、これはターゲットプレフィックスを再生せずに異なる大きさのハイブリッド言語モデル間で持続的反復推論状態を示す最初のクロスモデルハンドオフである。
Gated DeltaNet (GDN) Persistent-stateパッケージを追加することで、教師が強制する負のログ類似度(NLL)が平均で0.747nats/token(95%ペアのドキュメントブートストラップCI [0.6921, 0.8047])に低下し、すべてのPG19ドキュメントが改善された。
直接再帰と畳み込みの再利用は、テストしたGDNマップよりも優れており、永続状態座標の部分的機能的互換性と一致している。
新鮮な成分因子は、直接再帰および畳み込み状態で翻訳されたKVを選択する。
さらに434,176パラメータの補正により、64個の新しいWebドキュメントのベースが改善された。継続損失は、ネイティブ9B(NLLが不要)の0.076ナット/トーケン、Jensen-Shannon(JS)の分散は0.022、ネイティブコンテキストリカバリ(NCR)は0.918である。
修正された9Bは、歴史的接頭辞をゼロに処理しながら、継続する4B推論を著しく上回った。
Evidence cover one direction, one geometry-matched Base-model pair, and 4K teacher-forced continuation; the near-native gate fail, the 16K branch was not run, and a free-generation equivalence and a general state interface。
関連論文リスト
- GDN Tree-Scan: Served Tree Verification for Recurrent-Hybrid Language Models [5.558968223748393]
本稿では,Gated-DeltaNetハイブリッド言語モデルのバリデーションであるGDN Tree-ScanをvLLMに統合した。
このシステムは、FlashAttention-2ツリーバイアスアテンション、ブランチローカルなGDNスキャン/リプレイ、デバイスサイドのマルチドラフトコミットメント、受け入れチェーンのみのステートパブリッシュを組み合わせたものだ。
論文 参考訳（メタデータ） (2026-09-20T22:21:01Z) - Long-Range Indirect Control-Flow Prediction in Stripped Binaries via Dual Virtual Hubs and Multi-Task Graph Learning [44.79384874347874]
本稿では,長い範囲のIDF予測を行う統合フレームワークICFlowNetを提案する。
ICFlowNetは、候補を意識したDual Virtual Hubs、Global Code Hub、Global Data Hubを導入している。
また,パッケージレベルの分割,関数レベルのmnemonic-hash重複,クリーンなテストプロトコルを備えた,リーク対応のノイズ制御パイプラインを開発した。
論文 参考訳（メタデータ） (2026-09-03T02:17:23Z) - A Universal Context-Reuse Layer for Cross-Model KV Sharing [7.914652203965336]
我々は、ソースモデルによって生成されたKV状態を異なるターゲットモデルによって消費される表現に変換するエンフクロスモデルKV共有について検討する。
Qwen2.5-7B$rightarrow$ Qwen2.5-1.5Bの場合、翻訳されたKV状態はLongBench2の精度を27.59%から34.48%に改善し、ネイティブ1.5Bベースラインよりも6.89ポイント向上した。
クロスファミリーQwen2.5-1.5B$rightarrow$ Gemma-2-2B設定の場合、KVハンドオフは目標側のプリフィルコストを削減します。
論文 参考訳（メタデータ） (2026-08-31T15:28:17Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。
生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。
現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
論文 参考訳（メタデータ） (2026-08-17T09:53:27Z) - Right Reset: Chunking by Prefix Removal [0.0]
右隠れ状態軌跡の保存を計測する右リセットを導入する。
平らなテキストでは、RRはオリジナルのレコードの47.7%をクリーン単位として回収し、BGE埋め込み境界は25.9%である。
6つの言語モデル全体で、RR選択されたカットは、未選択の候補エッジよりも局所的な出力破壊が一貫して少ない。
論文 参考訳（メタデータ） (2026-08-05T01:17:12Z) - Hidden APIs in Language Models: Discovering Reusable Causal Interfaces from Forked Futures [16.400856187081473]
将来の操作はプレフィックス状態が形成された後にのみサンプリングされる。
これにより、研究者によって特定された潜伏ラベルを必要とせず、隠れた状態に対する経験的因果商が得られる。
結果は、試験された運転銀行内の経済的再利用可能な因果関係を支持する。
論文 参考訳（メタデータ） (2026-07-30T03:10:24Z) - Context-Aware Distillation and Ablation for Text2DSL [78.29352305480285]
我々は、コンテクスト対応蒸留により、プロンプトのみの合成生成を置き換える。
教師の大きな言語モデルは、明示的に定義された構造化コンテキストの下で機能する。
これは、検証されたポルキットベンチコーパスを4,204対から10,073対にスケールする。
論文 参考訳（メタデータ） (2026-06-21T16:27:24Z) - Querit-Reranker: Training Compact Multilingual Rerankers via Efficient Label-Free Distribution Adaptation [43.66118282567413]
データ中心のパイプラインでトレーニングされた多言語クロスエンコーダリランカのファミリーであるQuarit-Rerankerを紹介します。
我々のパイプラインはまず、大規模ランキング指向データから一般的な関連性モデリングを学び、次にターゲット分布に適応する。
Querit-Reranker-A0.4B 平均 nDCG@10 は BEIR では 54.11 から 59.28 に、MIRACL では 59.87 から 67.70 に改善されている。
論文 参考訳（メタデータ） (2026-06-17T13:06:47Z) - Towards Persistent Case-Based Memory for Autonomous Data Science: A CBR-Augmented R&D-Agent with a Locally Deployable Small Language Model [0.0]
我々は, Gemma 4 31B Dense のカスタムバックエンドに CBR レイヤを Microsoft の R&D-Agent フレームワークに統合した CBR 拡張 R&D-Agent を提案する。
ケースは構造化レコードとして格納され、実行可能なコードスナップショットと品質メタデータが格納される。
108回の検索イベントにおけるヒューリスティックな再利用検出は,意味的関連性が高いことを示す。
論文 参考訳（メタデータ） (2026-06-03T12:56:11Z) - SemGuard: Real-Time Semantic Evaluator for Correcting LLM-Generated Code [46.20378145112059]
ポストホック修復パイプラインは、実行後にのみそのような障害を検出する。
本稿では,実時間で行レベルのセマンティック監視を行うセマンティック評価フレームワークSemGuardを紹介する。
論文 参考訳（メタデータ） (2025-09-29T09:21:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。