論文の概要: Cortex: Consolidating Context into Parametric Memory

• arxiv url: http://arxiv.org/abs/2610.20399v1
• Date: Wed, 14 Oct 2026 16:03:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:16.244148
• Title: Cortex: Consolidating Context into Parametric Memory
• Title（参考訳）: Cortex: コンテキストをパラメトリックメモリに統合する
• Abstract要約: 単一,バッチ,シーケンシャルな更新の下での統合と維持を計測する5つのタスクファミリーテストベッドを導入する。 コンテクストの利用を予測し、コンテキスト条件付き出力をマージ可能な低ランクまたは構造的フィードフォワードネットワーク更新に蒸留する予測クエリを生成するCortexを提案する。
• 参考スコア（独自算出の注目度）: 25.53505916041792
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Context can improve large language model performance, but these gains may be lost after context removal. Inspired by biological systems consolidation, we formulate Memory Consolidation (MC) as internalizing these gains while preserving non-target capabilities, connecting context-specified editing, skill learning, and behavioral steering under a common objective. We introduce a five-task-family testbed measuring consolidation and retention under single, batch, and sequential updates. We propose Cortex, which generates prospective queries to anticipate uses of context and distills context-conditioned outputs into mergeable low-rank or structural feed-forward network updates. Across 4B--120B dense and mixture-of-experts backbones, including both text-only and multimodal models, Cortex lies on the empirical consolidation--retention Pareto frontier in most evaluated settings. After 50 sequential factual edits on a 14B model, Cortex-Structural recovers 88.9% of the context-induced gain while retaining 99.8% of original non-target performance.
• Abstract（参考訳）: コンテキストは大きな言語モデルのパフォーマンスを改善することができるが、コンテキスト削除後にこれらの利益は失われる可能性がある。 生体システム統合に触発された記憶強化(MC)は,これらの利得を内部化し,非目標能力を維持し,コンテキスト指定編集,スキル学習,行動操作を共通の目的の下で接続するものである。 単一,バッチ,シーケンシャルな更新の下での統合と維持を計測する5つのタスクファミリーテストベッドを導入する。 コンテクストの利用を予測し、コンテキスト条件付き出力をマージ可能な低ランクまたは構造的フィードフォワードネットワーク更新に蒸留する予測クエリを生成するCortexを提案する。 テキストのみのモデルとマルチモーダルのモデルを含む、4B-120Bの濃密なバックボーンと熟練した混合のバックボーンは、Cortexは、最も評価された設定において、実証的な統合(retention Pareto frontier)の上に置かれている。 14Bモデルで50回連続で事実を編集した後、Cortex-Structuralはコンテキストによって引き起こされたゲインの88.9%を回復し、元のターゲット外のパフォーマンスの99.8%を維持した。

関連論文リスト

• Beyond the Parameter Monolith: Reconstructive Memories, Executable Skills, and Residual Assembly for Language Models [1.0152838128195467]
  言語モデルシステムは、ひとつの共有パラメータシステムを通じてすべての機能を更新する代わりに、コンテキスト計算、永続ストレージ、正確な実行を分離することができる。 FEM-ASMは有限要素に着想を得た組織であり、文書の状態と決定論的実行可能なスキルが共用言語モデルの状態に型付けされた提案に寄与する。 結果は、記憶、実行、神経調整の分離をサポートし、質問のみの検索における未解決の制限、制限なしの回答生成、エンドツーエンドの効率を識別する。
  論文  参考訳（メタデータ） (2026-10-02T20:18:49Z)
• Context Language Models [96.98860474374459]
  CLMを既存のモデルでゼロショットで構築することは、様々なタスクでSOTAコンテキスト管理戦略より優れている。 CLMは、標準的なスキル最適化ループを通じて進化した自然言語命令で操ることができることを示す。 我々は、CLMサービスのためのSuffixキャッシュ再利用を共同設計し、サーバサイドの計算を標準のSGLangと比較して35%削減した。
  論文  参考訳（メタデータ） (2026-09-29T14:50:08Z)
• Context-Aware Distillation and Ablation for Text2DSL [78.29352305480285]
  我々は、コンテクスト対応蒸留により、プロンプトのみの合成生成を置き換える。 教師の大きな言語モデルは、明示的に定義された構造化コンテキストの下で機能する。 これは、検証されたポルキットベンチコーパスを4,204対から10,073対にスケールする。
  論文  参考訳（メタデータ） (2026-06-21T16:27:24Z)
• CR-QAT: Curriculum Relational Quantization-Aware Training for Open-Vocabulary Object Detection [2.751147407342378]
  CR-QAT(Relational Quantization-Aware Training)を提案する。 CR-QATは、プログレッシブ量子化のためにモデルを分割することでエラーの蓄積を軽減し、エラー分離による安定した最適化を保証する。 LVISとゼロショットベンチマークの実験では、CR-QATは攻撃的な低ビット設定下で既存のQATベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2026-03-06T06:57:55Z)
• CORE: Context-Robust Remasking for Diffusion Language Models [51.59514489363897]
  我々は、推論時リビジョンのためのトレーニング不要フレームワークであるContext-Robust Remasking (CORE)を提案する。 静的トークンの確率を信頼するのではなく、COREは、ターゲットとなるマスク付きコンテキストの摂動に対する感受性を示すことによって、コンテキスト不安定なトークンを識別する。 LLaDA-8B-Baseでは、COREは推論とコードベンチマークの間で一貫した改善を行い、計算に適合したベースラインを上回り、MBPPを最大9.2%改善した。
  論文  参考訳（メタデータ） (2026-02-04T00:12:30Z)
• PaceLLM: Brain-Inspired Large Language Models for Long-Context Understanding [20.849307413516183]
  本研究では,(1)前頭前野(PFC)ニューロンの持続的発火を模倣する持続的活動(PA)機構を,活性化レベルメモリバンクを導入し,重要なFFN状態を動的に回収・再利用・更新し,文脈崩壊に対処し,(2)タスク適応型ニューラルスペシャライゼーションをエミュレートし,FFN重みをセマンティックモジュールに再編成し,相互依存を確立し,フラグメンテーションを緩和する,という2つの革新を特徴とするPaceLLMを提案する。
  論文  参考訳（メタデータ） (2025-06-18T09:17:06Z)
• PICASO: Permutation-Invariant Context Composition with State Space Models [98.91198288025117]
  State Space Models (SSM) は、コンテキストのデータベースを固定次元の状態にマッピング可能にすることで、有望なソリューションを提供する。 本研究では,SSM力学から導かれる単純な数学的関係を,生のコンテキストトークンの連結効果を効率的に近似する複数の状態に構成する。 我々は,WikiText と MSMARCO をゼロショットと微調整の両方で評価し,平均5.4倍のスピードアップを楽しみながら最強の演奏ベースラインと一致できることを示す。
  論文  参考訳（メタデータ） (2025-02-24T19:48:00Z)
• Dynamic Hybrid Relation Network for Cross-Domain Context-Dependent Semantic Parsing [52.24507547010127]
  ドメイン間コンテキスト依存のセマンティック解析は研究の新たな焦点である。 本稿では,コンテキストの発話,トークン,データベーススキーマ,会話の進行に伴う複雑なインタラクションを効果的にモデル化する動的グラフフレームワークを提案する。 提案したフレームワークは既存のモデルを大きなマージンで上回り、2つの大規模ベンチマークで新しい最先端性能を達成する。
  論文  参考訳（メタデータ） (2021-01-05T18:11:29Z)
• CIF-based Collaborative Decoding for End-to-end Contextual Speech Recognition [14.815422751109061]
  コンテキストバイアスをより制御可能な方法でサポートするCIF(Continuous Integration-and-fire)ベースのモデルを提案する。 追加のコンテキスト処理ネットワークを導入し、コンテキスト埋め込みを抽出し、音響的に関連するコンテキスト情報を統合し、コンテキスト出力分布をデコードする。 提案手法は, 強ベースラインと比較して, 相対的文字誤り率 (CER) の8.83%/21.13%, 相対的名前付きエンティティ文字誤り率 (NE-CER) の40.14%/51.50%削減を実現する。
  論文  参考訳（メタデータ） (2020-12-17T09:40:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。