論文の概要: Beyond the Parameter Monolith: Reconstructive Memories, Executable Skills, and Residual Assembly for Language Models
- arxiv url: http://arxiv.org/abs/2610.04012v1
- Date: Fri, 02 Oct 2026 20:18:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-12 21:03:38.460651
- Title: Beyond the Parameter Monolith: Reconstructive Memories, Executable Skills, and Residual Assembly for Language Models
- Title（参考訳）: パラメータモノリスを超えて:リコンストラクティブな記憶、実行可能なスキル、言語モデルのための残留アセンブリ
- Abstract要約: 言語モデルシステムは、ひとつの共有パラメータシステムを通じてすべての機能を更新する代わりに、コンテキスト計算、永続ストレージ、正確な実行を分離することができる。
FEM-ASMは有限要素に着想を得た組織であり、文書の状態と決定論的実行可能なスキルが共用言語モデルの状態に型付けされた提案に寄与する。
結果は、記憶、実行、神経調整の分離をサポートし、質問のみの検索における未解決の制限、制限なしの回答生成、エンドツーエンドの効率を識別する。
- 参考スコア（独自算出の注目度）: 1.0152838128195467
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language-model systems can separate contextual computation, persistent storage, and exact execution instead of updating all capabilities through one shared parameter system. We investigate FEM-ASM, a finite-element-method-inspired organization in which independently constructed document states and deterministic executable skills contribute typed proposals to a shared language-model state. An explicit residual operator reconciles proposals attached to common interface nodes. We evaluate this organization through controlled experiments and negative results rather than claiming a physical finite-element formulation of language. An attention-free Multi-Mesh prototype learns causal language modeling but does not establish competitive general capability. A versioned store contains 52,809 reconstructive memory elements near a 1.7-billion-floating-value budget; reconstruction is incomplete, with approximately 75\% token accuracy. Support-aware lexical indices make these elements addressable under provenance-controlled query construction. For executable arithmetic, positional result observations substantially improve neural rendering relative to a repeated global result vector, and output substitutions change the model's preferred answer. A bounded attachment demonstration further measures the effect of making selected evidence available, without establishing the utility of loading an entire multi-billion-value store. The results support a separation of storage, execution, and neural coordination, while identifying unresolved limitations in question-only retrieval, unrestricted answer generation, and end-to-end efficiency.
- Abstract（参考訳）: 言語モデルシステムは、ひとつの共有パラメータシステムを通じてすべての機能を更新する代わりに、コンテキスト計算、永続ストレージ、正確な実行を分離することができる。
FEM-ASMは有限要素に着想を得た組織であり、文書の状態と決定論的実行可能なスキルが共用言語モデルの状態に型付けされた提案に寄与する。
明示的な残留演算子は、共通のインターフェイスノードにアタッチされた提案を調整します。
我々は,物理有限要素の言語定式化を主張するよりも,制御された実験と否定的な結果を通じて,この組織を評価する。
注意のないMulti-Meshプロトタイプは因果言語モデリングを学習するが、競合する汎用能力は確立しない。
バージョニングストアは、1.7ビリオンフローティング値予算の近傍に52,809個の再構成メモリ要素を含む。
サポート対応の語彙インデックスは、これらの要素を証明制御されたクエリ構造の下でアドレス化可能にする。
実行可能算術では、位置結果の観測により、連続した大域的な結果ベクトルに対する神経レンダリングが大幅に改善され、出力置換がモデルの好む答えを変化させる。
有界アタッチメントデモは、複数ビリオン値ストア全体をロードするユーティリティを確立することなく、選択されたエビデンスを利用可能にすることの効果をさらに測定する。
結果は、記憶、実行、神経調整の分離をサポートし、質問のみの検索における未解決の制限、制限なしの回答生成、エンドツーエンドの効率を識別する。
関連論文リスト
- Formal Properties of Language as Constraints on Neural Dynamics [0.20305676256390937]
現在の研究では、電極、ボクセル、または言語モデル層を飽和させる言語変数とテストで刺激が神経活動を予測する。
ここでは、言語の代数的性質が、メカニズムが保持しなければならない不変量を指定することを示す。
そこで我々は,2つの構成群が共有シナプスを介して収束し,サブ線形に結合し,マージする,新たな神経結合操作「メルド」を提案する。
論文 参考訳（メタデータ） (2026-09-13T08:41:56Z) - Reading Cognition as Decisions Unfold in Words: A Factorized Inverse Decision Model [67.84198127797005]
逆決定モデリングは、観察された行動から決定過程の潜伏特性を推定する。
本稿では、各個人のタスク実行可能性を行動要因と努力要因に分解する因子化逆決定モデル(FIDM)を提案する。
論文 参考訳（メタデータ） (2026-08-10T07:46:13Z) - Weave of Formal Thought [51.56484100374058]
WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。
本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。
Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
論文 参考訳（メタデータ） (2026-06-24T15:58:11Z) - Compressed Sensing for Capability Localization in Large Language Models [58.574245030744834]
大規模言語モデル(LLM)は、数学的推論、コード生成、言語行動など幅広い機能を示す。
トランスフォーマーアーキテクチャでは,多くの機能が注目の小さなサブセットに高度にローカライズされていることを示す。
論文 参考訳（メタデータ） (2026-02-11T16:06:59Z) - Constructing Industrial-Scale Optimization Modeling Benchmark [26.61380804019141]
重要なボトルネックは、実際の最適化モデルに根ざした、自然言語仕様と参照定式化/解決コードとを一致させるベンチマークの欠如である。
実混合整数線形プログラムから構造を意識した逆構成手法により構築したMIPLIB-NLを提案する。
実験の結果,MIPLIB-NLは既存のベンチマークに強く依存するシステムに対して,大幅な性能低下を示した。
論文 参考訳（メタデータ） (2026-02-11T02:45:31Z) - Structured Cognitive Loop for Behavioral Intelligence in Large Language Model Agents [0.0]
既存のフレームワークは認知、記憶、制御をひとつのプロンプトで混ぜることが多く、一貫性と予測可能性を減らす。
構造化認知ループ (Structured Cognitive Loop, SCL) は、これらの機能を分離する代替アーキテクチャとして提案されている。
SCLの平均タスク成功率は86.3%であり、ベースラインは70.5から76.8%である。
論文 参考訳（メタデータ） (2025-09-23T17:43:17Z) - Extractive Fact Decomposition for Interpretable Natural Language Inference in one Forward Pass [4.990228412613982]
JEDIは、原子の事実分解と解釈可能な推論を共同で行うエンコーダのみのアーキテクチャである。
学習を容易にするため、複数のNLIベンチマークをカバーする合成的合理性の大規模なコーパスを生成する。
本研究は, エンコーダのみのアーキテクチャと合成論理を用いて, NLIの解釈可能性とロバストな一般化を実現することができることを示す。
論文 参考訳（メタデータ） (2025-09-23T11:30:42Z) - The Unreasonable Effectiveness of Model Merging for Cross-Lingual Transfer in LLMs [45.08958917457921]
大規模言語モデル(LLM)は、ハイソース言語以外のタスクで依然として苦戦している。
本研究では,タスク固有のポストトレーニングデータが不足している低リソース言語への言語間移動について検討する。
論文 参考訳（メタデータ） (2025-05-23T20:28:31Z) - LISA: Reasoning Segmentation via Large Language Model [68.24075852136761]
そこで我々は,新たなセグメンテーションタスク,すなわち推論セグメンテーションを提案する。
このタスクは、複雑で暗黙的なクエリテキストを与えられたセグメンテーションマスクを出力するように設計されている。
提案するLISA: Large Language Instructed Assistantは,マルチモーダル大規模言語モデルの言語生成能力を継承する。
論文 参考訳（メタデータ） (2023-08-01T17:50:17Z) - Semantics-Aware Dynamic Localization and Refinement for Referring Image
Segmentation [102.25240608024063]
画像の参照は、言語表現からのイメージセグメントを参照する。
そこで我々は,局所化中心からセグメンテーション言語へ移行するアルゴリズムを開発した。
比較すると,本手法はより汎用的で有効である。
論文 参考訳（メタデータ） (2023-03-11T08:42:40Z) - Discontinuous Constituent Parsing with Pointer Networks [0.34376560669160383]
不連続な構成木は、ドイツ語のような言語の文法的な現象を表現するのに不可欠である。
係り受け解析の最近の進歩は、ポインタネットワークが文中の単語間の構文関係を効率的に解析することに優れていることを示している。
本稿では,最も正確な不連続な構成表現を生成するニューラルネットワークアーキテクチャを提案する。
論文 参考訳（メタデータ） (2020-02-05T15:12:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。