論文の概要: Digital Metabolism: Decoupling Logic from Facts via Regenerative Unlearning -- Towards a Pure Neural Logic Core

• arxiv url: http://arxiv.org/abs/2601.10810v1
• Date: Thu, 15 Jan 2026 19:21:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-19 20:21:50.270903
• Title: Digital Metabolism: Decoupling Logic from Facts via Regenerative Unlearning -- Towards a Pure Neural Logic Core
• Title（参考訳）: デジタルメタボリズム(Digital Metabolism) - 生成的アンラーニングを通じてロジックをファクトから分離する - 純粋なニューラルロジックコアに向けて
• Authors: Mengmeng Peng, Zhenyu Fang, He Sun,
• Abstract要約: デジタル代謝(Digital metabolism)とは、純粋な論理コアを蒸留するためには、標的となる忘れることが必要であるという仮説である。 本稿では,Regenerative Logic-Core Protocol (RLCP)を紹介した。 GSM8Kの実証分析により、「代謝」モデルが自然にシンボリック・チェーン・オブ・シンクの足場を採用することが明らかとなった。
• 参考スコア（独自算出の注目度）: 4.073707521515039
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) currently suffer from parameter entanglement, where general reasoning capabilities (logic) and specific factual knowledge (facts) exist in a superposition state within shared weights. This coupling leads to the "memory wall," where computational capacity is squandered on simulating retrieval, often resulting in hallucinations. In this paper, we propose "digital metabolism," a thermodynamic hypothesis suggesting that targeted forgetting is necessary for distilling a pure neural logic core. To validate this hypothesis, we introduce the Regenerative Logic-Core Protocol (RLCP), a dual-stream training framework that renders specific factual dependencies linearly undecodable via deep-layer gradient reversal. Applying RLCP to Qwen2.5-0.5B, we observe a distinct phase transition: the model achieves near-zero retention of targeted factual associations (Accuracy < 7%) while exhibiting changes consistent with an emergent "structural crystallization" effect. Empirical analysis on GSM8K reveals that the "metabolized" model spontaneously adopts chain-of-thought (CoT) scaffolding, which we interpret as compensating for the loss of direct associative recall (shifting from $O(1)$ recall to $O(N)$ reasoning). While the causal mechanism underlying this behavioral shift requires further investigation, our findings provide a dynamic weight-level counterpart to architectural innovations like DeepSeek's Engram, paving the way for modular "Neural CPU + Symbolic RAM" architectures.
• Abstract（参考訳）: 大規模言語モデル (LLM) は現在パラメータの絡み合いに悩まされており、一般的な推論能力(論理的)と特定の事実知識(事実)が共有重み内の重ね合わせ状態に存在する。 この結合は「メモリウォール」につながり、計算能力は探索のシミュレーションによって妨げられ、幻覚をもたらす。 本稿では,純粋論理コアを蒸留するためには,目的の忘れることが必要であるという熱力学的仮説である「デジタル代謝」を提案する。 この仮説を検証するために、我々はRegenerative Logic-Core Protocol (RLCP)を紹介した。 RLCP を Qwen2.5-0.5B に適用することにより,対象の事実関連性 (精度 < 7%) をほぼゼロに保ちながら, 初期的な「構造結晶化」効果と整合した変化を示しながら, 相転移を観察する。 GSM8Kの実証分析により、メタボリック化モデルは、直接連想的リコールの損失($O(1)$リコールから$O(N)$リコールへのシフト)を補うものとして、自然にチェーン・オブ・シンク(CoT)スキャフォールディング(英語版)を採用することが明らかとなった。 この行動シフトの根底にある因果的メカニズムは、さらなる調査を必要とするが、私たちの発見は、DeepSeekのEngramのようなアーキテクチャ革新に匹敵する、動的なウェイトレベルを提供し、モジュール化された"Neural CPU + Symbolic RAM"アーキテクチャへの道を開いた。

関連論文リスト

• Block-Recurrent Dynamics in Vision Transformers [42.261020313952976]
  我々は、トレーニングされたViTは、元の$L$ブロックの計算を、繰り返し適用された$k ll L$ブロックのみを使用して正確に書き直せるようにブロック再帰的な深さ構造を許容していると主張している。 DINOv2 ImageNet-1kの線形プローブ精度を同等の計算コストで2ブロックで回収するために、Raptorモデルを訓練する。
  論文  参考訳（メタデータ） (2025-12-23T00:18:23Z)
• How LLMs Learn to Reason: A Complex Network Perspective [14.638878448692493]
  Reinforcement Learning from Verifiable Rewards による大規模言語モデルのトレーニングは、突飛な振る舞いのセットを示している。 この現象は単一統一理論を用いて説明できると考えられる。 私たちの研究は、将来のAIシステムの創発的な推論能力をエンジニアリングするための新しい物理的直感を提供します。
  論文  参考訳（メタデータ） (2025-09-28T04:10:37Z)
• Understanding Transformers through the Lens of Pavlovian Conditioning [0.5076419064097734]
  本稿では,注意のコア計算をパブロヴィアン条件付けとして再解釈する理論的枠組みを提案する。 注意点のクエリ,キー,値が,古典的条件付けの3つの要素にマッピング可能であることを示す。 我々の枠組みは、この線形化モデルに基づくいくつかの理論的洞察をもたらす。
  論文  参考訳（メタデータ） (2025-08-05T05:00:00Z)
• Generalization or Hallucination? Understanding Out-of-Context Reasoning in Transformers [80.70134000599391]
  我々は、両方の行動は、アウト・オブ・コンテクスト推論(OCR)として知られる単一のメカニズムに由来すると論じる。 OCRは、関連する概念が因果関係であるかによって、一般化と幻覚の両方を駆動する。 我々の研究は、OCR現象を理解するための理論的基盤を提供し、知識注入から望ましくない行動を分析し緩和するための新しいレンズを提供する。
  論文  参考訳（メタデータ） (2025-06-12T16:50:45Z)
• KITINet: Kinetics Theory Inspired Network Architectures with PDE Simulation Approaches [43.872190335490515]
  本稿では,非平衡粒子動力学のレンズによる特徴伝播を再解釈する新しいアーキテクチャKITINetを紹介する。 そこで本研究では,粒子系の進化をモデルとした残留モジュールを提案する。 この定式化は粒子衝突とエネルギー交換を模倣し、物理インフォームド相互作用による適応的特徴改善を可能にする。
  論文  参考訳（メタデータ） (2025-05-23T13:58:29Z)
• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• Allostatic Control of Persistent States in Spiking Neural Networks for perception and computation [79.16635054977068]
  本稿では,アロスタシスの概念を内部表現の制御に拡張することにより,環境に対する知覚的信念を更新するための新しいモデルを提案する。 本稿では,アトラクタネットワークにおける活動の急増を空間的数値表現として利用する数値認識の応用に焦点を当てる。
  論文  参考訳（メタデータ） (2025-03-20T12:28:08Z)
• Modeling Implicit Bias with Fuzzy Cognitive Maps [0.0]
  本稿では、構造化データセットにおける暗黙バイアスを定量化するファジィ認知マップモデルを提案する。 本稿では,ニューロンの飽和を防止する正規化様伝達関数を備えた新しい推論機構を提案する。
  論文  参考訳（メタデータ） (2021-12-23T17:04:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。