論文の概要: Learn by Surprise, Commit by Proof

• arxiv url: http://arxiv.org/abs/2604.01951v1
• Date: Thu, 02 Apr 2026 12:17:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-03 14:21:10.771401
• Title: Learn by Surprise, Commit by Proof
• Title（参考訳）: サプライズによって学ぶ、証明によってコミットする
• Authors: Kang-Sin Choi,
• Abstract要約: 本稿では,自律的知識獲得のための自己学習後フレームワークを提案する。 通路が異常に高いパートーケン損失を発生させると、L SCPはそれをフラグ化し、モデルに自身の知識を明確にさせるQ&A連鎖を生成する。 学習強度は1つのパラメータ$r$で管理される。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose LSCP, a self-gated post-training framework for autonomous knowledge acquisition: learning only what a model does not already know, verified against what it does know, at a strength proportional to conviction, with no external oracle. When a passage produces anomalously high per-token loss, LSCP flags it, generates a Q&A chain that forces the model to articulate its own knowledge and identify gaps, then adjusts AdamW's $β_2$ proportionally to conviction depth k (the number of self-verification steps the passage survives) via $β_2 = 0.999 \cdot r^k$. The entire learning intensity is governed by a single parameter $r$. Beyond new knowledge, this process sharpens weakly encoded existing knowledge, which is a primary source of hallucination. The framework is self-extinguishing: as the model learns, per-token loss on learned passages decreases toward the surprisal threshold and the system progressively converges to standard AdamW. This models biological memory consolidation: temporary information in the context window is selectively consolidated into parametric weights, the model's long-term memory. Experiments on the reference model (Qwen3-14B) and across six models (8B--32B, four families) show that standard fine-tuning produces rote memorization (perturbation gap (the ratio of paraphrase to original perplexity) of 11.6 +- 0.2 x baseline) while all LSCP conditions learn semantically (2.7--3.0x). The r=1.0 condition (identical optimizer, nearly identical data, only Q&A format differs) confirms that the training data format, not $β_2$ gating, is the primary mechanism preventing memorization; gating instead protects neighboring knowledge from contamination by corrupt content (93 +- 7% accuracy on adjacent questions at r=0.98 vs. 90% baseline).
• Abstract（参考訳）: 本稿では,自律的知識獲得のための自己学習後学習フレームワークLSCPを提案する。 通路が異常に高いトーケンの損失を発生させると、LSCPはそれをフラグ付けし、モデルに自身の知識を明確にしギャップを識別するよう強制するQ&A連鎖を生成し、その後、AdamWの$β_2$を$β_2 = 0.999 \cdot r^k$を介して、信念深さk(通路が存続する自己検証ステップの数)に比例的に調整する。 学習強度は1つのパラメータ$r$で管理される。 新しい知識の他に、このプロセスは幻覚の主要な源である既存の知識を弱く符号化する。 モデルが学習するにつれて、学習したパスに対するトーケン毎の損失は、サブプライムしきい値に向かって減少し、システムは標準のAdamWに徐々に収束する。 このモデルは生物学的メモリの統合をモデル化する: コンテキストウィンドウ内の一時的な情報は、モデルの長期記憶であるパラメトリックウェイトに選択的に統合される。 基準モデル (Qwen3-14B) および6つのモデル (8B-32B, 4 family) に対する実験により、標準微調整はロート記憶(摂動ギャップと元のパープレクティリティの比)を11.6 + - 0.2 xベースラインで生成し、全てのLSCP条件は意味的に (2.7--3.0x) 学習することを示した。 r=1.0条件(識別オプティマイザ、ほぼ同一のデータ、Q&Aフォーマットのみが異なる)は、トレーニングデータフォーマットが、β_2$ゲーティングではなく、メモリ化を防ぐ主要なメカニズムであることを確認している。

関連論文リスト

• Probing for Knowledge Attribution in Large Language Models [45.47366023067617]
  大規模言語モデル(LLM)は、しばしば流動的だが根拠のないクレームや幻覚を生成する。 適切な緩和は、モデルの答えがプロンプトまたは内部の重みに基づいているかどうかを知ることに依存する。 モデル隠れ表現に基づいて訓練された単純な線形分類器であるプローブは、帰納的帰属を確実に予測できることを示す。
  論文  参考訳（メタデータ） (2026-02-26T09:21:12Z)
• Representation-Aware Unlearning via Activation Signatures: From Suppression to Knowledge-Signature Erasure [2.0017902634527194]
  本稿では,真の消去と難読化を区別する表現対応アーキテクチャであるKnowledge Immunization Framework(KIF)を紹介する。 提案手法は,主観的表現の動的抑制とパラメータ効率の適応を組み合わせ,完全モデル再学習を伴わない耐久性のある未学習を実現する。
  論文  参考訳（メタデータ） (2026-01-15T16:28:14Z)
• Assimilation Matters: Model-level Backdoor Detection in Vision-Language Pretrained Models [71.44858461725893]
  信頼できない第三者によって微調整されたモデルを考えると、モデルがバックドアで注入されたかどうかが重要で難しい問題である。 既存の検出方法は通常、トレーニングデータセット、バックドアトリガー、ターゲットの事前知識に依存する。 このような事前知識を伴わずに動作する新しいモデルレベルの検出フレームワークであるAssimilation Matters in DETection (AMDET)を紹介する。
  論文  参考訳（メタデータ） (2025-11-29T06:20:00Z)
• LLMs Can Get "Brain Rot"! [68.08198331505695]
  ジャンクウェブテキストへの連続曝露は、大規模言語モデル(LLM)の持続的認知低下を誘導する 実Twitter/Xコーパスで制御された実験を行い、ジャンクと逆制御されたデータセットを構築します。 その結果、データ品質がLLM能力の崩壊の原因であることを示す重要な多視点的証拠が得られた。
  論文  参考訳（メタデータ） (2025-10-15T13:28:49Z)
• Valid Stopping for LLM Generation via Empirical Dynamic Formal Lift [6.908972852063454]
  シーケンシャルEDFLは、シーケンシャルベースラインに対して22～28%生成を減少させる。 EDFLは第1段階のフィルタとして機能し、検証負荷を83%削減する。
  論文  参考訳（メタデータ） (2025-10-07T21:28:53Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Physics of Language Models: Part 3.1, Knowledge Storage and Extraction [51.68385617116854]
  大規模言語モデル(LLM)は膨大な量の世界の知識を格納することができ、しばしば質問応答によって抽出できる。 モデルが知識を抽出する能力と,トレーニングデータの多様な多様性尺度との間には,強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-09-25T17:37:20Z)
• Information-Theoretic Bayes Risk Lower Bounds for Realizable Models [11.203656874463697]
  本研究では,ベイズリスクと機械学習モデルの一般化誤差に関する情報理論の下限を導出する。 再現可能なモデルでは、速度歪み関数と相互情報の両方が解析に便利な表現を許容していることが示される。
  論文  参考訳（メタデータ） (2021-11-08T15:42:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。