論文の概要: Nothing Changed but the Model: CellFill -- Bounded In-Cell Learning for Bit-Identical, Revocable Updates to Quantized LLMs

• arxiv url: http://arxiv.org/abs/2608.20873v1
• Date: Fri, 21 Aug 2026 08:49:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-24 14:49:32.479327
• Title: Nothing Changed but the Model: CellFill -- Bounded In-Cell Learning for Bit-Identical, Revocable Updates to Quantized LLMs
• Title（参考訳）: 変わらずモデル:CellFill -- 量子化LDMへのビット・インデンティカル・リボケータブルな更新のためのセル内学習
• Abstract要約: 言語モデルを教えるあらゆる方法、完全な微調整、アダプタのマージ、モデル編集が、リリースされたチェックポイントを置き換えることを示す。 整数符号と4ビットリリースのスケールが凍結されたことにより、新しい知識は各量子化決定セル内に厳密に存在する重み付き残余にのみ書き込まれる。 CellFillを含む6つの提案と3つのトレーニングパスを提供します。
• 参考スコア（独自算出の注目度）: 4.455667003143275
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Every way of teaching a deployed language model something new -- full fine-tuning, adapter merging, model editing -- replaces the released checkpoint, and with it every evaluation and cache that referred to those exact bits. We instead learn inside the dequantization gap: with the integer codes and scales of a 4-bit release frozen, new knowledge is written only into the per-weight residual that lives strictly inside each quantization decision cell. Re-quantization then returns the released artifact bit-for-bit, a machine-checkable guarantee; updates are exactly revocable by dropping the residual; and drift is bounded. We give six propositions and three training paths, including CellFill, a bounded reparameterization that makes invariance structural rather than enforced. Exact invariance turns out to be nearly free: across three paired seeds the constrained dense path matches an unconstrained reference whose weights provably escape the artifact (58.9 vs 59.3 percent fact recall; paired difference -0.5 points, 95% CI [-5.0,+4.0]), and is better on held-out cross-domain perplexity. Against the natural null hypothesis -- serving the same update as an unmerged adapter -- projecting into the cells reduces cross-domain forgetting in every run that converged, and a diverged control shows the boundary: projection is a trust region, not a repair. What no method escapes is the cost of knowledge itself, and the apparent free lunch of in-domain perplexity improving past the anchor is an artifact of rehearsal sharing a corpus with the metric. Methods differ threefold at matched rehearsal in knowledge bought per point of cross-domain perplexity, a ranking that is not the recall ranking. The method transfers to a 27B hybrid linear-attention model (2.4e10 constrained weights, verified bit-identical), where matched recall costs about half as much cross-domain perplexity as at 1.7B.
• Abstract（参考訳）: デプロイされた言語モデルを教えるあらゆる方法 -- 完全な微調整、アダプタのマージ、モデル編集 -- は、リリースされたチェックポイントを置き換える。 整数符号と4ビットリリースのスケールが凍結された場合、新しい知識は各量子化決定セル内に厳密に存在する重み付き残余にのみ書き込まれる。 再量子化は、リリース済みのアーティファクトであるbit-for-bitを返却する。マシンチェック可能な保証; 更新は、残余を落として完全に無効化され、ドリフトはバウンドされる。 我々は6つの命題とCellFillを含む3つのトレーニングパスを提示する。 厳密な経路は制約のない参照と一致し、その重みは確実にアーティファクトから逃れる(58.9対59.3%の事実リコール、対差-0.5点、95%CI [-5.0,+4.0])。 自然のnull仮説 -- マージされていないアダプタと同じアップデートを提供する -- に対して、セルに投射することで、収束するすべての実行においてドメイン間の忘れを減らし、分岐制御は境界を示す: 投影は信頼された領域であり、修復ではない。 方法がないのは、知識そのもののコストであり、アンカーを過ぎてドメイン内の難易度が向上する明らかな無料ランチは、そのメトリクスとコーパスを共有するリハーサルの成果である。 クロスドメインの難易度ごとに購入された知識において、マッチしたリハーサルでは3つの方法が異なり、これはリコールランキングではない。 この手法は27Bハイブリッドリニアアテンションモデル(2.4e10制約ウェイト、検証ビットID)に転送され、一致したリコールコストは1.7Bのクロスドメインパープレキシティの約半分である。

関連論文リスト

• NovaFabric: Tamper-Evident, Replayable Evidence for Autonomous AI Agent Runs [0.0]
  我々はNovaFabricを紹介し、監査グレードの実行証拠を作成している。 エージェントロジックを変更することなく実行中のエージェントを、ポータブルなRun Capsuleに記録する。 シードランは4モードのリプレイプロトコルで再実行可能である。 我々は8つの研究課題を測定範囲で評価した。
  論文  参考訳（メタデータ） (2026-09-11T08:35:43Z)
• Tied Trit-Planes: Constraining PTQTP to a Uniform Nine-Level Quantizer, with a Persistent Folded Format for Disk-Streamed Mixture-of-Experts Serving [0.28304882054363123]
  この研究はPTQTPの解法に制約としてそのアイデンティティを課した最初のものである。 我々は、284B-A13B混合エキスパートモデルであるDeepSeek-V4-Flash-0731のルートエキスパートに適用する。 すべてのコード、フォーマット、評価アーティファクトは、fucina推論スタックでオープンソースである。
  論文  参考訳（メタデータ） (2026-08-09T20:53:47Z)
• Smarter and Cheaper at Once: Byte-Exact KV-Cache Grafting Turns a Frozen Small Model into a Verified-Knowledge Flywheel [0.0]
  凍結した小さな言語モデルを、重みを変えることなく、同時により有能かつ劇的に安価にします。 浮動小数点回転符号化モデルにおいて,自己配置グラフトは数値的に正確な操作点であることを示す。 システムは動作レベルで記述され、エンジンはプロプライエタリであり、報告された全ての数値はコミットされた入力と出力によってバックアップされるので、スコアはそれなしで再チェックできる。
  論文  参考訳（メタデータ） (2026-07-15T23:55:48Z)
• Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data [55.04392122319273]
  本稿では,教師モデルが生徒自身の分布から抽出した学習サンプルを選択するための逐次符号化手法を提案する。 結果として得られるコード長は、パラメータカウントとデータエントロピーとは独立しており、多くの場合、先行するコード長よりも桁違いに短い。
  論文  参考訳（メタデータ） (2026-07-13T17:58:50Z)
• Forgetting Is Not a Fix: Path Dependence in Sequential Engram Editing [35.76482964927589]
  本研究では,概念固有のメモリトレースが1回,1回,1回を算術的に組み合わせて抽出できる線形オブジェクトとなるという仮説を検証した。 そのテストは、著者自身の参照実装に基づいて、報告された最高の編集強度で実行します。 アンラーニング・アズ・コンプライアンス:今日認定された消去は、次の編集後にアーティファクトを認定しない。
  論文  参考訳（メタデータ） (2026-07-06T23:45:06Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• CRMA: A Spectrally-Bounded Backbone for Modular Continual Fine-Tuning of LLMs [0.0]
  我々は、内部混合行列 M がシンクホーン正規化による全ての前方通過において二重確率である残留アダプタ CRMA を紹介する。 5つのドメインにまたがるMistral-7Bでは、モジュラー・パー・タスクのLoRAは、+42.96%+/-5.5(ナイーブ微調整)から-0.17%+/-0.17までのバックボーンの損失相対的ドリフトを仲介する。
  論文  参考訳（メタデータ） (2026-05-29T21:50:23Z)
• CommitDistill: A Lightweight Knowledge-Centric Memory Layer for Software Repositories [0.5872014229110213]
  ソフトウェアは、コミットメッセージ、プルリクエストの議論、スレッド発行に大量の構造化されていない知識を蓄積します。 エージェントのタイプメモリアーキテクチャ(MemGPT、生成エージェント、YangらのPlugMemモジュール)に関する最近の研究は、エージェントメモリは生の対話テキストではなく、蒸留された型付き知識であるべきだと主張している。 私たちは、決定論的、依存性なし、ローカルのみ、埋め込みなしという制約のある体制の下で、ソフトウェアリポジトリ自身のgit履歴にそのスタンスを適用します。
  論文  参考訳（メタデータ） (2026-05-18T12:14:28Z)
• Forgetting That Sticks: Quantization-Permanent Unlearning via Circuit Attribution [3.6704226968275253]
  量子化を乗り越える手法はモデルにほとんど変化しないが, 圧縮条件下では, 有意義な忘れ方を実現するための勾配に基づく手法を示す。 因果回路の属性を組み合わせることで両モードを解消し,最小限の差分集合部分グラフを分離するMANSUを提案する。 さらに,構造的消去と行動抑制を区別する機構的検証尺度であるCircuit Attribution Divergence(CAD)を導入する。
  論文  参考訳（メタデータ） (2026-05-14T17:44:10Z)
• How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
  昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。 HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
  論文  参考訳（メタデータ） (2026-05-08T09:30:31Z)
• Keeping Code-Aware LLMs Fresh: Full Refresh, In-Context Deltas, and Incremental Fine-Tuning [0.0]
  我々は、以前のコードに保持を放棄することなく、モデルを新しい状態に保つ方法を研究している。 A)新しいスナップショットでモデル全体をトレーニングするフルリフレッシュ、(B)推論時に最近のデルタを注入するインコンテキストラーニング(ICL)、(C)デルタ由来のトレーニングセット上のインクリメンタルファインタニング(Inc-FT)の3つのファミリーを比較した。 削除されたパスに報いることなく、リネームをクレジットするエイリアス対応評価プロトコルと、削除されたパスの残余排出量を定量化する実用的なフォーッティングプローブをコントリビュートする。
  論文  参考訳（メタデータ） (2025-11-18T01:01:56Z)
• Continual Learning via Sparse Memory Finetuning [58.163704181154834]
  本稿では,スパースパラメータの更新が大惨事な忘れをせずに学習を可能にするかどうかを考察する。 事前学習データの使用に関する新しい知識によって活性化されるメモリスロットのみを更新することにより、新しい知識とモデルの既存の能力との干渉を減らすことができる。 スパースメモリの微調整は、忘れることを大幅に減らしながら、新しい知識を学習することを発見した。
  論文  参考訳（メタデータ） (2025-10-16T19:44:38Z)
• Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
  本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。 我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
  論文  参考訳（メタデータ） (2025-10-02T15:22:28Z)
• Apertus: Democratizing Open and Compliant LLMs for Global Language Environments [163.70368742538187]
  Apertusは、今日のオープンモデルエコシステムにおける2つのシステム的欠点に対処するために設計された、大きな言語モデル(LLM)の完全なオープンスイートである。 Apertusモデルは、公開データにのみ事前訓練されており、ロボット.txtの除外や、非許容的で有毒で個人が特定可能なコンテンツに対するフィルタリングを尊重している。 Apertusモデルはまた、1800以上の言語から15Tトークンをトレーニングし、非英語コンテンツに割り当てられた事前トレーニングデータの40%をトレーニングしている。
  論文  参考訳（メタデータ） (2025-09-17T17:59:21Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• Language Modeling with Editable External Knowledge [90.7714362827356]
  本稿では,新たな文書取得時のモデル動作を改善するERASEを提案する。 ドキュメントを追加するたびに、知識ベースで他のエントリを段階的に削除または書き直します。 7-13%(Mixtral-8x7B)と6-10%(Llama-3-8B)の精度を向上する。
  論文  参考訳（メタデータ） (2024-06-17T17:59:35Z)
• Revisiting Domain-Adaptive 3D Object Detection by Reliable, Diverse and Class-balanced Pseudo-Labeling [38.07637524378327]
  ドメイン適応型3Dオブジェクト検出において,疑似ラベリング技術を用いた教師なしドメイン適応(DA)が重要なアプローチとして浮上している。 既存のDAメソッドは、マルチクラスのトレーニング環境に適用した場合、パフォーマンスが大幅に低下する。 本稿では,すべてのクラスを一度に検出する学習に適した新しいReDBフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-16T04:34:11Z)
• Composed Image Retrieval with Text Feedback via Multi-grained Uncertainty Regularization [73.04187954213471]
  粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。 提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
  論文  参考訳（メタデータ） (2022-11-14T14:25:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。