論文の概要: In-Cell Learning: Deployed Language Models Can Learn New Knowledge Without Changing a Single Stored Bit

• arxiv url: http://arxiv.org/abs/2608.20873v2
• Date: Mon, 24 Aug 2026 08:51:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.897301
• Title: In-Cell Learning: Deployed Language Models Can Learn New Knowledge Without Changing a Single Stored Bit
• Title（参考訳）: インセルラーニング:単一の格納ビットを変更することなく、デプロイされた言語モデルが新しい知識を学習できる
• Abstract要約: 4ビットのリリースでは、各重みを整数コードと共有スケールとして格納し、格納された値の間に量子化器が捨てる間隔を残していることを示す。 私たちは、新しい知識をそのインターバルに書き込むパラダイムを、インセルラーニングと呼ぶ。 CellFillは、内部の低ランクの位置をベンダー自身の4ビットリリースでトレーニングすることで、構築によってパラダイムを実現する。
• 参考スコア（独自算出の注目度）: 4.726337413307433
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A deployed language model is a file that many things depend on - a benchmark report, a certification, a fleet of devices - and every way of teaching it something new produces a different file. We show that this is not necessary. A 4-bit release stores each weight as an integer code and a shared scale, and leaves between the stored values an interval the quantizer discards; we call in-cell learning the paradigm in which new knowledge is written only into that interval, so that re-quantizing the served weights reproduces the released codes and scales exactly. The guarantee is checked in the integer domain on every weight, the update is a separate file (a fill) that can be withdrawn by subtraction, and drift is bounded by radii the grid fixes before training. CellFill realizes the paradigm by construction: a low-rank position inside the cell, trained on the vendor's own 4-bit release. On those releases - NF4, QAT and GPTQ-style grids, Qwen3 and Gemma, 1.7B to 31B - CellFill writes 83 to 97 percent of a corpus of real facts the models verifiably did not know, with zero violations over up to 2.4 x 10^10 constrained weights. We demonstrate the knowledge is usable: injected drugs compose with injected ingredients at the model's own two-hop ceiling, and a post-cutoff software library is used in code at 2.6 times chance. Against retrieval on PopQA's long tail, the fill answers 82 to 90 percent of questions the released model could not, at 75 tokens per question against 90 to 1008. Several writers can share one release, sequential updates consume a constant fraction of the remaining room, and the archived result files behind every table are at https://github.com/sumsliu/cellfill.
• Abstract（参考訳）: デプロイされた言語モデルは、多くのことが依存するファイルである - ベンチマークレポート、認証、デバイス群、そして新しいものを教えるあらゆる方法が異なるファイルを生成する。 これは必要ないことを示しています。 4ビットのリリースでは,各ウェイトを整数符号と共有尺度として格納し,格納された値の間に量子化器が捨てる間隔を残しておく。 保証はすべての重みで整数領域でチェックされ、更新はサブトラクションによって取り下げられる別のファイル(フィル)であり、ドリフトはトレーニング前のグリッド修正のラジイによってバウンドされる。 CellFillは、内部の低ランクの位置をベンダー自身の4ビットリリースでトレーニングすることで、構築によってパラダイムを実現する。 これらのリリース - NF4、QAT、GPTQスタイルのグリッド、Qwen3、Gemma、1.7Bから31B - CellFillは、実写のコーパスの83～97%を記述している。 インジェクトされた薬物はモデル自身の2つのホップ天井に注入された成分で構成され、カット後のソフトウェアライブラリは2.6倍の確率でコードで使用される。 PopQAのロングテールの検索に対して、フィリングは、リリースしたモデルができなかった質問の82～90%を、90～1008に対して1問あたり75トークンで答えた。 いくつかのライターは1つのリリースを共有でき、シーケンシャルな更新は残りの部屋の一定割合を消費し、各テーブルの後方にあるアーカイブされた結果ファイルはhttps://github.com/sumsliu/cellfillにある。

関連論文リスト

• NovaFabric: Tamper-Evident, Replayable Evidence for Autonomous AI Agent Runs [0.0]
  我々はNovaFabricを紹介し、監査グレードの実行証拠を作成している。 エージェントロジックを変更することなく実行中のエージェントを、ポータブルなRun Capsuleに記録する。 シードランは4モードのリプレイプロトコルで再実行可能である。 我々は8つの研究課題を測定範囲で評価した。
  論文  参考訳（メタデータ） (2026-09-11T08:35:43Z)
• Tied Trit-Planes: Constraining PTQTP to a Uniform Nine-Level Quantizer, with a Persistent Folded Format for Disk-Streamed Mixture-of-Experts Serving [0.28304882054363123]
  この研究はPTQTPの解法に制約としてそのアイデンティティを課した最初のものである。 我々は、284B-A13B混合エキスパートモデルであるDeepSeek-V4-Flash-0731のルートエキスパートに適用する。 すべてのコード、フォーマット、評価アーティファクトは、fucina推論スタックでオープンソースである。
  論文  参考訳（メタデータ） (2026-08-09T20:53:47Z)
• Smarter and Cheaper at Once: Byte-Exact KV-Cache Grafting Turns a Frozen Small Model into a Verified-Knowledge Flywheel [0.0]
  凍結した小さな言語モデルを、重みを変えることなく、同時により有能かつ劇的に安価にします。 浮動小数点回転符号化モデルにおいて,自己配置グラフトは数値的に正確な操作点であることを示す。 システムは動作レベルで記述され、エンジンはプロプライエタリであり、報告された全ての数値はコミットされた入力と出力によってバックアップされるので、スコアはそれなしで再チェックできる。
  論文  参考訳（メタデータ） (2026-07-15T23:55:48Z)
• Requential Coding: Pushing the Limits of Model Compression with Self-Generated Training Data [55.04392122319273]
  本稿では,教師モデルが生徒自身の分布から抽出した学習サンプルを選択するための逐次符号化手法を提案する。 結果として得られるコード長は、パラメータカウントとデータエントロピーとは独立しており、多くの場合、先行するコード長よりも桁違いに短い。
  論文  参考訳（メタデータ） (2026-07-13T17:58:50Z)
• Forgetting Is Not a Fix: Path Dependence in Sequential Engram Editing [35.76482964927589]
  本研究では,概念固有のメモリトレースが1回,1回,1回を算術的に組み合わせて抽出できる線形オブジェクトとなるという仮説を検証した。 そのテストは、著者自身の参照実装に基づいて、報告された最高の編集強度で実行します。 アンラーニング・アズ・コンプライアンス:今日認定された消去は、次の編集後にアーティファクトを認定しない。
  論文  参考訳（メタデータ） (2026-07-06T23:45:06Z)
• REVES: REvision and VErification--Augmented Training for Test-Time Scaling [53.197756110943395]
  本稿では,オンラインデータ/プロンプト拡張とポリシー最適化を交互に行う2段階反復フレームワークを提案する。 我々は、RLベースライン上の+6.5点と、標準マルチターントレーニングにおける+4.0点の利得を観察する。
  論文  参考訳（メタデータ） (2026-06-17T10:37:23Z)
• Right Makes Might: Aligning Verified Hidden States Empowers RL Reasoning [55.264863369127774]
  現在の方法では、それぞれの正しいロールアウトを単一の報酬ビットに減らし、隠れた状態間で共有される幾何学的構造を無視している。 本稿では,RLトレーニングにおけるアンカートークンにおける正ロールアウトの最終層を,トレーニングと推論の両方においてゼロオーバーヘッドで整列する補助損失関数Hidden-Alignを提案する。 8つの数学的推論ベンチマークでは、Hidden-AlignはDAPOベースラインの平均パス@1をQwen3-1.7B, 4B, 14Bで3.8, 6.2, 5.4ポイント改善し、3つのスケールで一貫したパス@kゲインを得る。
  論文  参考訳（メタデータ） (2026-06-02T06:51:15Z)
• CRMA: A Spectrally-Bounded Backbone for Modular Continual Fine-Tuning of LLMs [0.0]
  我々は、内部混合行列 M がシンクホーン正規化による全ての前方通過において二重確率である残留アダプタ CRMA を紹介する。 5つのドメインにまたがるMistral-7Bでは、モジュラー・パー・タスクのLoRAは、+42.96%+/-5.5(ナイーブ微調整)から-0.17%+/-0.17までのバックボーンの損失相対的ドリフトを仲介する。
  論文  参考訳（メタデータ） (2026-05-29T21:50:23Z)
• CommitDistill: A Lightweight Knowledge-Centric Memory Layer for Software Repositories [0.5872014229110213]
  ソフトウェアは、コミットメッセージ、プルリクエストの議論、スレッド発行に大量の構造化されていない知識を蓄積します。 エージェントのタイプメモリアーキテクチャ(MemGPT、生成エージェント、YangらのPlugMemモジュール)に関する最近の研究は、エージェントメモリは生の対話テキストではなく、蒸留された型付き知識であるべきだと主張している。 私たちは、決定論的、依存性なし、ローカルのみ、埋め込みなしという制約のある体制の下で、ソフトウェアリポジトリ自身のgit履歴にそのスタンスを適用します。
  論文  参考訳（メタデータ） (2026-05-18T12:14:28Z)
• Forgetting That Sticks: Quantization-Permanent Unlearning via Circuit Attribution [3.6704226968275253]
  量子化を乗り越える手法はモデルにほとんど変化しないが, 圧縮条件下では, 有意義な忘れ方を実現するための勾配に基づく手法を示す。 因果回路の属性を組み合わせることで両モードを解消し,最小限の差分集合部分グラフを分離するMANSUを提案する。 さらに,構造的消去と行動抑制を区別する機構的検証尺度であるCircuit Attribution Divergence(CAD)を導入する。
  論文  参考訳（メタデータ） (2026-05-14T17:44:10Z)
• How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
  昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。 HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
  論文  参考訳（メタデータ） (2026-05-08T09:30:31Z)
• Keeping Code-Aware LLMs Fresh: Full Refresh, In-Context Deltas, and Incremental Fine-Tuning [0.0]
  我々は、以前のコードに保持を放棄することなく、モデルを新しい状態に保つ方法を研究している。 A)新しいスナップショットでモデル全体をトレーニングするフルリフレッシュ、(B)推論時に最近のデルタを注入するインコンテキストラーニング(ICL)、(C)デルタ由来のトレーニングセット上のインクリメンタルファインタニング(Inc-FT)の3つのファミリーを比較した。 削除されたパスに報いることなく、リネームをクレジットするエイリアス対応評価プロトコルと、削除されたパスの残余排出量を定量化する実用的なフォーッティングプローブをコントリビュートする。
  論文  参考訳（メタデータ） (2025-11-18T01:01:56Z)
• Continual Learning via Sparse Memory Finetuning [58.163704181154834]
  本稿では,スパースパラメータの更新が大惨事な忘れをせずに学習を可能にするかどうかを考察する。 事前学習データの使用に関する新しい知識によって活性化されるメモリスロットのみを更新することにより、新しい知識とモデルの既存の能力との干渉を減らすことができる。 スパースメモリの微調整は、忘れることを大幅に減らしながら、新しい知識を学習することを発見した。
  論文  参考訳（メタデータ） (2025-10-16T19:44:38Z)
• Ensemble Threshold Calibration for Stable Sensitivity Control [0.0]
  本稿では,数千万組の幾何対もの幾何に対して,過度に分散した正確なリコールを実現するエンド・ツー・エンドのフレームワークを提案する。 我々のアプローチは、小さなエラーで常にリコールターゲットにヒットし、他のキャリブレーションと比較して冗長な検証を減らし、単一のTPU v3コア上でエンドツーエンドで実行します。
  論文  参考訳（メタデータ） (2025-10-02T15:22:28Z)
• Apertus: Democratizing Open and Compliant LLMs for Global Language Environments [163.70368742538187]
  Apertusは、今日のオープンモデルエコシステムにおける2つのシステム的欠点に対処するために設計された、大きな言語モデル(LLM)の完全なオープンスイートである。 Apertusモデルは、公開データにのみ事前訓練されており、ロボット.txtの除外や、非許容的で有毒で個人が特定可能なコンテンツに対するフィルタリングを尊重している。 Apertusモデルはまた、1800以上の言語から15Tトークンをトレーニングし、非英語コンテンツに割り当てられた事前トレーニングデータの40%をトレーニングしている。
  論文  参考訳（メタデータ） (2025-09-17T17:59:21Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• Language Modeling with Editable External Knowledge [90.7714362827356]
  本稿では,新たな文書取得時のモデル動作を改善するERASEを提案する。 ドキュメントを追加するたびに、知識ベースで他のエントリを段階的に削除または書き直します。 7-13%(Mixtral-8x7B)と6-10%(Llama-3-8B)の精度を向上する。
  論文  参考訳（メタデータ） (2024-06-17T17:59:35Z)
• Revisiting Domain-Adaptive 3D Object Detection by Reliable, Diverse and Class-balanced Pseudo-Labeling [38.07637524378327]
  ドメイン適応型3Dオブジェクト検出において,疑似ラベリング技術を用いた教師なしドメイン適応(DA)が重要なアプローチとして浮上している。 既存のDAメソッドは、マルチクラスのトレーニング環境に適用した場合、パフォーマンスが大幅に低下する。 本稿では,すべてのクラスを一度に検出する学習に適した新しいReDBフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-07-16T04:34:11Z)
• Composed Image Retrieval with Text Feedback via Multi-grained Uncertainty Regularization [73.04187954213471]
  粗い検索ときめ細かい検索を同時にモデル化する統合学習手法を提案する。 提案手法は、強いベースラインに対して+4.03%、+3.38%、+2.40%のRecall@50精度を達成した。
  論文  参考訳（メタデータ） (2022-11-14T14:25:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。