論文の概要: Memoir: Should a Model Write to Its Memory While It Thinks?
- arxiv url: http://arxiv.org/abs/2607.20792v1
- Date: Wed, 22 Jul 2026 23:34:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-24 18:26:25.24763
- Title: Memoir: Should a Model Write to Its Memory While It Thinks?
- Title(参考訳): Memoir: モデルは考えながらメモリに書き込むべきか?
- Abstract要約: Memoirは、サンプル毎の高速メモリ、共有スローパラメータ、変数深度潜時再発、および将来の遅延エネルギー目標を組み合わせたものだ。
組み合わせた腕と、それ以外は同じ読み取り専用の機雷アームを比較します。
メモリの書き直しがエネルギーシグナルを損なうという予測された失敗は起こらなかった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Memoir combines per-sample fast memory, shared slow parameters, variable-depth latent recurrence, and a future-latent energy objective. We test its riskiest coupling: each pondering iteration may rewrite the fast tier that the same iteration reads. On procedural associative recall with key interference, we compare a coupled arm against an otherwise identical read-only pondering arm. Both arms contain 81,738 parameters, including 76,362 trainable parameters, and use matched declared forward multiply-accumulate counts, data, optimizer, schedule, and seeds. After 240 training steps across 12 seeds, coupled recall is 0.5203 with a 95 percent interval of [0.4522, 0.5883], while read-only recall is 0.6557 with [0.5953, 0.7160]. The arms are paired per seed, and the read-only lead of 0.1354 gives a paired t of 3.23 on 11 degrees of freedom with a 95 percent interval of [0.0431, 0.2277] on the difference, winning on 10 of 12 seeds. After 960 steps across 8 seeds, both arms reach 1.0000, so the measured effect is a learning-speed penalty at a fixed budget, not a demonstrated capability penalty. That longer control is ceiling limited, leaving convergence on a non-saturating task unmeasured. A predicted failure in which memory rewriting corrupts the energy signal did not occur: the energy margin grew and held. Kernel restructuring also reduced delta-rule forward time from 0.907 ms to 0.351 ms on the stated device. Code and evidence are available at https://github.com/RightNow-AI/Memoir
- Abstract(参考訳): Memoirは、サンプル毎の高速メモリ、共有スローパラメータ、変数深度潜時再発、および将来の遅延エネルギー目標を組み合わせたものだ。
各イテレーションを熟考すれば、同じイテレーションが読む高速な階層を書き換えることができます。
キー干渉を伴う手続き的連想的リコールでは、結合した腕とそれと全く同じリードオンリーのミネアリングアームを比較した。
両腕には、76,362個のトレーニング可能なパラメータを含む81,738個のパラメータが含まれており、一致すると宣言された前方乗算累積数、データ、オプティマイザ、スケジュール、種子を使用する。
12種にわたる240のトレーニングステップの後、結合リコールは0.5203、95%インターバルは[0.4522, 0.5883]、リードオンリーリコールは0.56557、[0.5953, 0.7160]である。
腕は種ごとにペアリングされ、読み取り専用鉛は0.1354で、対のtは11度で3.23で、差の95%は[0.0431, 0.2277]で、12種中10種で勝利する。
8個の種子を960歩歩いた後、両腕は10000ドルに達するので、測定された効果は一定の予算で学習速度のペナルティであり、能力のペナルティを示すものではない。
この長い制御は天井に限られており、非飽和タスクへの収束は未測定のままである。
メモリの書き直しがエネルギーシグナルを損なうという予測された失敗は発生せず、エネルギーマージンは増大し、保持された。
カーネルの再構築によりデルタルールの転送時間が0.907msから0.351msに短縮された。
コードと証拠はhttps://github.com/RightNow-AI/Memoirで公開されている。
関連論文リスト
- Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。
我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。
52,988件の要求を監査し、スピアマン0.400で0.90と一致した。
証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
論文 参考訳(メタデータ) (2026-09-03T17:59:43Z) - Shortcut Before Circuit: Document Statistics Time In-Context Conflict Resolution [0.0]
我々は、電流と希薄度が正確に一致した合成言語でトランスフォーマーを訓練する。
私たちはこれらを最小限の因果編集で分離し、真実、トークン数、答え位置を固定しながら1つのキューを反転させます。
論文 参考訳(メタデータ) (2026-08-25T12:09:19Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳(メタデータ) (2026-08-14T19:22:50Z) - Omega-S: A Functional Resilience Index for LLM Fine-Tuning [0.0]
大規模な言語モデルの微調整は、以前学んだことを劣化させる。
重み行列のみから計算したドロップインペナルティであるOmega-Sを提案する。
既存のトレーニングループには3行あり、ステップのコストに対して4%未満の追加がある。
論文 参考訳(メタデータ) (2026-08-04T16:22:30Z) - Voice Memory for Agentic Speech Recognition [66.69623133635868]
エージェント音声認識のための推論専用スキームであるVoice Memoryを提案する。
同期的に、スコア付き例は、境界編集を通じてそのファイルを更新する。
10のHyPoradiseドメインにオープン修正器、Voice Memory、重み付き単語エラー率8.36%から7.52%の10のドメインがある。
論文 参考訳(メタデータ) (2026-07-29T02:42:56Z) - Operational Proto-Introspection in Looped Language Models: Process-Quality Taps, Executable Branching, and the Readout-Control Boundary [0.0]
凍結した2.6Bループ変換器であるOuro-RLTTで2つの質問を検証した。
言語モデルは、進行中の計算の質を読み取ることができ、その読み出しをより良い結果に変えることができるのか?
We build branch/carry/prune machines on Ouro's 192-slot recurrent cache。
論文 参考訳(メタデータ) (2026-07-20T22:40:36Z) - Forgetful Attention: A Trainable Support-Vector Memory with Certified Selection and Exact Unlearning [0.16921396880325776]
固定ボックスパラメータCの1クラスSfpの支持係数が重みを持つメモリであるSupport Vector Attention(SV-Attention)を導入する。
アクティブセットのパーティションは、リザーブトークンを正確にゼロウェイト、出力ウェイトを与え、インクリメンタルインクリメンタルソルバトークンは、同じCの下で再トレーニングせずに生成した状態を回復する。
また,実文埋め込み上での外科的排除,正確な編集,患者記録の削除,忘れやすい検索メモリも示す。
論文 参考訳(メタデータ) (2026-07-13T23:13:57Z) - AgenticSTS: A Bounded-Memory Testbed for Long-Horizon LLM Agents [34.450981549319266]
長期 LLM エージェントの記憶は、将来の決定が何を見るかに関する契約である。
すべての決定は、型付き検索によって組み立てられた新鮮なユーザメッセージからなされます。
Slay the Spire 2はクローズドルールのデッキビルディングゲームだ。
論文 参考訳(メタデータ) (2026-07-02T14:44:32Z) - What Spatial Memory Must Store: Occlusion as the Test for Language-Agent Memory [0.0]
言語エージェントの「メモリ・パレス」システムは、図形がテキストにできないものを追加するという直感に基づいて、各メモリを世界座標に固定する。
私たちはその直感を検証し、3つの結果を報告します。
論文 参考訳(メタデータ) (2026-06-09T01:34:18Z) - Echo-Memory: A Controlled Study of Memory in Action World Models [58.77172260403133]
本研究では,行動条件付き世界モデルにおける記憶機構の制御に関する研究を行う。
既存のメモリ設計と比較するのは難しいのは、ゲインにはバックボーン、トレーニング、検索、評価の違いが絡み合っているからである。
我々はEcho-Memoryを使ってアクション・ツー・ビデオのインタフェースを修正し、生成元によって履歴が保存され読み込まれるかだけを変える。
論文 参考訳(メタデータ) (2026-06-08T17:54:10Z) - Distributional Energy-Based Models for Uncertainty-Aware Structured LLM Reasoning [40.342912574072024]
大規模言語モデルは、旅行計画やコードソリューションのような構造化されたアウトプットを生成する。
個々の推論ステップは正しく見えるが、アウトプット全体が予算に違反したり、テストケースに失敗したり、あるいは以前の推論に矛盾することがある。
構造化LCM出力の検証のための決定論的解析制約付き学習品質スコアラを提案する。
論文 参考訳(メタデータ) (2026-05-15T17:08:27Z) - KernelBenchX: A Comprehensive Benchmark for Evaluating LLM-Generated GPU Kernels [41.03500441875287]
LLMベースのTritonカーネル生成は大きな関心を集めているが、基本的な実験的な疑問は未解決のままである。
本稿では,その正しさとハードウェア効率のカテゴリ認識による評価を通じて,この問題に対処するためのベンチマークであるKernelBenchXを提案する。
論文 参考訳(メタデータ) (2026-05-06T14:18:36Z) - ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
LongMemEval-500では、ZenBrainは長いコンテキストのオラクルのバイナリ・ジャッジの精度を4.5pp以内と一致させる。
ZenBrainは7層の神経科学にインスパイアされたメモリアーキテクチャである。
論文 参考訳(メタデータ) (2026-04-26T20:39:19Z) - When to Forget: A Memory Governance Primitive [0.0]
Memory Worthはメモリ当たりの2カウンタ信号で、メモリが成功と失敗を共起する頻度を追跡する。
MW は条件付き成功確率 p+(m) = Pr[y_t = +1 | m in M_t] にほぼ確実に収束することを示す。
これは今でもメモリ管理にとって有用な操作信号であり、制御された合成環境で実証的に検証する。
論文 参考訳(メタデータ) (2026-04-13T19:54:14Z) - ImplicitMemBench: Measuring Unconscious Behavioral Adaptation in Large Language Models [60.14219417402433]
LLMエージェントの既存のメモリベンチマークは、事実の明示的なリコールを評価するが、意識的な検索なしに、経験が自動的な振る舞いになる暗黙の記憶を見落としている。
IndicitMemBenchは、非宣言的メモリの標準的な認知科学のアカウントから引き出された3つの構造を通して暗黙的メモリを評価する最初の体系的なベンチマークである。
当社の300イテムスイートでは,初動採点を備えたLearning/Priming-Interfere-Testプロトコルを統一しています。
論文 参考訳(メタデータ) (2026-04-09T10:26:32Z) - Sparse Regression under Correlation and Weak Signals: A Reproducible Benchmark of Classical and Bayesian Methods [1.6679662639178268]
合成データに対する6つのスパース回帰法をベンチマークした。
ベイズ法は予測誤差(MSE 72 vs. 108-267)で勝利し、ホースシューは95%近くをカバーしている(94.8%)。
可変選択の場合、F1 0.47のラッソとスパイク・アンド・スラブのネクタイは、後部が不要な場合に事実上のデフォルトとなる。
論文 参考訳(メタデータ) (2026-04-04T15:46:44Z) - Compact Memory for Continual Logistic Regression [45.6774409797545]
本稿では,ロジスティック回帰のためのコンパクトメモリ構築手法を提案する。
弊社のアプローチは、Experience Replayに比べて大幅に精度を向上できる。
我々の研究は、連続的な深層学習に役立つコンパクトメモリを構築するための新しい方向を開く。
論文 参考訳(メタデータ) (2025-11-12T10:05:06Z) - Prune Spatio-temporal Tokens by Semantic-aware Temporal Accumulation [89.88214896713846]
STAスコアは、時間的冗長性と意味的重要性の2つの重要な要因を考慮に入れている。
市販のビデオトランスフォーマーとビデオウィンにSTAモジュールを適用する。
結果: Kinetics-400 と something-Something V2 は 30% のオーバーシェルフ削減を実現し,0.2% の精度低下を実現した。
論文 参考訳(メタデータ) (2023-08-08T19:38:15Z) - Towards Certified Robustness of Distance Metric Learning [53.96113074344632]
我々は,距離学習アルゴリズムの一般化とロバスト性を改善するために,入力空間に逆のマージンを付与することを提唱する。
アルゴリズム的ロバスト性の理論手法を用いることにより,拡張マージンは一般化能力に有益であることを示す。
論文 参考訳(メタデータ) (2020-06-10T16:51:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。