論文の概要: A Collision-Free Hot-Tier Extension for Engram-Style Conditional Memory: A Controlled Study of Training Dynamics

• arxiv url: http://arxiv.org/abs/2601.16531v1
• Date: Fri, 23 Jan 2026 08:07:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-26 14:27:27.599996
• Title: A Collision-Free Hot-Tier Extension for Engram-Style Conditional Memory: A Controlled Study of Training Dynamics
• Title（参考訳）: エングラム型条件記憶のためのコリションフリーホットタイア拡張:トレーニングダイナミクスの制御された研究
• Authors: Tao Lin,
• Abstract要約: 本稿では、Engramスタイルの条件記憶において、高周波鍵衝突が主要なボトルネックであるかどうかを考察する。 衝突のないホット層拡張であるEngram-Nineを導入し、最小完全ハッシュ関数を通して最も頻繁なn-gramをマッピングする。 以上の結果から,ルックアップ精度の向上だけではトレーニング結果の改善が保証されないことが示唆された。
• 参考スコア（独自算出の注目度）: 8.704321664420908
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We investigate whether high-frequency key collisions are a primary bottleneck in Engram-style conditional memory. To isolate the effect of collisions, we introduce Engram-Nine, a collision-free hot-tier extension that maps the most frequent n-grams through a Minimal Perfect Hash Function (MPHF) while retaining the original multi-head hashed lookup as a cold tier. Under a strictly iso-parameter setup, the collision-free design does not consistently improve validation loss. Through route-stratified evaluation (decomposing per-token loss into hot/cold contributions), we uncover a consistent "hot-to-cold advantage flip" during training: hot (high-frequency) positions initially have lower loss, but cold positions eventually surpass them. Crucially, collision-free configurations flip earlier than collision-prone baselines, suggesting that collisions act as implicit regularization. We also identify a gating mismatch: the gate learns to favor hot positions early in training, but this preference persists even after the flip, assigning higher weights to positions with higher loss. Our findings suggest that improving lookup precision alone does not guarantee better training outcomes. The dominant limitation may lie in gating credit assignment rather than index accuracy, and collision-induced noise may provide beneficial regularization that should not be naively eliminated.
• Abstract（参考訳）: 本稿では、Engramスタイルの条件記憶において、高周波鍵衝突が主要なボトルネックであるかどうかを考察する。 衝突の影響を分離するため,衝突のないホット層拡張であるEngram-Nineを導入し,最も頻繁なn-gramをMPHF(Minimmal Perfect Hash Function)を通してマッピングし,元のマルチヘッドハッシュのルックアップをコールド層として保持する。 厳密なアイソパラメータ設定の下では、衝突のない設計は検証損失を常に改善しない。 経路階層化評価(ホット/コールド・コントリビューションにトーケン毎の損失を分解する)を通じて、トレーニング中に一貫した「ホット・ツー・コールド・アドバンテージ・フリップ(hot-to-cold advantage flip)」を明らかにする。 重要なことに、衝突のない構成は、衝突を起こしやすいベースラインよりも早く反転し、衝突が暗黙の正則化として振る舞うことを示唆している。 ゲートはトレーニングの早い段階でホットポジションを優先するように学習するが、この選好はフリップ後にも継続し、より高い重みをより高い損失の位置に割り当てる。 以上の結果から,ルックアップ精度の向上だけではトレーニング結果の改善が保証されないことが示唆された。 支配的な制限は、インデックスの精度よりも信用の割り当てをゲーティングすることにあるかもしれないし、衝突によるノイズは、故意に排除すべきでない有益な正規化をもたらすかもしれない。

関連論文リスト

• How Does Prefix Matter in Reasoning Model Tuning? [57.69882799751655]
  推論(数学)、コーディング、安全性、事実性の3つのコアモデル機能にまたがる3つのR1シリーズモデルを微調整します。 その結果,プレフィックス条件付きSFTでは安全性と推論性能が向上し,Safe@1の精度は最大で6%向上した。
  論文  参考訳（メタデータ） (2026-01-04T18:04:23Z)
• Taming the Tail: Stable LLM Reinforcement Learning via Dynamic Vocabulary Pruning [35.41241409574854]
  推論エンジンと数値的精度のトレーニングシステムは、同じパラメータから異なる確率分布を生成し、トレーニング推論ミスマッチを生成する。 このようなトークンを刈り取ることで、大きな、体系的にバイアスのあるミスマッチを、小さな、境界付けられた最適化バイアスと交換する。
  論文  参考訳（メタデータ） (2025-12-28T21:44:07Z)
• MIRA: Towards Mitigating Reward Hacking in Inference-Time Alignment of T2I Diffusion Models [86.07486858219137]
  拡散モデルは、テキストプロンプトに条件付けされた画像を生成するのに優れている。 得られた画像は、Aesthetic Scoresのようなスカラー報酬によって測定されるユーザ固有の基準を満たさないことが多い。 近年,ノイズ最適化による推定時間アライメントが,効率的な代替手段として浮上している。 このアプローチは報酬のハッキングに苦しめられ、モデルが高いスコアの画像を生成できるが、元のプロンプトとはかなり異なる。
  論文  参考訳（メタデータ） (2025-10-02T00:47:36Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• Detection and Mitigation of Byzantine Attacks in Distributed Training [24.951227624475443]
  ワーカノードの異常なビザンチン挙動は、トレーニングを脱線させ、推論の品質を損なう可能性がある。 最近の研究は、幅広い攻撃モデルを検討し、歪んだ勾配を補正するために頑健な集約と/または計算冗長性を探究している。 本研究では、強力な攻撃モデルについて検討する:$q$ omniscient adversaries with full knowledge of the defense protocol that can change from iteration to iteration to weak one: $q$ randomly selected adversaries with limited collusion abilities。
  論文  参考訳（メタデータ） (2022-08-17T05:49:52Z)
• Learning with Noisy Labels via Sparse Regularization [76.31104997491695]
  ノイズの多いラベルで学習することは、正確なディープニューラルネットワークをトレーニングするための重要なタスクである。 クロスエントロピー(Cross Entropy, CE)など、一般的に使われている損失関数は、ノイズラベルへの過度なオーバーフィットに悩まされている。 我々は, スパース正規化戦略を導入し, ワンホット制約を近似する。
  論文  参考訳（メタデータ） (2021-07-31T09:40:23Z)
• Striking the Right Balance: Recall Loss for Semantic Segmentation [24.047359482606307]
  クラス不均衡は、セマンティックセグメンテーションのようなコンピュータビジョンアプリケーションにおける基本的な問題である。 我々は,バニラクロスエントロピー損失を変形させることにより,ハードクラスの鉱業損失を提案する。 本研究では, 標準クロスエントロピー損失と逆周波数重み付き損失との間に, 新たなリコール損失が徐々に変化することを示す。
  論文  参考訳（メタデータ） (2021-06-28T18:02:03Z)
• Correcting Momentum in Temporal Difference Learning [95.62766731469671]
  時間差(TD)学習のモーメントは2倍に不安定になる勾配を蓄積すると主張している。 この現象が存在することを示し、その上で運動量に対する一階補正項を提案する。 この研究の重要な洞察は、深いRL法は、常に監督された設定から直接テクニックをインポートすることで最適ではないということである。
  論文  参考訳（メタデータ） (2021-06-07T20:41:15Z)
• PCPL: Predicate-Correlation Perception Learning for Unbiased Scene Graph Generation [58.98802062945709]
  本稿では,適切な損失重みを適応的に求めるための新しい述語相関知覚学習手法を提案する。 我々のPCPLフレームワークは、文脈特徴をよりよく抽出するグラフエンコーダモジュールも備えています。
  論文  参考訳（メタデータ） (2020-09-02T08:30:09Z)
• Cold Posteriors and Aleatoric Uncertainty [32.341379426923105]
  近年の研究では、ベイズニューラルネットワークの正確な推論は、検証セットで後部の「温度」をチューニングすることで達成されている。 我々は,多くの分類データセットにおいて,ラベルのアレラトリック不確実性を著しく過大評価することができることを論じる。
  論文  参考訳（メタデータ） (2020-07-31T18:37:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。