論文の概要: ROTE: Benchmarking Neural Memorization on Complexity-Controlled Symbolic Sequences

• arxiv url: http://arxiv.org/abs/2609.31918v1
• Date: Fri, 25 Sep 2026 19:02:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 04:36:41.058485
• Title: ROTE: Benchmarking Neural Memorization on Complexity-Controlled Symbolic Sequences
• Title（参考訳）: ROTE: 複雑度制御されたシンボリックシーケンスのベンチマークによるニューラルメモリ化
• Abstract要約: ROTE(RollOut Testing of Exact memorization)は、ニューラルネットワークのシンボリック記憶を評価するためのベンチマークプロトコルである。 本稿では,LZW圧縮により複雑性が制御される配列を用いて,ニューラルネットワークモデルにおける暗記と記号規則の拡張について検討する。
• 参考スコア（独自算出の注目度）: 2.9248680865344343
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: We introduce ROTE (RollOut Testing of Exact memorization), a benchmarking protocol for evaluating symbolic memorization of neural architectures. We study memorization and the extension of symbolic rules in neural sequence models by using sequences whose complexity is regulated by Lempel--Ziv--Welch (LZW) compression. Under ROTE, each architecture is trained as the same finite-context conditional predictor and is evaluated using teacher-forced one-step prediction as well as closed-loop rollout on the withheld symbols. Following a shared prediction-and-rollout evaluation routine, the benchmark evaluates gated recurrent, minimal recurrent, attention-based, and hybrid recurrent-attention models with their native computational characteristics preserved. Beyond standard predictive metrics, the benchmark reports normalized string distances, training time, memory usage, and parameter count across an LZW-complexity sweep. The study establishes a connection between the complexity of algorithmic sequences and the memorization capacity of neural architectures, revealing the trade-offs involving memorization quality, rollout stability, and computational expense. Our software and reproducible experimental code can be obtained from https://github.com/nla-group/rote.
• Abstract（参考訳）: 本稿では,ニューラルネットワークのシンボリックメモリ化を評価するためのベンチマークプロトコルであるROTE(RollOut Testing of Exact memorization)を紹介する。 本稿では,LZW圧縮により複雑性が制御される配列を用いて,ニューラルネットワークモデルにおける暗記と記号規則の拡張について検討する。 ROTEでは、各アーキテクチャは、同じ有限コンテキスト条件付き予測器として訓練され、教師が強制したワンステップ予測と、保持されていないシンボルのクローズループロールアウトを用いて評価される。 共有された予測とロールアウトの評価ルーチンに従って、ベンチマークは、そのネイティブな計算特性を保存した、ゲート再帰、最小再帰、注意に基づく、およびハイブリッド再帰性モデルを評価する。 標準の予測指標以外にも、ベンチマークでは、正規化された文字列距離、トレーニング時間、メモリ使用量、LZW複雑なスイープでのパラメータカウントが報告されている。 この研究は、アルゴリズムシーケンスの複雑さとニューラルアーキテクチャの記憶能力の関連性を確立し、記憶品質、ロールアウト安定性、計算コストを含むトレードオフを明らかにする。 我々のソフトウェアと再現可能な実験コードはhttps://github.com/nla-group/roteから入手できる。

関連論文リスト

• Random Label Prediction Heads for Studying Memorization in Deep Neural Networks [3.134883909555613]
  分類タスクのためのディープニューラルネットワークにおける暗記を経験的に研究するための、単純で効果的な方法を提案する。 提案手法は,ランダムラベル予測ヘッド(RLPヘッド)によって予測される補助ランダムラベルを用いて,各トレーニングサンプルを増強する。 我々は、このランダムラベル精度の指標を利用して、異なるモデルやデータセットの一般化と過剰適合を分析する。
  論文  参考訳（メタデータ） (2026-07-13T13:26:42Z)
• Monitoring Neural Training with Topology: A Footprint-Predictable Collapse Index [51.56484100374058]
  我々は,MHM(Modular Morse Homology maintenance)とCI(Composite Collapse Index)を併用したオンライントポロジ対応型神経表現モニタを提案する。 コンプレックスを再構築する代わりに、スパース編集を一定のスケールで適用し、離散的なモースマッチングを維持し、高速でインクリメンタルな更新をもたらす。
  論文  参考訳（メタデータ） (2026-04-28T19:21:21Z)
• On Improving Neurosymbolic Learning by Exploiting the Representation Space [54.16389421332958]
  本稿では,入力インスタンスの隠されたゴールドラベルが論理式を満たすニューロシンボリック・セッティングにおけるニューラル分類器の学習問題について検討する。 ひとつの課題は、ラベルの組み合わせの空間が指数関数的に成長し、学習を困難にすることです。 類似の潜在表現を持つインスタンスが同じラベルを共有できるという直感を利用して,この空間を刺激する手法を提案する。
  論文  参考訳（メタデータ） (2026-02-08T13:56:47Z)
• Neural-Symbolic Recursive Machine for Systematic Generalization [113.22455566135757]
  我々は、基底記号システム(GSS)のコアとなるニューラル・シンボリック再帰機械(NSR)を紹介する。 NSRは神経知覚、構文解析、意味推論を統合している。 我々はNSRの有効性を,系統的一般化能力の探索を目的とした4つの挑戦的ベンチマークで評価した。
  論文  参考訳（メタデータ） (2022-10-04T13:27:38Z)
• The impact of memory on learning sequence-to-sequence tasks [6.603326895384289]
  自然言語処理におけるニューラルネットワークの最近の成功は、シーケンシャル・ツー・シーケンス(seq2seq)タスクに新たな注目を集めている。 本稿では,シークエンスにおけるメモリの次数,すなわち非マルコビアン性に対する明示的な制御の利点を生かしたSeq2seqタスクのモデルを提案する。
  論文  参考訳（メタデータ） (2022-05-29T14:57:33Z)
• Ensemble Conformalized Quantile Regression for Probabilistic Time Series Forecasting [4.716034416800441]
  本稿では,アンサンブル共形量子化回帰(EnCQR)と呼ばれる新しい確率予測手法を提案する。 EnCQRは、分布のないほぼ妥当な予測間隔(PI)を構築し、非定常およびヘテロセダスティック時系列データに適しており、任意の予測モデルの上に適用することができる。 その結果、EnCQRは量子レグレッションやコンフォメーション予測のみに基づくモデルよりも優れており、よりシャープで、より情報的で、有効なPIを提供することが示された。
  論文  参考訳（メタデータ） (2022-02-17T16:54:20Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Network Classifiers Based on Social Learning [71.86764107527812]
  空間と時間に対して独立に訓練された分類器を結合する新しい手法を提案する。 提案したアーキテクチャは、ラベルのないデータで時間とともに予測性能を改善することができる。 この戦略は高い確率で一貫した学習をもたらすことが示され、未訓練の分類器に対して頑健な構造が得られる。
  論文  参考訳（メタデータ） (2020-10-23T11:18:20Z)
• Separation of Memory and Processing in Dual Recurrent Neural Networks [0.0]
  入力に接続する繰り返し層とフィードフォワード層を積み重ねるニューラルネットワークアーキテクチャを探索する。 繰り返し単位の活性化関数にノイズが導入されたとき、これらのニューロンは二項活性化状態に強制され、ネットワークは有限オートマトンのように振る舞う。
  論文  参考訳（メタデータ） (2020-05-17T11:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。