論文の概要: Compressed Recurrent Feedback in Tsetlin Machines: A Reproducible Boolean-FSM Study

• arxiv url: http://arxiv.org/abs/2609.06133v1
• Date: Sat, 05 Sep 2026 14:58:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-10 19:44:08.208359
• Title: Compressed Recurrent Feedback in Tsetlin Machines: A Reproducible Boolean-FSM Study
• Title（参考訳）: Tsetlinマシンにおける圧縮リカレントフィードバック:再現可能なBoolean-FSM研究
• Abstract要約: 小さなデバイス上での逐次推論は、長い入力レコードを繰り返すことなく有用な履歴を保持するモデルを必要とする。 セクションバンクによって直接フィードバックが増加し、不要に繰り返し入力を拡大することができる。 排他的OR(XOR)折りたたみによる節のアクティベーションを組み合わせ、折りたたみビットを2つの時間スケールで保持し、それらをバイナリ状態に戻します。
• 参考スコア（独自算出の注目度）: 2.9427962599440822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sequential inference on small devices requires a model to retain useful history without repeatedly processing a long input record. A Recurrent Tsetlin Machine (RTM) provides this memory by returning Boolean clause outputs from one time step as inputs to the next. Direct feedback, however, grows with the clause bank and can make the recurrent input unnecessarily wide. This paper investigates a fixed-width alternative. We combine clause activations by exclusive-OR (XOR) folding, retain the folded bits at two time scales, and threshold them back to a binary state. The resulting design reduces 480 clause activations to 96 recurrent bits. We evaluate the method on a reproducible Boolean finite-state-machine benchmark with explicit transition rules, data splits, and random seeds. Across 144 runs, the compressed model obtains $61.47 \pm 6.74\%$ and $62.94 \pm 9.92\%$ accuracy on the two task families. Raw clause feedback changes these means by less than one percentage point, while increasing the recurrent width tenfold and measured host execution time by $4.38\times$ and $3.71\times$. Gated neural models remain more accurate, and a no-feedback control retaining only short input history achieves comparable or slightly higher accuracy. On this benchmark, folding matches raw feedback within small empirical margins at a much narrower interface; these findings also underscore the critical necessity of no-feedback recurrence controls when benchmarking sequence models.
• Abstract（参考訳）: 小さなデバイス上での逐次推論は、長い入力レコードを繰り返すことなく有用な履歴を保持するモデルを必要とする。 Recurrent Tsetlin Machine (RTM)は、Boolean節を入力として1ステップから次のステップに出力することで、このメモリを提供する。 しかし、直接フィードバックは、節バンクと共に成長し、再帰的な入力を不必要に広くすることができる。 本稿では固定幅の代替案について検討する。 排他的OR(XOR)折りたたみによる節のアクティベーションを組み合わせ、折りたたみビットを2つの時間スケールで保持し、それらをバイナリ状態に戻します。 結果として、480個の節のアクティベーションが96個の繰り返しビットに減少する。 再現性のあるブール有限状態マシンベンチマークにおいて, 明示的な遷移規則, データ分割, ランダムシードを用いた評価を行った。 144回の実行で、圧縮されたモデルは61.47 \pm 6.74\%$と62.94 \pm 9.92\%$2つのタスクファミリに対して精度を得る。 raw節のフィードバックは、これらの手段を1ポイント未満で変更し、繰り返し発生する幅を10倍にし、ホストの実行時間を4.38\times$と3.71\times$で測定する。 ゲーテッドニューラルモデルはより正確であり、短い入力履歴のみを保持するフィードバックなし制御は、同等またはわずかに高い精度を達成する。 このベンチマークでは、折り畳みはより狭いインターフェースで小さな経験的マージン内での生のフィードバックと一致し、これらの結果は、ベンチマーク・シーケンス・モデルにおいて、フィードバックなしの再発制御が重要な必要性を浮き彫りにしている。

関連論文リスト

• Don't Repeat Yourself: Stopping Verbatim Loops at Sampling Time [7.915227100714005]
  大規模言語モデルはテキストを自動回帰的に生成するが、オープンエンド生成は動詞のループの傾向が強い。 我々は,現在の接尾辞を,コンテキストの早い段階で見られるスパンの正確な連続に拡張する場合にのみ,候補トークンをペナルティ化するサンプリングタイムロジット調整であるDon't Repeat Yourself (DRY)を提案する。 DRYは、llama、ExLlamaV2、text-generation-webuiなど、人気のあるオープンソース推論フレームワークで採用されている。
  論文  参考訳（メタデータ） (2026-08-24T03:33:39Z)
• Back from the Future: Key-Value Cache Management by Counter-Causal Surprise [67.1056509495879]
  近年,キーバリュー(KV)キャッシュ管理が重要な研究方向として注目されている。 より最近のトークンからよく予測できる過去のトークンは冗長である,という洞察に動機づけられた,単純かつ効果的なKV消去スキームを提案する。 我々は,他の最先端手法と比較して,競争力や性能向上を示す各種オープンソースLCMとベンチマークデータセットについて,我々の戦略を評価した。
  論文  参考訳（メタデータ） (2026-07-30T02:42:51Z)
• Penelope: Localized Latent Recurrence for Efficient Structured Reasoning [26.549641831847982]
  Penelopeは、事前訓練されたデコーダのみのトランスフォーマーのための効率的な潜時推論フレームワークである。 再帰計算を選択されたデコーダ間隔にローカライズする。 確立された潜在推論モデルと比較して、競争精度が向上する。
  論文  参考訳（メタデータ） (2026-07-28T16:06:46Z)
• Test-Time Scaling via Error Localization [15.13459650752427]
  大規模言語モデルの性能向上のための信頼性の高い手法として,推論時間計算のスケーリングが登場している。 固定あるいは環境フィードバックを利用してトークンレベルのエラーローカライゼーションを行う推論時アルゴリズムであるTTEL(Test-Time Scaling via Error Localization)を導入する。
  論文  参考訳（メタデータ） (2026-07-23T15:55:29Z)
• CUSUM-Shaped Inference-Time Monitoring and Targeted Re-Decoding for Quantized Small Language Model Reasoning [0.6999740786886536]
  MGT-Bは、事前サンプリングの不確かさと変性の特徴の重なり合う窓を、位置条件による経験的尾の確率にマップする。 ログしきい値h=10のマニュアル選択後に最初に観察された問題同一性に対して,その効果が持続するかどうかを検証した。 どちらの分析も確証がなく、実証的要因は有効な電子プロセスや電子検出器として確立されていない。
  論文  参考訳（メタデータ） (2026-07-22T13:34:17Z)
• Constrained Decoding for Diffusion Language Models via Efficient Inference over Finite Automata [57.27430779838529]
  有限オートマトンとして表現可能な任意の制約の下で,制約付き平均場後部からサンプリングする,正確かつトラクタブルなアルゴリズムを提案する。 このアプローチは、構築による制約満足度を保証し、欲求とサンプリングベースのデコーディングの両方をサポートし、並列およびブロックワイドデコーディングと互換性がある。 Dream-7B と LLaDA-8 の実証的な評価は、様々なタスクにおいてかなりの精度の向上を示した。
  論文  参考訳（メタデータ） (2026-07-08T05:48:57Z)
• Fast Unlearning at Scale via Margin Self-Correction [52.46927918952516]
  言語モデルアンラーニングは、トレーニングモデルを更新して、選択したトレーニング例を見ていないかのように振る舞う。 MASCは、既存のベースラインの計算コストのごく一部で、競争力のある忘れがちなトレードオフを達成する。
  論文  参考訳（メタデータ） (2026-06-01T21:49:54Z)
• Rethinking Token Reduction for Diffusion Models via Output-Similarity-Awareness [2.5966966127729454]
  拡散変換器(DiT)はより優れた画像生成品質を実現するが、トークン数に対して2次計算の複雑さに悩まされる。 出力中心のトークン還元に焦点を移す新しいTRパラダイムであるDiToを提案する。 実験により、DiToは既存のTR法よりも1.6-3.9dB高いPSNRを同等のスピードアップで一貫して上回っていることが示された。
  論文  参考訳（メタデータ） (2026-05-21T05:18:42Z)
• dParallel: Learnable Parallel Decoding for dLLMs [77.24184219948337]
  拡散大言語モデル(dLLM)は並列トークン予測と低推論遅延を提供する。 既存のオープンソースモデルは、パフォーマンスを確保するためにトークン長のデコードステップをほとんど必要としています。 高速サンプリングのためにdLLMs固有の並列性を解き放つシンプルで効果的な方法であるdParallelを導入する。
  論文  参考訳（メタデータ） (2025-09-30T16:32:52Z)
• Mitigating the Learning Bias towards Repetition by Self-Contrastive Training for Open-Ended Generation [92.42032403795879]
  GPT2のような事前訓練された言語モデル(LM)は、繰り返しテキストを生成する傾向にあることを示す。 トークンレベルの反復確率の過大評価は学習バイアスに起因している。 LMは文レベルの繰り返しループの原因となる非繰り返しトークンよりも長い範囲依存を用いて繰り返しトークンを予測する。
  論文  参考訳（メタデータ） (2023-07-04T07:53:55Z)
• Beta-CROWN: Efficient Bound Propagation with Per-neuron Split Constraints for Complete and Incomplete Neural Network Verification [151.62491805851107]
  私たちは、ニューロン毎の分割を完全にエンコードできるバウンド伝搬ベースの検証器である$beta$-crownを開発した。 Beta$-CROWNはLPベースのBaB法よりも3桁近い速さで堅牢性検証が可能です。 BaBを早期に終了することにより、不完全な検証にも使用できます。
  論文  参考訳（メタデータ） (2021-03-11T11:56:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。