論文の概要: The UNDO Flip-Flop: A Controlled Probe for Reversible Semantic State Management in State Space Model

• arxiv url: http://arxiv.org/abs/2604.05923v1
• Date: Tue, 07 Apr 2026 14:23:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-08 17:42:09.875882
• Title: The UNDO Flip-Flop: A Controlled Probe for Reversible Semantic State Management in State Space Model
• Title（参考訳）: UNDO Flip-Flop:状態空間モデルにおける可逆的状態管理のための制御されたプローブ
• Authors: Hongxu Zhou,
• Abstract要約: 状態空間モデル(SSM)は、星のないシーケンシャルタスクと有界階層構造の両方をモデル化する理論的能力を持っていることが示されている。 このギャップを埋めるためにUNDO Flip-Flopタスクを導入します。 我々は,この枠組みの下で一層および二層マンバ-2を評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: State space models (SSMs) have been shown to possess the theoretical capacity to model both star-free sequential tasks and bounded hierarchical structures Sarrof et al. (2024). However, formal expressivity results do not guarantee that gradient-based optimisation will reliably discover the corresponding solutions. Existing benchmarks probe either monotonic state tracking, as in the standard Flip-Flop task, or structural nesting, as in the Dyck languages, but neither isolates reversible semantic state retrieval. We introduce the UNDO Flip-Flop task to fill this gap. By extending the standard Flip-Flop with an UNDO, the task requires a model to maintain an implicit bounded stack and recover historical states under non-monotonic update sequences. We evaluate one-layer and two-layer Mamba-2 under this framework. Both variants fail to acquire the provably expressible stack-based rollback mechanism, converging instead on a local toggle heuristic that inverts the current state rather than retrieving stored history. Under an adversarial retraction pressure test held within the training length distribution, the two-layer model collapses to 41.10% accuracy, which is below random chance. The results confirm systematic rather than incidental failure. Causal ablation shows that the bottleneck lies in retrieval, not storage. These results draw a clear line between what an architecture can in principle represent and what gradient descent reliably learns, a distinction that theoretical expressivity analyses alone cannot capture.
• Abstract（参考訳）: 状態空間モデル(SSM)は、星のないシーケンシャルなタスクと有界階層構造の両方をモデル化する理論的能力を持っていることが示されている(Sarrof et al (2024))。 しかし、形式的表現性の結果は勾配に基づく最適化が対応する解を確実に発見することを保証しない。 既存のベンチマークでは、標準的なFlip-Flopタスクのようなモノトニックな状態追跡や、Dyck言語のような構造的なネストが調査されているが、どちらも可逆的なセマンティックな状態検索を分離していない。 このギャップを埋めるためにUNDO Flip-Flopタスクを導入します。 標準のFlip-FlopをUNDOで拡張することにより、暗黙の有界スタックを維持し、非単調な更新シーケンスの下で履歴状態を復元するモデルが必要となる。 我々は,この枠組みの下で一層および二層マンバ-2を評価する。 どちらの変種も、証明可能な表現可能なスタックベースのロールバック機構を取得しず、代わりに保存された履歴を取得するのではなく、現在の状態を逆転する局所トグルヒューリスティックに収束する。 トレーニング長分布内に保持される対向リトラクション圧力試験では、2層モデルが41.10%の精度で崩壊し、これはランダムな確率以下である。 結果は偶発的な失敗よりも体系的に確認される。 因果的アブレーションは、そのボトルネックはストレージではなく、検索にあることを示している。 これらの結果は、アーキテクチャが原則的に表現できることと、勾配降下が確実に学習することとの間に明確な線を引いている。

関連論文リスト

• Gradients Must Earn Their Influence: Unifying SFT with Generalized Entropic Objectives [22.29000001610794]
  Supervised Fine-Tuning (SFT) の標準的な負の対数構造は、均一なトークンレベルの重み付けを適用する。 この剛性は2重の障害モードを生成する: (i)低確率目標を過度に強調することは、ノイズの監督の勾配を増幅し、頑健な事前を妨害し、 (ii)一様重み付けは、モデルが既に自信を持っているときに弱いシャープニングを与える。 既存の方法は可塑性の解決に失敗し、不安定なジレンマがしばしば有害なジレンマとともに必要な学習信号を抑圧する。 パラメータ自由度を変調する動的エントロピーファインチューニング(DEFT)を導入する。
  論文  参考訳（メタデータ） (2026-02-11T22:56:43Z)
• Certainty-Validity: A Diagnostic Framework for Discrete Commitment Systems [0.0]
  「マシーン学習評価尺度」は、全てのエラーが等価な離散的なコミットメントシステムであると仮定する。 信頼不正確」な振る舞いは、モデルが曖昧なデータの中で構造を幻覚させる場所である。 推論システムのための「Good Training」は、精度ではなく、Certainty-Validity Scoreの最大化によって定義されなければならない。
  論文  参考訳（メタデータ） (2026-02-10T21:53:02Z)
• MERGETUNE: Continued fine-tuning of vision-language models [77.8627788911249]
  微調整視覚言語モデル(VLM)は、しばしば事前訓練された知識を破滅的に忘れてしまう。 ゼロショットモデルに適応した後に事前学習した知識を回復するための新しいパラダイムである連続微調整(CFT)を導入する。
  論文  参考訳（メタデータ） (2026-01-15T15:15:53Z)
• Multi-Level Collaboration in Model Merging [56.31088116526825]
  本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。 これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
  論文  参考訳（メタデータ） (2025-03-03T07:45:04Z)
• The Remarkable Robustness of LLMs: Stages of Inference? [5.346230590800585]
  本研究では,Large Language Models (LLM) の構造的介入に対するロバスト性について検討する。 驚くべきことに、モデルは微調整なしでオリジナルのトップ1予測精度の72-95%を維持している。
  論文  参考訳（メタデータ） (2024-06-27T17:57:03Z)
• Lazy Layers to Make Fine-Tuned Diffusion Models More Traceable [70.77600345240867]
  新たな任意の任意配置(AIAO)戦略は、微調整による除去に耐性を持たせる。 拡散モデルの入力/出力空間のバックドアを設計する既存の手法とは異なり,本手法では,サンプルサブパスの特徴空間にバックドアを埋め込む方法を提案する。 MS-COCO,AFHQ,LSUN,CUB-200,DreamBoothの各データセットに関する実証研究により,AIAOの堅牢性が確認された。
  論文  参考訳（メタデータ） (2024-05-01T12:03:39Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• Auto-Encoding Goodness of Fit [9.560668678348579]
  We developed a new type of generative autoencoder called the Goodness-of-Fit Autoencoder (GoFAE)。 ミニバッチレベルでは、正規化の目的としてGoFテスト統計を使用する。 よりグローバルなレベルでは、より高い批判に基づいて正規化係数を選択する。
  論文  参考訳（メタデータ） (2022-10-12T19:21:57Z)
• ROME: Robustifying Memory-Efficient NAS via Topology Disentanglement and Gradient Accumulation [106.04777600352743]
  微分可能なアーキテクチャサーチ(DARTS)は、スーパーネット全体がメモリに格納されているため、メモリコストが大幅に低下する。 シングルパスのDARTSが登場し、各ステップでシングルパスのサブモデルのみを選択する。 メモリフレンドリーだが、計算コストも低い。 RObustifying Memory-Efficient NAS (ROME) と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-11-23T06:34:07Z)
• Simple and Effective Prevention of Mode Collapse in Deep One-Class Classification [93.2334223970488]
  深部SVDDにおける超球崩壊を防止するための2つの正則化器を提案する。 第1の正則化器は、標準のクロスエントロピー損失によるランダムノイズの注入に基づいている。 第2の正規化器は、小さすぎるとミニバッチ分散をペナライズする。
  論文  参考訳（メタデータ） (2020-01-24T03:44:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。