論文の概要: SemanticFold: Latent Sequence Compression SeparatesLanguage Modeling, Decodability, and Reasoning
- arxiv url: http://arxiv.org/abs/2610.10304v1
- Date: Wed, 07 Oct 2026 16:00:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 21:58:23.017873
- Title: SemanticFold: Latent Sequence Compression SeparatesLanguage Modeling, Decodability, and Reasoning
- Title（参考訳）: SemanticFold: 潜時シーケンス圧縮の分離
- Abstract要約: 本稿では,学習境界における隠れ状態のプレフィックスを折り畳む圧縮スキームSemanticFoldを紹介する。
Qwen3-1.7B, Qwen3-8B, SmolLM2-1.7B, Pythia-1.4B, Pythia-6.9Bの5つのモデルスケールで評価した。
- 参考スコア（独自算出の注目度）: 6.728256846525114
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We study whether latent sequence compression of prompt prefixes preserves the capabilities that large language models rely on during inference. We introduce SemanticFold, a compression scheme that folds prefix hidden states at learned boundaries, and evaluate it across five model scales: Qwen3-1.7B, Qwen3-8B, SmolLM2-1.7B, Pythia-1.4B, and Pythia-6.9B. We use a fixed-target protocol: a frozen prefix is executed natively or compressed, and both arms teacher-force identical continuation tokens. This design rules out target-selection explanations for likelihood changes. We examine five endpoint families: fixed-target negative log-likelihood, finite-label reasoning accuracy, linear probe accessibility, open-ended generation, and systems-level memory and latency. We find that compression moves these endpoints non-monotonically and that they do not share a single compression threshold. On Qwen3-1.7B at compression ratio R=1.7, compressed-minus-native mean NLL decreases by 0.135 under paired bootstrap with 10000 draws. On SmolLM2 at R=1.2, the mean change is 0.013 higher than native. On both Pythia checkpoints, NLL is effectively unchanged. An NLL decomposition separating sequence shortening from the learned residual transform shows that the favorable Qwen likelihood is attributable primarily to residual adaptation rather than to shortening alone. MLP-only, which applies the transform without shortening, achieves 0.082 lower NLL than Full SemanticFold. Linear probe accuracy and macro AUC change by less than 0.03 in absolute value across conditions, with confidence intervals crossing zero. We conclude that preservation under latent compression has no single scalar certificate: language-model fit, decodability, and reasoning behavior answer different questions and can move in different directions under the same compression operation.
- Abstract（参考訳）: 本研究では,代用接頭辞の潜在列圧縮が,大言語モデルが推論時に依存する機能を保存するかどうかを考察する。
学習境界におけるプレフィックスの隠蔽状態を折り畳み、Qwen3-1.7B、Qwen3-8B、SmolLM2-1.7B、Pythia-1.4B、Pythia-6.9Bの5つのモデルスケールで評価する圧縮スキームであるSemanticFoldを紹介する。
我々は固定ターゲットプロトコルを使用し、凍結プレフィックスはネイティブに実行されるか圧縮され、両腕の教師が同じ継続トークンを強制する。
この設計は、潜在的変化に対するターゲット選択の説明を除外する。
固定ターゲット負対数、有限ラベル推論精度、線形プローブアクセシビリティ、オープンエンドジェネレーション、システムレベルのメモリとレイテンシの5つのエンドポイントファミリについて検討する。
圧縮は、これらのエンドポイントを非単調に動かし、単一の圧縮しきい値を共有しない。
圧縮比R=1.7のQwen3-1.7Bでは、圧縮ミナスネイティブ平均NLLは1万引きのペアブートストラップで0.135減少する。
R=1.2のSmolLM2では、平均的な変化はネイティブよりも0.013高い。
どちらのPythiaチェックポイントでも、NLLは事実上変更されない。
学習残差変換を短縮したNLL分解配列は、Qwen確率が単独で短縮するのではなく、主に残留適応に起因することを示す。
MLPのみの変換では、Full SemanticFoldよりも0.082低いNLLが得られる。
線形プローブ精度とマクロAUCは絶対値0.03以下で変化し、信頼区間は0を超えた。
潜在圧縮下での保存には,言語モデル適合性,デオーダビリティ,推論動作など,単一のスカラー証明書が存在しないと結論付け,同一圧縮操作下で異なる方向に移動することができる。
関連論文リスト
- Pre-registered tests of solid-state-physics-inspired LLM compression: a cluster-level negative result at small-language-model scale [0.0]
訓練済み言語モデル上で5つの固体物理学にインスパイアされた圧縮マッピングをテストする3ヶ月の自律的リサーチエージェントプログラム。
4機のフェーズ3パイロットのうち3機が偽装された。
結果は、ほとんどの注意頭はコーンの目に見える絶縁体のように振る舞うという事前登録の予測を逆転させる。
論文 参考訳（メタデータ） (2026-09-28T04:38:14Z) - Steering Under Compression: Dose-Response, Capability Cost, and Failure Asymmetry in Quantized LLMs [0.0]
推論時ステアリングは、パラメータ修正なしで大きな言語モデルの振る舞い制御を可能にする。
トレーニング後の量子化により、デプロイメントのメモリと計算コストが削減される。
重量のみの量子化下での活性化ステアリングを系統的に研究する。
論文 参考訳（メタデータ） (2026-09-06T08:41:42Z) - Fixed-Protocol Amortized MPS Tomography with Conformalized Predictive Uncertainty [31.082191748525137]
量子状態トモグラフィーはサンプリング・スターベットされ、その状態は狭く学習可能な多様体上で生きていく。
事前の見積もりは、既にほぼ最適であり、ほとんどの測定値において高い忠実度」は、断層撮影よりも家族の記憶である可能性がある。
そこで本稿では,ゲージ不変の忠実度損失を一度トレーニングしたemph-protocolアモータライズMPS推定器を提案する。
論文 参考訳（メタデータ） (2026-07-13T08:57:23Z) - At-Grok Is Not Converged:A Measurement-Validity Audit for Grokking Representation Metrics [0.0]
圧縮は、時間から農業までの時間、少なくとも1万歩の精度遷移を、それと一致させるのではなく、遅延させることを示す。
これは、オンセットを圧縮フラグから分離し、検閲し、完全に一般化しないセルを除外し、参照フロアがプラトー化されていることをチェックする監査としてパッケージ化します。
論文 参考訳（メタデータ） (2026-07-07T14:44:18Z) - Hierarchical Certified Semantic Commitment for Byzantine-Resilient LLM-Agent Collaboration [30.310793549183117]
本稿では,BFTにインスパイアされたプロトコルH-CSC(Hierarchical Certified Semantic Commitment)を紹介する。
H-CSCはBFT対応バケット(0.31から2.04度)に低角偏差でコミットし、意図したようにBFTを超えるラウンド(n3f+1)の100%を中止する。
論文 参考訳（メタデータ） (2026-06-05T14:35:58Z) - AGORA: Adapter-Grounded Observation-Action Retention for Inference-Free Prompt Compression in LLM Agents [3.9004035576487817]
トークンレベルの抽出圧縮機はLLM剤には構造的に不適切であることを示す。
本稿では,構造的プロンプトを組み込んだ推論不要なステップレベル圧縮機であるAGORAについて紹介する。
論文 参考訳（メタデータ） (2026-05-26T06:29:44Z) - SparseSAM: Structured Sparsification of Activations in Segment Anything Models [26.589924688727795]
Segment Anything Model (SAM)は強力なオープン語彙セグメンテーションを実現するが、ViTベースの画像エンコーダは遅延推論とメモリを支配している。
SparseSAMは,トークンの識別を保ちながら注意と層を協調的に加速する訓練不要のスペーシフィケーションフレームワークである。
4つのセグメンテーションベンチマークで、SparseSAMは密度が0.004 mIoU、0.3が0.021 mIoU、精度が2.10倍、トークンマージの進歩が2.10倍、推論が2.8倍、メモリが2.8倍である。
論文 参考訳（メタデータ） (2026-05-17T19:54:22Z) - The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。
Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
論文 参考訳（メタデータ） (2026-05-09T06:48:00Z) - Statistically-Lossless Quantization of Large Language Models [41.38595517076645]
本稿では、量子化LDMにおけるロスレスの3つの相補的な概念を通して、統計的にロスレス圧縮の中間点について検討する。
第一に、タスクロスレス圧縮は、自然サンプリングのばらつきの中でゼロショットベンチマークの精度を保ち、攻撃的なビット幅で達成可能である。
第二に、分散ロスレス圧縮というより厳密な概念を定式化し、量子化モデルの次トーケン分布を、原点と事実上区別できないものにすることを要求する。
第三に、対称量子化が非対称量子化に対するガンマ二乗によるノイズ分散を膨らませることを示すガンマ二乗分散法則を証明する。
論文 参考訳（メタデータ） (2026-05-04T09:46:47Z) - R1-Compress: Long Chain-of-Thought Compression via Chunk Compression and Search [61.4807238517108]
CoT(Chain-of-Thought)推論は、ステップバイステップの問題解決を可能にすることで、大きな言語モデル(LLM)を強化する。
CoTのLong-CoTへの拡張はトークン長の増加による計算オーバーヘッドを大幅に増加させる。
ローカル情報とコヒーレンスの両方を保存する2段階のチャンクレベル圧縮フレームワークであるR1-Compressを提案する。
論文 参考訳（メタデータ） (2025-05-22T16:06:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。