論文の概要: Pre-registered tests of solid-state-physics-inspired LLM compression: a cluster-level negative result at small-language-model scale
- arxiv url: http://arxiv.org/abs/2609.34292v1
- Date: Mon, 28 Sep 2026 04:38:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 22:06:13.650853
- Title: Pre-registered tests of solid-state-physics-inspired LLM compression: a cluster-level negative result at small-language-model scale
- Title（参考訳）: 固体物理にインスパイアされたLDM圧縮の事前登録試験:小言語モデルスケールにおけるクラスターレベル負の結果
- Abstract要約: 訓練済み言語モデル上で5つの固体物理学にインスパイアされた圧縮マッピングをテストする3ヶ月の自律的リサーチエージェントプログラム。
4機のフェーズ3パイロットのうち3機が偽装された。
結果は、ほとんどの注意頭はコーンの目に見える絶縁体のように振る舞うという事前登録の予測を逆転させる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We report a three-month autonomous research-agent program testing five solid-state-physics-inspired compression mappings on pretrained language models, with predictions committed to git before any pilot data and a 3-sigma gate deciding PASS or SHELVE. The common anchor -- area-law / Kohn-nearsighted decay of the one-particle density matrix -- has a distance face (P001 Wannier, P002 tight-binding) and a rank face (P003 DMRG-truncated MLPs, P005 Wilson-RG, P011 tensor-train embeddings). P005 was pre-empted at Phase 1; three of four Phase-3 pilots were falsified. On the attention face, GPT-2-medium attention-versus-distance is best fit by a stretched exponential in 12 of 16 median-layer heads once probe padding is excluded, and a tight-binding cutoff costs +96% perplexity (P002); on Pythia-160M the Wannier sparsity 0.054 +/- 0.004 is indistinguishable from PCA, random-Haar and identity baselines (P001). On the rank face, per-token tensor-train bond dimension does not track surprisal (r = 0.016 vs a pre-registered 0.65) and the format inflates rather than compresses (P011). P003 is mixed: its scaling claim shelved (r = -0.434), its MPO premise died at stage-0, and its cross-paper check, r = 0.523 as first written, collapses to 0.047 under the same correction, leaving both cross-paper checks null. The results invert the pre-registered prediction that most attention heads behave like Kohn-nearsighted insulators, pointing instead to critical, glassy or heavy-tailed regimes; the inversion is specific to the <= 350M scale tested, while the rank-face no-gain result held to 7-8B. We contribute the pre-registration + 3-sigma + cluster-framing + append-only-catalogue discipline -- including why our own enforcement gate was designed but not deployed -- four pre-registered negative results with full data release, and the inversion. The catalogue holds eighteen concluded studies, seventeen negative.
- Abstract（参考訳）: 本報告では,3ヶ月の自律型研究エージェントプログラムにおいて,事前訓練した言語モデルに対して,固体物理学に触発された5つの圧縮マッピングをテストし,パイロットデータの前にgitにコミットする予測と,PASSまたはSHELVEを決定する3シグマゲートを判定する予測を行った。
一般的なアンカーは、一粒子密度行列の面積法則(英語版) / Kohn-nearsighted decay)で、距離面(P001 Wannier, P002 tight-binding)とランク面(P003 DMRG-truncated MLPs, P005 Wilson-RG, P011 tensor-train embeddeds)を持つ。
P005は第1フェーズでプリエンプションされ、4つのフェーズ3パイロットのうち3人がファルシフィケーションを受けた。
注意面上、GPT-2-medium attention-versus-distanceは、プローブパディングが除外された16個の中央層ヘッドのうち12個のストレッチ指数により最も適しており、Pythia-160Mではタイト結合カットオフコスト+96%パープレキシティ(P002)、Pythia-160Mではワニエ空間0.054+/-0.004はPCA、ランダムハール、アイデンティティベースライン(P001)と区別できない。
階数面上では、トーケンテンソル-トレイン結合次元は(r = 0.016 vs a pre-registered 0.65)、圧縮ではなく、形式が膨らむ(P011)。
スケーリングクレームシェルヴェッド(r = -0.434)、MPO前提はステージ0で消滅し、クロスペーパーチェックであるr = 0.523は、同じ修正の下で0.047に崩壊し、両方のクロスペーパーチェックはnullとなる。
その結果、ほとんどの注意はコーン・アナーシャイトの絶縁体のように振る舞うという事前登録された予測を逆転させ、代わりに臨界、ガラス、重い尾を持つ状態を指し、逆転は試験された<=350Mスケールに比例し、ランク・フェイス・ノーゲインの結果は7-8Bに抑えられた。
私たちは、事前登録 + 3-sigma + cluster-framing + append-only-catalogueの規律にコントリビュートしています。
このカタログには18の結論があり、17の否定的な研究がある。
関連論文リスト
- Solution for UCF UrbanTwin LUMPI Track: Sim-to-Real Urban LiDAR 3D Object Detection [54.03436243843709]
UCF UrbanTwin Sim2Real LiDAR Challenge at the 6th DriveX Workshop, ECCV 2026。
検出器は合成データのみに基づいて訓練され、50個の実LiDARフレームで評価される。
ポイントクラウドリアリズムに対して、別の50フレームの合成提案が評価される。
論文 参考訳（メタデータ） (2026-09-07T15:03:36Z) - Lagged Coupling: Internal Representations Become Readable Before They Become Causal [0.0]
内部可読性は因果効果を体系的に上回り、ラグはスケールとともに縮小しない。
予め登録されたOLMo-2複製は、減衰した大きさで方向を保存する。
論文 参考訳（メタデータ） (2026-09-01T10:46:42Z) - Peer-Voted LLM-Agent Stress Tests Find Feed-Induced Lexical Convergence but No Reliable Matched-Exposure Advantage for Distributed Sources [0.013714053458441644]
ピア投票型ソーシャルプラットフォームテストベッドであるPV-SSTを紹介する。
実験は448の試験と112の完全なモデル・バイ・トピック・バイ・シードブロックで構成されている。
論文 参考訳（メタデータ） (2026-08-20T12:01:19Z) - Feature Priming in Online Linear Regression: Sparse-Regret Lower Bounds and a Tight Univariate Rate [47.36630149538994]
高次元のオンライン予測では、最良の予測子はいくつかの機能にのみ依存する可能性があるため、後悔は周囲の次元ではなく、疎らさでスケールすべきである。
WarmuthとAmidはCOLT 2023で、これらの3つのルールのいずれかが競合するオンライン後悔の保証を認めているかどうかを尋ねた。
安価なニュアンスは、リフィットが真の予測座標を過度に重くする原因となる。
論文 参考訳（メタデータ） (2026-08-18T09:32:03Z) - Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。
生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。
現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
論文 参考訳（メタデータ） (2026-08-17T09:53:27Z) - Accurate Ensembles, Fragile Narratives: Multi-Scale Stacking and a Fidelity Audit of LLM-Generated Explanations for Credit Risk [0.0]
クレジットスコアリングは、決定ロジックをパラメータから読み取ることができないモデルに依存している。
共通する提案は、言語モデルとのギャップを埋める: 特徴属性を計算し、それらを LLM に渡し、合理的に記述させる。
このようなシステムをエンド・ツー・エンドに構築し、約束の後半が成立するかどうかをテストします。
論文 参考訳（メタデータ） (2026-08-08T13:22:14Z) - Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。
我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。
ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
論文 参考訳（メタデータ） (2026-07-07T10:10:00Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - The Extrapolation Cliff in On-Policy Distillation of Near-Deterministic Structured Outputs [52.709361620508595]
ListOPDは、パラメータの5分の1で8B-SFTベースラインで、学生をドメイン内に持ち込む。
Amazon Fashionでは、3つの事前登録テスト — 細粒度崖間隔テスト、小さなクリップのクロス予測 — がロックされた予測ウィンドウ内に落下し、グリッド解像度以下のクローズドフォーム予測に一致する小さなクリップ値が設定されている。
論文 参考訳（メタデータ） (2026-05-09T06:48:00Z) - The Convergence Gap: Instruction-Tuned Language Models Stabilize Later in the Forward Pass [9.8812664524155]
最終的なアウトプットは、チェックポイントがその次のポイント予測にコミットしたときに隠される。
本稿では,各層の次点分布をデコードし,モデルの最終分布までの距離を測定するモデル微分診断法である収束ギャップを導入する。
論文 参考訳（メタデータ） (2026-05-08T05:45:52Z) - Disposition Distillation at Small Scale: A Three-Arc Negative Result [0.0]
内部ドラフトでは、Qwen3-0.6Bの学生に+33.9ポイントのMCASと+15.3ポイントのHumanEvalを報告している。
コンテントを損なうことなく, 判断された配置をスタイル的な模倣に転換するオペレータは見つからない。
我々は, 線形H_lastプローブに対する3つのアーク負の結果, 線形H_lastプローブに対する2つの欠陥モード分類, および, 自分たちが生成した偽陽性のクラスを, 公開可能な負に変換する正直なファルシフィケーションパイプラインを寄与する。
論文 参考訳（メタデータ） (2026-04-13T17:40:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。