論文の概要: Learned, Then Lost: A Measured Single-Example Counterfactual in Pre-training
- arxiv url: http://arxiv.org/abs/2608.19168v1
- Date: Wed, 19 Aug 2026 17:46:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-20 20:13:55.483345
- Title: Learned, Then Lost: A Measured Single-Example Counterfactual in Pre-training
- Title（参考訳）: 学習と損失:事前トレーニングにおける測定された単一例のカウンタ
- Abstract要約: OpenWebTextのスクラッチから124Mパラメータで32 GPT-2モデルをトレーニングします。
256-rowバッチの1行を194-tokenパスを持つ固定コンテキストインジェクションに置き換える。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: A single training example's contribution to a finished model is normally estimated rather than measured, because measuring it takes two expensive full pre-training runs that differ in one row of one batch. We ran that counterfactual 24 times at a small scale. We trained 32 GPT-2 models at 124M parameters from scratch on OpenWebText, over four conditions and eight seeds. At step 200 of 9,536, at peak learning rate, we replaced one row of a 256-row batch with a fixed context injection carrying a 194-token passage. The three injected conditions are: 1. fluent prose with a corpus-attested subject, 2. fluent prose with a fabricated subject matched to it within 0.14% on full-batch gradient delta, and 3. random keyboard characters. The fourth condition is an uninjected twin. The passage is learned from one exposure and then decays. Fifty steps after injection, the arm that saw a passage predicts it better than the arm that did not by 0.039 and 0.044 nats of cross-entropy on the passage, at eight of eight seeds with p < $10^{-4}$. At the final step we do not detect that difference for either passage, at p = 0.25 and p = 0.71, against minimum detectable effects of 0.025 and 0.079 nats, nor between the two passages, at p=0.54. Every geometric measure we report is taken after that decay. Our pre-registered contrast on interpolation loss barrier is +0.0068 with p = 0.509, against a minimum detectable effect of 0.032 barrier units. Held-out cross-entropy is $-0.00044$ with p = 0.310. Per-layer centered kernel alignment does not detectably separate any condition at any layer. Weight displacement reaches 44.1% of the seed-to-seed Euclidean distance and is 92% settled by the midpoint of training, while the barrier reaches 3.0% of the seed-to-seed barrier. Those two figures sit roughly 15 times apart, and that is a lower bound. The injection relocates the model within its basin without moving it out.
- Abstract（参考訳）: 単一のトレーニングの例が完了したモデルに対する貢献は、測定よりも一般的に見積もられている。
私たちはそのカウンターファクトを24回小さなスケールで実行しました。
1400Mパラメータで32のGPT-2モデルをOpenWebText上でスクラッチからトレーニングし、4つの条件と8つのシードでテストした。
最高学習率9,536のステップ200では,256行のバッチの1行を,194行のパスを持つ固定されたコンテキストインジェクションに置き換えた。
注入条件は以下の3つ。
1 コーパスが証明された科目による流用な散文
2. フルバッチ勾配デルタで0.14%以内の被造物と整合した流動性散文
3. ランダムなキーボード文字。
第4の条件は、注入されていない双子である。
経路は1つの露光から学習され、その後崩壊する。
注射後の50ステップでは、通路を見た腕は、通路に0.039ナットと0.044ナットのクロスエントロピーを含まない腕よりも、p < 10^{-4}$の8つの種のうち8つの方が良いと予測した。
最終段階では、どちらの経路についても、0.025と0.079ナットの最小検出可能な効果に対して、p = 0.25 と p = 0.71 の差は検出しない。
私たちが報告する幾何測度はすべて、その崩壊の後に取られる。
補間損失障壁に対する事前登録されたコントラストは、0.032バリアユニットの最小検出効果に対して、p = 0.509の+0.0068である。
ヘルドアウトのクロスエントロピーは、p = 0.310で$-0.00044$である。
層ごとのカーネルアライメントは、どの層でもいかなる状態も検出不能に分離しない。
重量変位は種子から種子までのユークリッド距離の44.1%に達し、訓練の中間点までには92%、バリアは種子から種子までの障壁の3.0%に達する。
この2つの図は約15倍離れており、これは下限である。
インジェクションは、モデルを動かすことなく、流域内でモデルを移動させる。
関連論文リスト
- View-Structured Conformal Prediction for 3D Gaussian Splatting [26.600186868779364]
3D Gaussian Splatting (3DGS)は、新しいビューをリアルタイムでレンダリングするが、不確実なヒートマップは、レンダリングされたビューが特定の予測カバレッジを満たすことを証明しない。
ビュー構造化コンフォーマル予測(VSCP)を提案する。
これは、事前校正スケールを、必要となる最小のビューワイズ乗算器を予測する有界および移動可能なビューワイズ因子から空間的な形状に分割する。
論文 参考訳（メタデータ） (2026-09-09T15:16:52Z) - Geometry Conditioning in an Embodied SLM: Training Controls and Robustness Diagnostics in a 0.8B Hybrid Model [6.064481783218601]
物理的状態入力が6.2Mのトレーニング可能なパラメータによる操作に適合する0.8Bのハイブリッド言語モデルに与える影響について検討した。
このレシピでは, トレーニング時幾何アライメントの信頼性は認められなかった。
論文 参考訳（メタデータ） (2026-09-06T05:55:24Z) - Below the Noise Floor: Bimodal Seed Collapse and Distinct Failure Modes in Small-Model Knowledge Distillation [0.3525984766628294]
1.5B Qwenの学生と20Bの教師による740インスタンスの医療APIルーティングタスクでは、8つのKD変種と教師付きクロスエントロピーを比較した。
i) 種子当たりの標準偏差は2.8から48.7%の範囲であり、クレームKDの上昇率は5ポイント以下である。
論文 参考訳（メタデータ） (2026-08-27T21:40:19Z) - WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。
アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。
凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
論文 参考訳（メタデータ） (2026-08-10T11:22:53Z) - Exact and Calibrated Diffusion Reconstruction for Digital Breast Tomosynthesis [0.0]
リミテッドアングルデジタル乳房トモシンセシス(DBT)は、狭い弧上のいくつかの低線量プロジェクションから体積を再構成する。
条件付き拡散は、強い知覚品質を達成するが、不正確なデータ一貫性、非局所化幻覚、未校正不確実性の3つの臨床的障害を残している。
これは、有限角再構成のためのデータ一貫性、不確実性の校正された最初の学習的再構成である。
論文 参考訳（メタデータ） (2026-07-14T16:10:10Z) - Fixed-Protocol Amortized MPS Tomography with Conformalized Predictive Uncertainty [31.082191748525137]
量子状態トモグラフィーはサンプリング・スターベットされ、その状態は狭く学習可能な多様体上で生きていく。
事前の見積もりは、既にほぼ最適であり、ほとんどの測定値において高い忠実度」は、断層撮影よりも家族の記憶である可能性がある。
そこで本稿では,ゲージ不変の忠実度損失を一度トレーニングしたemph-protocolアモータライズMPS推定器を提案する。
論文 参考訳（メタデータ） (2026-07-13T08:57:23Z) - Scaffold splits hide structural-frontier failures in ADMET models [25.408600489964726]
我々は,最も広く,最も物理化学的に遠隔的な足場群を予約するラベルフリーな構造フロンティアスプリットを導入する。
ADMETタスクを6つの公開実験またはキュレートしたADMETタスクで評価した。
論文 参考訳（メタデータ） (2026-07-12T12:25:50Z) - Automated Proving of Shannon-Type Entropy Inequalities via Fine-Tuned Language Models and Guided Tree Search [50.16356451328644]
シャノン型エントロピーの不等式を証明することは情報理論の基本的な課題である。
我々は,原子実証のステップを微調整した小規模大規模言語モデルがこのプロセスを自動化することができるか検討する。
GPT-5.5は0ショットプロンプトで1.7%のサンプルを解き、Psitipは33.3%のサンプルを解いた。
論文 参考訳（メタデータ） (2026-06-04T05:43:12Z) - ESPO: Early-Stopping Proximal Policy Optimization [78.79610718910628]
ESPO(Early-Stopping Proximal Policy Optimization)は、軌道上の障害を検出し、ロールアウトを早期に終了する。
DeepSeek-R1-Distill-Qwen-7Bでは、ESPOはAIME2024(46.28%対45.25%)、AMC2023(85.83%対82.94%)、MATH-500(87.42%対85.43%)でPPOを上回っている。
論文 参考訳（メタデータ） (2026-05-28T12:40:22Z) - Kronecker Embeddings: Byte-Level Structured Token Representations for Parameter-Efficient Language Models [0.0]
大規模言語モデルは、学習された埋め込みテーブルを通じて全ての入力をルーティングする。
我々はKronecker Embeddingsを紹介した。
入力側のトレーニング可能なパラメータの91～94%をフロンティアスケールで除去する。
論文 参考訳（メタデータ） (2026-05-28T06:53:18Z) - Hidden Failure Modes of Gradient Modification under Adam in Continual Learning, and Adaptive Decoupled Moment Routing as a Repair [21.974153439592317]
多くの連続学習手法は、Adamを中立的なバックエンドとして扱いながら、上流の勾配を変更している。
この構成には、隠れた障害モードがあることが示されます。
我々の修正は、マグニチュードに富んだ第2モーメント統計を保ちながら、勾配を第1モーメントにのみルートする。
論文 参考訳（メタデータ） (2026-04-24T10:00:00Z) - When Flat Minima Fail: Characterizing INT4 Quantization Collapse After FP32 Convergence [0.0]
後学習量子化は、よく収束したモデルが量子化対応モデルであると仮定する。
この仮定は構造化され、測定可能で、以前は達成できなかった方法で失敗することを示す。
論文 参考訳（メタデータ） (2026-04-16T15:46:36Z) - Temporal Zoom Networks: Distance Regression and Continuous Depth for Efficient Action Localization [6.908972852063454]
時間的行動の局所化は、正確な境界検出と計算効率の両方を必要とする。
我々は、境界距離回帰(BDR)と適応時間制限(ATR)という2つの補完的なイノベーションを通じてこの問題に対処する。
THUMOS14では、ActionFormer++ (55.7% mAP@0.7 at 235G) よりも36%少ないFLOPを用いて、151GのFLOPで56.5% mAP@0.7を達成する。
論文 参考訳（メタデータ） (2025-11-06T00:41:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。