論文の概要: Benefit and Cost of Random-Token Replacement under Repeated Data: A Known-Entropy Decomposition and Evidence from Ten Real Corpora

• arxiv url: http://arxiv.org/abs/2610.27590v1
• Date: Tue, 20 Oct 2026 03:57:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.625746
• Title: Benefit and Cost of Random-Token Replacement under Repeated Data: A Known-Entropy Decomposition and Evidence from Ten Real Corpora
• Title（参考訳）: 繰り返しデータに基づくランダムペン交換の利益とコスト:10個の実コーパスからの未知エントロピー分解とエビデンス
• Abstract要約: 置換がコーパス平均に対する予測を減少させることを示す。 また、検証損失を近似、推定、項に分離する分解を導入する。 韓国と日本のウェブテキストでは、予算の終了までに損失の3分の1が取り除かれる。
• 参考スコア（独自算出の注目度）: 0.17188280334580194
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: When unique pretraining data is scarce, models see the same tokens many times and are thought to memorize. Random-token replacement, an input-corruption augmentation, is one remedy reported to lower validation loss, but a lower loss alone does not reveal which source of error it reduces. On a controlled source whose entropy rate is known in closed form, we show that replacement shrinks predictions toward the corpus average. We also introduce a decomposition that separates validation loss into approximation, estimation, and memorization terms. This shrinkage view predicts that replacement's bias cost needs no memorization but its benefit does. Memorization raises validation loss after its minimum, so we report the effect at two points, the minimum validation loss and the end of a fixed budget. Where replacement helps, it reduces this rise by about 60%. At the end of the budget, it turns from harmful to helpful as the controlled source becomes less predictable; at the minimum, it helps at no predictability level under the fixed recipe. On Korean and Japanese web text, replacement removes about a third of the loss rise after the minimum by the end of the budget, but its effect at the minimum is much smaller. Across ten real corpora, replacement lowers the final loss on nine. It harms only the census corpus, program-generated JSON that is the most redundant of the ten and much more redundant than any of 64 further prose and code corpora we measure.
• Abstract（参考訳）: ユニークな事前学習データが不足している場合、モデルは同じトークンを何度も目にし、記憶すると考えられている。 入力破損の増大であるランダムトケン置換は、バリデーション損失を減らすために報告された1つの治療法であるが、低い損失だけでは、どのエラーの原因が減少するかは明らかにしない。 エントロピー速度が閉形式であることが知られている制御源では、置換がコーパス平均に対する予測を縮小することを示す。 また、検証損失を近似、推定、記憶の項に分離する分解も導入する。 この縮小の見方は、置換のバイアスコストは記憶を必要とせず、その利益が期待できる。 記憶化は最小限の検証損失を増大させるので、その効果を最小限の検証損失と固定予算の終了の2点で報告する。 交換が役に立つ場合は、この上昇を約60%削減する。 予算の最後には、制御されたソースが予測しにくくなるにつれて、有害なものから役に立つものへと変わります。 韓国と日本のウェブテキストでは、予算の終了までには損失の3分の1程度が取り除かれるが、その効果は最小限に抑えられる。 10個の実際のコーパスで、最後の損失を9に下げる。 これは、国勢調査コーパス、プログラム生成JSONのみに害を与えます。これは、私たちが測定する64の散文およびコードコーパスのどれよりも、最も冗長で、はるかに冗長です。

関連論文リスト

• Hard, Yet Reducible: Controlled Forward Transfer for Synthetic Degradation Curation [57.17927491453242]
  クリーンで劣化した双子は、コンテンツとラベルを共有し、短いトレーニングが劣化に起因する過度なエラーをどれだけ減らすかに基づくスコアを示唆する。 劣化タイプと重大度によって定義される領域に対して,textbf 制御による還元性劣化ギャップ (cRDG) を提案する。 cRDGは、劣化のトレーニングが利用可能な予算の下で高い制御利得をもたらす、修正可能な重大帯域を明らかにする。
  論文  参考訳（メタデータ） (2026-10-07T11:07:36Z)
• Later Is Better: Token Reduction for ViTs Under Distribution Shift [11.387438418053586]
  トレーニング不要なトークン削減は、レイヤ間の冗長トークンを取り除き、計算のごく一部で元の精度を回復することで、ビジョントランスフォーマーを加速させる。 このギャップは、通常実装の詳細として固定された除去の深さプロファイルである削減スケジュールによって制御されていることを示す。 提案手法では, 余分な推論コストを伴わずに, 平板上における配電精度を常に向上する一パラメータ遅延型パワーロースケジュールを導入する。
  論文  参考訳（メタデータ） (2026-10-06T04:54:06Z)
• Conditional Predictive Sufficient Statistics for Visual Representation Learning [0.0]
  有用な視覚表現は、観測された過去の統計であり、将来と共有される潜在因子を保持し、パッチプライベートノイズを破棄する。 我々はこの要件を条件付き予測十分統計(CPSS)として定式化する。 MNISTとCIFAR-10の小さな因果トランスフォーマーは、リーダーボードとしてではなく診断として使用される。
  論文  参考訳（メタデータ） (2026-09-25T00:36:49Z)
• The Undetected Damage of Quantization on Retrieval and How to Fix It [51.02977749156532]
  分類精度を保った量子モデルでは,トップ1検索結果の14ドルから46%の値がまだ変化していることを示す。 この失敗を2つの上位モデルスコア間のギャップに結び付け、そのギャップを使用して、定量化された回答をいつ信頼するかを決めます。 この差が最大の丸め誤差の2倍を超える場合にのみ、トップ1結果が量子化を継続することが保証されていることを示す。
  論文  参考訳（メタデータ） (2026-09-21T09:26:35Z)
• When Graph-JEPA Learns the Wrong Thing: Diagnosing and Repairing Category-Conditional Collapse [3.0255780640228984]
  共同埋め込み予測アーキテクチャは線形探索と有効ランクによってほぼ普遍的に選択される。 本報告では,表現中に使用可能なインスタンス情報がゼロである場合に,両者が正常に読まれる事例を報告する。 Graph-JEPAは、サブグラフの残りの側面から1つのマスクされたアスペクトを予測し、線形プローブ精度0.871と有効ランク18-47を達成する。 再現性監査とターゲットゲートを備えたハーネスをリリースする。
  論文  参考訳（メタデータ） (2026-08-20T19:22:49Z)
• ShortOPD: Recovering Pruned LLMs with Short-to-Long On-Policy Distillation [72.54604107217669]
  textscpass@$k$は圧縮後にほぼ消滅するが、textscpass@$k$は繰り返しサンプリングの下でほぼ回復する。 回復は、密集したトークンレベルの監督の下で、圧縮されたモデル自身のオン政治状態で訓練すべきである。 我々は,教師が確認した反復接尾辞を検知する短時間のOPDスケジュールであるtextbfshortopdを提案する。
  論文  参考訳（メタデータ） (2026-07-14T17:50:50Z)
• Bayesian Best-Arm Identification with Abstention: A Polynomial-to-Exponential Phase Transition [51.253617466579335]
  本研究では,学習者が端末の推薦を控えることができるベイジアン固定予算のベストアーム識別問題について検討する。 本研究は,非検出誤りの確率を解析し,吸収を伴わない準最適腕を推奨するリスクについて考察する。
  論文  参考訳（メタデータ） (2026-06-28T05:07:27Z)
• Causal Label Recovery in Payment Networks [0.0]
  支払いネットワークにおける不正検出モデルは、体系的にバイアスのあるチャージバックラベルでトレーニングする。 共用紙 [arXiv05:26.27557] は、これらの4つの障害が検出性能に最小限の上限を課すことを示した。 観測パイプラインを3段階, 破損層を有する逐次欠落データ問題として定式化し, 逐次トリプライロバスト推定器を構築した。
  論文  参考訳（メタデータ） (2026-05-28T02:43:34Z)
• Risk Minimization from Adaptively Collected Data: Guarantees for Supervised and Policy Learning [57.88785630755165]
  経験的リスク最小化(Empirical Risk Minimization, ERM)は、機械学習のワークホースであるが、適応的に収集されたデータを使用すると、そのモデルに依存しない保証が失敗する可能性がある。 本研究では,仮説クラス上での損失関数の平均値を最小限に抑えるため,適応的に収集したデータを用いた一般的な重み付きERMアルゴリズムについて検討する。 政策学習では、探索がゼロになるたびに既存の文献のオープンギャップを埋める率-最適後悔保証を提供する。
  論文  参考訳（メタデータ） (2021-06-03T09:50:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。