論文の概要: MDL-Calibrated Significance-Gain Pair Encoding: Replication-Aware Automatic Stopping for Subword Tokenization

• arxiv url: http://arxiv.org/abs/2609.31705v1
• Date: Sun, 20 Sep 2026 04:07:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 13:36:56.374175
• Title: MDL-Calibrated Significance-Gain Pair Encoding: Replication-Aware Automatic Stopping for Subword Tokenization
• Title（参考訳）: MDL-Calibrated Signal-Gain Pair Encoding: Replication-Aware Automatic Stopping for Subword Tokenization
• Abstract要約: Significance-Gain Pair (SG-BPE) は周波数のみの選択を統計的基準に置き換える。 500K文字では、事前に語彙サイズを規定することなく1,017トークンの格納された語彙を選択する。 計算用TinyGPT実験では、MDL-SGは3.2612/3.2436の検証/テストBPCを、SG-BPEは3.2894、周波数BPEは3.3493のテストBPCと比較した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Byte-Pair Encoding (BPE) constructs subword vocabularies through greedy pair merging, but conventional BPE requires the number of merges or target vocabulary size to be specified externally. Significance-Gain Pair Encoding (SG-BPE) replaces frequency-only selection with a statistical criterion based on how strongly an observed pair exceeds its expected co-occurrence under an independence model. This paper introduces MDL-Calibrated Significance-Gain Pair Encoding (MDL-SG), a three-stage procedure separating discovery, replication, and utility. Candidate pairs are ranked by Significance-Gain on a discovery partition, tested for replication on a separate partition using an exact one-sided hypergeometric test with per-iteration Benjamini-Hochberg correction, and then evaluated on a utility partition using a Minimum Description Length (MDL) criterion. Merging stops automatically when no replicated candidate yields positive held-out MDL gain. On WikiText-103, MDL-SG stops at 209, 433, and 847 merges for 120K, 250K, and 500K-character tokenizer-training samples, respectively. At 500K characters, it selects a stored vocabulary of 1,017 tokens without prescribing the vocabulary size in advance. In a compute-matched TinyGPT experiment with identical 2,024,448-parameter models and 500 optimizer updates per language model, MDL-SG achieves validation/test BPC of 3.2612/3.2436, compared with test BPC of 3.2894 for SG-BPE and 3.3493 for frequency BPE. Frequency BPE achieves stronger raw compression, while MDL-SG achieves lower BPC, showing that compression-oriented merge selection and language-model utility need not coincide.
• Abstract（参考訳）: Byte-Pair Encoding (BPE)は、greedyペアのマージによってサブワード語彙を構築するが、従来のBPEでは、マージ数やターゲット語彙サイズを外部に指定する必要がある。 有意なゲインペアエンコーディング(SG-BPE)は、独立モデルの下で観測されたペアが期待する共起性を超える確率に基づいて、周波数のみの選択を統計的基準に置き換える。 本稿では, MDL-Calibrated Significance-Gain Pair Encoding (MDL-SG)について述べる。 候補対は発見分割において有意値-ゲインでランク付けされ、イテレーション毎のBenjamini-Hochberg補正による正確な片側ハイパージオメトリテストを用いて分離分割で複製するためにテストされ、最小記述長(MDL)基準を用いて実用分割で評価される。 複製候補が存在しないとマージは自動的に停止し、正のホールドアウトMDLゲインが得られる。 WikiText-103では、MDL-SGはそれぞれ120K、250K、500K-キャラクタ・トークン・トレーニング用の209、433、847のマージで停止する。 500K文字では、事前に語彙サイズを規定することなく1,017トークンの格納された語彙を選択する。 同一の2,024,448パラメータモデルと言語モデル毎の500オプティマイザ更新を用いた計算マッチングによるTinyGPT実験では、MDL-SGは3.2612/3.2436の検証/テストBPCを、SG-BPEは3.2894、周波数BPEは3.3493の試験BPCを達成している。 MDL-SGは圧縮指向のマージ選択と言語モデルの有用性が一致しないことを示す。

関連論文リスト

• Correlation-Guided Encoder Selection for Multi-Encoder Large Audio-Language Models [52.59216139491759]
  CUES (Correlation-gUided Selection) は、単エンコーダ評価のみから選択中の融合訓練なしで設定された候補をスコアする。 広いトラックAスイートでは、CUESはクロスファミリートリオ(Whisper-medium、mHuBERT-147、Dasheng-base)を選択する。 TrackBテキスト生成では、フォーカスされた音声のみのペア(mHuBERT-147とWavLM-base-plus)で再アンカーする。
  論文  参考訳（メタデータ） (2026-09-16T02:41:41Z)
• SeGDeP: Semantic- and Geometric-Aware Decoupled Prompts for Reasoning Segmentation [51.46828526392219]
  推論セグメンテーションは暗黙の言語学的結論を正確なマスクに変換する。 既存のMLLMセグメンタインタフェースでは、特別なトリガーを使用するか、両方の信号を1つのコンテキストに圧縮する。 明示的なWhat-whereインターフェースであるSeGDePを提示する。
  論文  参考訳（メタデータ） (2026-09-08T15:11:32Z)
• An Exploratory Ablation of a Small MLA--SSM Hybrid Language Model [0.0]
  TALH (Adaptive Latent Hybrid) の探索的単座アブレーションを報告する。 トークン当たり117～217万のアクティブパラメータにまたがる5つの変種が、FinWebサンプルでスクラッチからトレーニングされている。 密度の高いFFNハイブリッドはPPL 231を取得し、テスト済みのトップ23次MoEハイブリッドは240、ピークトレーニングメモリは3.87GBである。
  論文  参考訳（メタデータ） (2026-08-28T10:50:05Z)
• A Deterministic Binary Fingerprinting Framework with Zero-Trained Feature Extraction for Sparse Count Matrices [5.730395615441126]
  MMTBは、ラベルの監督、モデルフィッティング、勾配に基づく最適化を必要としない、学習されていないバイナリ表現フレームワークである。 密度の高いfloat32表現とは対照的に、MMTBフィンガープリントはメモリを約10倍減らし、固定幅のハミングインデクサブルコードを提供する。
  論文  参考訳（メタデータ） (2026-07-16T05:47:52Z)
• Attention-Discounted Adaptive Sampler for Masked Diffusion Language Models [59.51249894128724]
  マスク付き拡散言語モデルは、反復を識別するごとに複数のトークンを明らかにすることで推論ステップを削減することができる。 パラレルマスク拡散復号法のためのトレーニング不要な復号法であるADASを提案する。
  論文  参考訳（メタデータ） (2026-06-09T13:17:27Z)
• Closing the Modality Gap in Zero-Shot HAR: Contrastive Training and Separability-Optimized Prototypes on IMU Data [0.0]
  PAMAP2データセット上で,3つの推論手法と2つのトレーニングパイプラインを組み合わせた7つの構成を評価する。 モダリティギャップは,目的によって支配される訓練時間現象であることがわかった。 また、テストセットのクラス分布が不均衡である場合、全体的な精度が誤解を招く一次指標であることを実証する。
  論文  参考訳（メタデータ） (2026-06-09T12:39:41Z)
• Locale-Conditioned Few-Shot Prompting Mitigates Demonstration Regurgitation in On-Device PII Substitution with Small Language Models [2.2228811750157482]
  PIIのリアクションは通常、検出されたエンティティを[PERSON]のようなプレースホルダートークンに置き換える。 我々は、PIIを一貫した型保存型偽値で置き換える完全なオンデバイスパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-05-13T13:47:11Z)
• Compute Optimal Tokenization [79.3815358070537]
  圧縮速度によって制御されるトークンの情報粒度がスケーリングの傾向にどのように影響するかを検討する。 所望の圧縮速度の設定を可能にする50Mから7Bパラメータまで,988の潜在トークン化モデル(BLT)を訓練する。 実験の結果, モデルパラメータは, 一般に認識されるトークンではなく, バイト単位のデータサイズに比例してスケールすることがわかった。
  論文  参考訳（メタデータ） (2026-05-02T01:53:22Z)
• Significance-Gain Pair Encoding for LLMs: A Statistical Alternative to Frequency-Based Subword Merging [0.0]
  Significance-Gain BPE は、独立型ヌルモデルの下でz統計による凝集を測定する代替マージ基準である。 検証とテストの難易度をそれぞれ13%、テストの難易度を12%削減し、検証とテストのBPCを0.9～1.0%改善する。
  論文  参考訳（メタデータ） (2026-02-26T20:29:18Z)
• Minimum Bayes Risk Decoding for Error Span Detection in Reference-Free Automatic Machine Translation Evaluation [50.83502171176548]
  Maximum a Posteriori (MAP) を用いた最新造形ESD法 生成ESDモデルに最小ベイズリスク(MBR)デコードを適用することでこの問題に対処する。
  論文  参考訳（メタデータ） (2025-12-08T13:21:44Z)
• Dynamic Programming Encoding for Subword Segmentation in Neural Machine Translation [80.38621085548013]
  本稿では,文をサブワード単位にトークン化するための新しいセグメンテーションアルゴリズムである動的プログラミング(DPE)を提案する。 ターゲットセグメンテーションを見つけるために、正確なログ境界推定と正確なMAP推定を可能にする混合文字サブワード変換器を提案する。
  論文  参考訳（メタデータ） (2020-05-03T05:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。