論文の概要: Forecasting Corpus-Sampling Disagreement in Masked Text Reconstruction

• arxiv url: http://arxiv.org/abs/2610.12987v1
• Date: Fri, 09 Oct 2026 04:40:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.391727
• Title: Forecasting Corpus-Sampling Disagreement in Masked Text Reconstruction
• Title（参考訳）: マスクテキスト再構成における予測コーパスサンプリングの相違
• Abstract要約: 近傍のトークンペア数から構築されたスムーズな予測器を用いて, 50,257 個の GPT-2 ボキャブラリを用いて, マスケテキストの再構成を行った。 それぞれの資料を1つの観測として扱うことで、2つの独立コーパスに適合する予測器間の相違を予想する1次式を導出する。 TinyStories、WikiText-103、CNN/DailyMailでは、各コーパスを512から2,048チャンクの64トークンに成長させ、不一致をわずか5-40%減らした。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: If a second text corpus were collected from the same population, how much would a predictor's outputs change? We study this question for masked-text reconstruction using a smoothed predictor built from nearby token-pair counts and evaluated over the full 50,257-token GPT-2 vocabulary. Treating each source document as one observation, we derive a first-order formula for the expected disagreement between predictors fitted to two independent corpora. The formula accounts for variable document length, random context counts, and correlations across token offsets, and it can be evaluated from a separate reference corpus without access to either target corpus. On TinyStories, WikiText-103, and CNN/DailyMail, growing each corpus from 512 to 2,048 chunks of 64 tokens lowers disagreement by only 5--40\%, far short of the 75\% implied by $1/n$ scaling. The forecast tracks this slow decline, which we trace to smoothing of rarely seen contexts. Forecast accuracy depends less on how these correlations are modeled than on the size of the reference corpus: small references systematically underpredict disagreement. A source-split jackknife that uses only reference data reduces this calibration error by 57--59\%. After this correction, a simpler smoothed-multinomial approximation is most accurate when the reference corpus is smaller than the target corpus, and a nonlinear source bootstrap is most accurate when it is larger. Finally, small masked diffusion language models trained on the same corpora show that the count-based forecasts partly identify which inputs are most sensitive to the corpus, but miss the neural models' much faster decline in disagreement.
• Abstract（参考訳）: 同じ集団から第2のテキストコーパスが収集された場合、予測者の出力はどの程度変化するのか? 本研究では, 近傍のトークンペア数から構築したスムーズな予測器を用いて, 50,257 個の GPT-2 ボキャブラリを用いて, マスクテキストの再構成を行った。 それぞれの資料を1つの観測として扱うことで、2つの独立コーパスに適合する予測器間の相違を予想する1次式を導出する。 この公式は、可変文書長、ランダムコンテキストカウント、トークンオフセット間の相関について記述し、どちらのターゲットコーパスにもアクセスせずに別々の参照コーパスから評価することができる。 TinyStories、WikiText-103、CNN/DailyMailでは、各コーパスを512から2,048チャンクの64トークンに成長させ、その差はわずか5～40倍に低下した。 この予測は、この緩やかな減少を、稀に見られるコンテキストのスムーズ化に追随している。 予測精度は、これらの相関が基準コーパスのサイズよりもどのようにモデル化されるかにかかっている。 参照データのみを使用するソース分割ジャックナイフは、この校正誤差を57-59\%削減する。 この補正後、基準コーパスが目標コーパスよりも小さく、非線形ソースブートストラップが大きければ最も正確である。 最後に、同じコーパスで訓練された小さなマスク付き拡散言語モデルにより、カウントベースの予測は、どの入力がコーパスに最も敏感であるかを部分的に識別するが、ニューラルモデルの相違点の減少がはるかに早いことが分かる。

関連論文リスト

• The Copy Ceiling: An Input-Exposure Control for Ontology-Grounded Generation over Curated Corpora [0.0]
  我々は、維持されたコーパスに置換可能な言語モデルを基盤とするノードを構築し、その成功した外観評価がサポートできるかどうかを尋ねました。 10台のモデルで目標名リコールが0.265から0.92に引き上げられた。 コピーベースライン、表示されたコンテキストの冗長コピーのリコールは、既に達成され、0.964でスコアされ、すべてのモデルは0.022から0.067の下に位置する。
  論文  参考訳（メタデータ） (2026-09-21T16:53:00Z)
• No Detectable Change in Side-Level WER from Prompt-Level Context: A Preregistered Ablation on a Production Oral-History Corpus [0.0]
  大規模なマルチモーダルモデルに推論時にコンテキストを供給することは、音声の書き起こしをドメインに適応させるための安価なレバーである。 本研究は、そのメカニズムを、自身の生産コーパスからのサンプルに基づいて、生産された口頭歴史書写ツールの即時条件付け層で検証した。
  論文  参考訳（メタデータ） (2026-08-28T21:26:35Z)
• Cost Scales with Change, Not Corpus Size: Incrementally Maintaining an Evolving Semantic Substrate [0.3887079592126372]
  コーパスがあらゆる質問に何を意味するかを再定義する代わりに、文書が到着すると一度だけ作業が行われ、その後単に相談される。 もう一つの方法は、一度その意味を取り込みながら、コンパクトでクエリ可能なセマンティック基質にコンパイルし、コーパスが進化するにつれてそれを維持することである。 私たちは、メンテナンスコストはコーパスサイズではなく、変化の量とともにスケールする、と実証的に主張し、示す。
  論文  参考訳（メタデータ） (2026-08-17T14:21:15Z)
• CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression [77.41779716950387]
  本稿では,2チャンネル評価プロトコルであるCavewomanについて述べる。 我々は5つのデータセットの8つのモデルを5つの還元レベルで評価し、両方のチャネルは同じ項目で測定した。
  論文  参考訳（メタデータ） (2026-06-23T02:56:48Z)
• Scale Dependent Data Duplication [29.59812821602787]
  セマンティック複製は、トレーニング中に正確に複製されるように、ますます機能します。 EmbeddingGemma-300mを使って、1億9200万のFineWeb-Edu-Dedupドキュメントを埋め込んだ。 我々は,事前学習コーパスの意味的特異性に制限があるため,実践者が期待するスケーリングから逸脱を推定できる明示的なスケーリング法を導出する。
  論文  参考訳（メタデータ） (2026-02-18T05:22:58Z)
• Un-Attributability: Computing Novelty From Retrieval & Semantic Similarity [36.7885061055424]
  セマンティックノベルティの操作尺度として非帰属性を導入する。 SmolLMとSmolLM2について検討し,3つの知見を報告する。
  論文  参考訳（メタデータ） (2025-10-31T09:39:12Z)
• Understanding and Mitigating Spurious Correlations in Text Classification with Neighborhood Analysis [69.07674653828565]
  機械学習モデルは、トレーニングセットに存在するが一般的な状況では当てはまらない急激な相関を利用する傾向にある。 本稿では, 周辺分析と呼ばれる新しい視点から, 突発的相関がもたらす意味について考察する。 本稿では,テキスト分類における素早い相関を緩和する正規化手法であるNFL(doN't Forget your Language)を提案する。
  論文  参考訳（メタデータ） (2023-05-23T03:55:50Z)
• Nonparametric Masked Language Modeling [113.71921977520864]
  既存の言語モデル(LM)は、有限語彙上のソフトマックスでトークンを予測する。 NPMは,このソフトマックスを参照コーパス内の各フレーズの非パラメトリック分布に置き換える最初の非パラメトリックマスク付き言語モデルである。 NPMは、コントラスト目的と全コーパス検索に対するバッチ内近似で効率的に訓練することができる。
  論文  参考訳（メタデータ） (2022-12-02T18:10:42Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing [55.97957664897004]
  seq2seq、非自動回帰的、タスク指向を構築するための効果的なレシピは、3つのステップで発話とセマンティックフレームをマッピングする。 これらのモデルは通常、長さ予測によってボトルネックとなる。 本研究では,デコードタスクをテキスト生成からスパン予測へシフトさせる非自己回帰手法を提案する。
  論文  参考訳（メタデータ） (2021-04-15T07:02:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。