論文の概要: Unlocking Noisy Real-World Corpora for Foundation Model Pre-Training via Quality-Aware Tokenization

• arxiv url: http://arxiv.org/abs/2602.06394v1
• Date: Fri, 06 Feb 2026 05:26:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-09 22:18:26.242259
• Title: Unlocking Noisy Real-World Corpora for Foundation Model Pre-Training via Quality-Aware Tokenization
• Title（参考訳）: 品質意識による基礎モデル事前学習のためのノイズの多い実世界コーパスのアンロック
• Authors: Arvid E. Gollwitzer, Paridhi Latawa, David de Gruijl, Deepak A. Subramanian, Adrián Noriega de la Colina,
• Abstract要約: 本稿では,データ信頼性を語彙構築に直接組み込むQA-Tokenについて述べる。 我々は1.7兆のベースペアからなるプレトレーニングコーパスをトークン化し、最先端の病原体検出を実現する。 私たちは、ゲノム配列とテラバイト単位の金融時系列のペタベースにまたがる、騒々しい現実世界のコーパスをアンロックします。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Current tokenization methods process sequential data without accounting for signal quality, limiting their effectiveness on noisy real-world corpora. We present QA-Token (Quality-Aware Tokenization), which incorporates data reliability directly into vocabulary construction. We make three key contributions: (i) a bilevel optimization formulation that jointly optimizes vocabulary construction and downstream performance, (ii) a reinforcement learning approach that learns merge policies through quality-aware rewards with convergence guarantees, and (iii) an adaptive parameter learning mechanism via Gumbel-Softmax relaxation for end-to-end optimization. Our experimental evaluation demonstrates consistent improvements: genomics (6.7 percentage point F1 gain in variant calling over BPE), finance (30% Sharpe ratio improvement). At foundation scale, we tokenize a pretraining corpus comprising 1.7 trillion base-pairs and achieve state-of-the-art pathogen detection (94.53 MCC) while reducing token count by 15%. We unlock noisy real-world corpora, spanning petabases of genomic sequences and terabytes of financial time series, for foundation model training with zero inference overhead.
• Abstract（参考訳）: 現在のトークン化手法は、信号品質を考慮せずにシーケンシャルデータを処理し、ノイズの多い実世界のコーパス上での有効性を制限する。 本稿では,データ信頼性を語彙構築に直接組み込むQA-Tokenについて述べる。 私たちは3つの重要な貢献をしています。 一 語彙構成及び下流性能を協調的に最適化する二段階最適化定式化。 二 コンバージェンス保証付き品質意識報酬による統合政策を学習する強化学習アプローチ 三 エンドツーエンド最適化のためのGumbel-Softmax緩和による適応パラメータ学習機構 実験により,ゲノミクス(6.7ポイントF1ゲイン),ファイナンス(30%シャープ比改善)など,一貫した改善が示された。 ファンデーションスケールでは,1.7兆塩基対からなる事前学習コーパスをトークン化し,最先端の病原体検出(94.53 MCC)を実現し,トークン数を15%削減した。 ゲノム配列とテラバイト単位の金融時系列のペタベースにまたがるノイズの多い実世界のコーパスをアンロックし、ゼロ推論オーバーヘッドによる基礎モデルのトレーニングを行う。

関連論文リスト

• CVeDRL: An Efficient Code Verifier via Difficulty-aware Reinforcement Learning [57.24524263804788]
  コード検証は、LLMベースのコード生成の検証後において重要な役割を果たす。 既存の教師付き微調整手法は、データの不足、高い失敗率、推論効率の低下に悩まされている。 機能的な報酬しか持たない単純RLは、難しいブランチやサンプルに対して効果的な単体テストを生成することができないことを示す。
  論文  参考訳（メタデータ） (2026-01-30T10:33:29Z)
• CoT-Saliency: Unified Chain-of-Thought Reasoning for Heterogeneous Saliency Tasks [96.64597365827046]
  本稿では,3つの運用上不均一なサリエンシタスクを共同で処理する,最初の統合フレームワークを提案する。 タスクの不均一性を橋渡しする視覚言語モデル(VLM)において、チェーン・オブ・ソート(CoT)推論プロセスを導入する。 我々は,全タスクにまたがる特別なSOTA手法と強力なクローズドソースVLMの整合性を示す。
  論文  参考訳（メタデータ） (2025-11-01T04:37:01Z)
• Ring-lite: Scalable Reasoning via C3PO-Stabilized Reinforcement Learning for LLMs [51.21041884010009]
  Ring-liteは、強化学習(RL)により最適化されたMixture-of-Experts(MoE)ベースの大規模言語モデルである 我々のアプローチは、挑戦的なベンチマーク上でのSOTA(State-of-the-art)の小規模推論モデルの性能と一致する。
  論文  参考訳（メタデータ） (2025-06-17T17:12:34Z)
• UniCBE: An Uniformity-driven Comparing Based Evaluation Framework with Unified Multi-Objective Optimization [19.673388630963807]
  統一統一性駆動型CBEフレームワークUniCBEを提案する。 AlpacaEvalベンチマークでは、UniCBEは評価予算の17%以上を削減し、Pearsonと地上の真実との相関は0.995を超えている。 新しいモデルが継続的に導入されるシナリオでは、UniCBEは評価コストの50%以上を節約できる。
  論文  参考訳（メタデータ） (2025-02-17T05:28:12Z)
• Beyond Scaling: Measuring and Predicting the Upper Bound of Knowledge Retention in Language Model Pre-Training [68.94373533768501]
  我々は、知識保持をモデル化し、そのコーパスから事実情報を記憶するための事前学習言語モデルの能力を示し、学習前にそれを推定する原則的手法を導入する。 本稿では,知識周波数,知識特異度,モデルサイズを統合し,クローズドブック質問応答(QA)の精度を予測する情報理論予測器である,サイズ依存型相互情報(SMI)を提案する。
  論文  参考訳（メタデータ） (2025-02-06T13:23:53Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• Towards Stable Machine Learning Model Retraining via Slowly Varying Sequences [6.067007470552307]
  そこで本研究では,リトレーニングを繰り返して安定なモデル列を見つけるためのモデルに依存しないフレームワークを提案する。 最適モデルの復元が保証される混合整数最適化の定式化を開発する。 平均的に、予測力の2%の低下は、安定性の30%の改善につながることが判明した。
  論文  参考訳（メタデータ） (2024-03-28T22:45:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。