論文の概要: Auditing Chinese Web-scale Corpora via Sampled BPE Token Statistics
- arxiv url: http://arxiv.org/abs/2608.10678v1
- Date: Tue, 11 Aug 2026 08:58:06 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:45.969499
- Title: Auditing Chinese Web-scale Corpora via Sampled BPE Token Statistics
- Title（参考訳）: サンプルBPEトークン統計を用いた中国のWebスケールコーパスの検証
- Abstract要約: そこで我々は, 少量のサブセットをサンプリングし, 汚染トークンを抽出するためのBPEトークンライザを訓練する, 軽量なトークンレベル監査パイプラインを提案する。
実験によると、Sampred-BPEは実行時とメモリを大幅に削減しながら、使用可能な見積を保存する。
汚染のレビューと追跡を支援するために、660k以上のトークンレコードを持つ階層的な中国のWebトークンデータセットをリリースする。
- 参考スコア（独自算出の注目度）: 33.575074445777226
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chinese web pollution has surfaced in LLMs, motivating audits of upstream Chinese corpora. However, auditing such corpora faces three challenges: (1) their web-scale size makes full scan costly; (2) prior analyses are often too coarse to expose token-level pollution; (3) Chinese web pollution is implicit and rapidly changing. We propose Sampled-BPE, a lightweight token-level auditing pipeline that sample a small subset and train BPE tokenizer to surface polluted tokens. Experiments show that Sampled-BPE preserves usable estimates while substantially reducing runtime and memory: a 148.4 $\times$ speedup and a 35.8 $\times$ memory reduction induce only 4.25% relative error for pollution categories. We apply the pipeline to 11 open Chinese corpora and 6 Chinese Common Crawl snapshots from 2021 to 2026. The audit reveals widespread but uneven pollution across open corpora, as well as highly polluted and temporally shifting Chinese web content. We further release a hierarchical Chinese web token dataset with 660k+ token records, each with web context, category, and explanation fields, organized as trees to support review and tracing of pollution.
- Abstract（参考訳）: 中国のWeb汚染はLLMで表面化しており、上流の中国のコーパスの監査を動機付けている。
しかし,このようなコーパスの監査には3つの課題がある: (1) ウェブスケールの規模でスキャンするコストがかかる; (2) トークンレベルの汚染を暴露するには事前分析が大きすぎる; 3) 中国のWeb汚染は暗黙的かつ急速に変化している。
そこで我々はSampred-BPEを提案する。Sampred-BPEは軽量なトークンレベルの監査パイプラインで、小さなサブセットをサンプリングし、汚染トークンを抽出するようBPEトークンを訓練する。
148.4$\times$スピードアップと35.8$\times$メモリ削減は、汚染カテゴリーの相対誤差を4.25%しか引き起こさない。
パイプラインを、2021年から2026年までの中国のオープンコーパスと6つの中国のCommon Crawlスナップショットに適用する。
監査は、オープンコーパス全体で広く、しかし不均一な汚染を明らかにし、中国のウェブコンテンツを高度に汚染し、一時的にシフトさせる。
さらに、660k以上のトークンレコードを持つ階層的な中国のWebトークンデータセットをリリースし、それぞれがWebコンテキスト、カテゴリ、説明フィールドを持ち、木として編成され、汚染のレビューと追跡をサポートする。
関連論文リスト
- From Judgments to Issues: Structured Extraction of Legal Reasoning with Citation-Hallucination Control [0.9332987715848716]
本稿では,イタリアの税務判断を個別の法的問題に分解し,各問題に対して,IRACフレームワークと法的シロジズムに根ざした構造化されたXML表現を抽出する自動パイプラインを提案する。
このパイプラインは、イタリアの税務裁判所の第一審と第二審で約330,000ドルのコーパスを目標としている。
我々の知る限りでは、イタリアにおける税法決定の幻覚制御を備えた、最初の問題レベルの専門家公認構造抽出パイプラインである。
論文 参考訳（メタデータ） (2026-07-03T13:41:08Z) - Benchmarking Speech-to-Speech Translation Models [55.00303727199927]
音声音声翻訳(S2ST)は急速に進歩しているが、オフライン評価には統一されたプロトコルが欠けている。
8次元にわたる46のメトリクスを統合するベンチマークフレームワークを導入する。
FLEURSとCVSSから1,248のモデル言語構成でデプロイする。
論文 参考訳（メタデータ） (2026-06-02T07:01:33Z) - Snippet-Driven Supply Chain Discovery with LLMs: Scaling Visibility in China [0.0]
金融と経済の研究は、しばしば構造化されたサプライチェーンの開示と商業データベースに依存している。
中国では、サプライヤー・カストマーの開示は通常上場企業の主要パートナーに限られる。
本稿では,サプライチェーン知識グラフ(SCKG)をノードとして構築し,エッジとして相互確認を行うスニペット駆動方式を提案する。
論文 参考訳（メタデータ） (2026-05-27T02:02:58Z) - GoAT-X: A Graph of Auditing Thoughts for Securing Token Transactions in Cross-Chain Contracts [52.51342355102833]
マルチチェーンエコシステムの重要な基盤であるクロスチェーンブリッジは、攻撃者にとって主要なターゲットとなっている。
バイトコードレベルの静的解析のような既存の防御は、チェーン間の相互作用のセマンティックな複雑さを扱うには不十分である。
パターンマッチングから体系的な第一原理検証へ自動的なクロスチェーンスマートコントラクト監査を移行するフレームワークであるGoAT-Xを提案する。
論文 参考訳（メタデータ） (2026-04-27T11:34:21Z) - Chinese Language Is Not More Efficient Than English in Vibe Coding: A Preliminary Study on Token Cost and Problem-Solving Rate [6.198159625579234]
LLMコーディングタスクでは、中国語のプロンプトが英語よりもトークン効率が高いという主張が流布している。
この主張は、開発者がAPIコストを節約するために、バイブコーディングのために中国語に切り替えることを検討することに影響を与えている。
我々はSWE-bench Liteを用いた厳密な実証研究を行い、この中国のトークン効率の主張が精査できるかどうかを検証した。
論文 参考訳（メタデータ） (2026-04-06T18:27:00Z) - Chinese ModernBERT with Whole-Word Masking [15.633276132474316]
ハードウェア対応の32k BPE語彙である Chinese ModernBERT を紹介した。
我々は、CCI3-HQ、CCI4(中国語)、Cosmopedia- Chineseから1.2Tの中国トークンを事前訓練する。
CLUEでは、中国のModernBERTは、統一された微調整プロトコルの下で強力な中国のエンコーダと競合している。
論文 参考訳（メタデータ） (2025-10-14T08:41:22Z) - The Hidden Costs of Translation Accuracy: Distillation, Quantization, and Environmental Impact [0.0]
大規模言語モデル(LLM)の急速な拡張により、計算コストや環境コストに対する懸念が高まっている。
本研究では, フルスケール, 蒸留, 定量化モデルを比較し, 翻訳品質と効率のトレードオフについて検討した。
論文 参考訳（メタデータ） (2025-09-28T17:32:52Z) - Speculating LLMs' Chinese Training Data Pollution from Their Tokens [59.325920108736454]
汚染された中国人(PoC)トークンはポルノやオンラインギャンブルのような内容を示す。
GPTの語彙に基づくPoCトークンの形式的定義と分類について述べる。
我々は,LLMを微調整してPoCトークンを語彙でラベル付けすることで,PoCトークン検出装置を構築する。
論文 参考訳（メタデータ） (2025-08-25T08:08:51Z) - Exploring Multimodal Challenges in Toxic Chinese Detection: Taxonomy, Benchmark, and Findings [48.841514684592426]
我々は、有害な中国語検出に言語モデルをデプロイする上で重要な課題として、中国語のマルチモーダル性を強調した。
まず,3つの摂動戦略の分類法と,有毒な中国コンテンツに対する8つの具体的なアプローチを提案する。
そして、この分類に基づいてデータセットをキュレートし、9つのSOTA LLM(米国と中国)をベンチマークして、乱れた有毒な漢文を検出できるかどうかを評価する。
論文 参考訳（メタデータ） (2025-05-30T08:32:45Z) - Skywork: A More Open Bilingual Foundation Model [55.927396986873816]
英語と中国語の両方のテキストから引き出された3.2兆以上のトークンのコーパスをトレーニングした,大規模言語モデル(LLM)のファミリーであるSkywork-13Bを紹介する。
我々のモデルは,一般的なベンチマークに優れるだけでなく,さまざまなドメインにおける中国語のモデリングにおける芸術的パフォーマンスの即興性も達成できることを示す。
論文 参考訳（メタデータ） (2023-10-30T08:31:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。