論文の概要: Size Matters: Foundation Model for Czech HTML documents
- arxiv url: http://arxiv.org/abs/2609.18494v1
- Date: Wed, 16 Sep 2026 11:31:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.771338
- Title: Size Matters: Foundation Model for Czech HTML documents
- Title（参考訳）: Size Matters:チェコのHTMLドキュメントの基礎モデル
- Abstract要約: 本稿では,HTML-Aware トレーニングと ModernBERT ベースのアーキテクチャによる制限に対処する,154 万のパラメータを持つコンパクト基盤モデル HTML-LM を提案する。
マスク付き言語モデリング、バグ・オブ・ワードの予測、大規模言語モデルからの対照的な蒸留など、複数の目的を用いて1億のWebドキュメントでトレーニングされた。
このモデルはプロダクションにデプロイされ、毎秒数千のWebドキュメントを処理し、CC BY-NC 4.0の下でコミュニティにリリースされている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Creating universal, high-quality representations of web documents in high-traffic industrial environments requires models that are both performant and economic. Existing approaches, however, often depend on large models, overlook the structural information inherent in HTML, or are constrained by short context windows, limiting their ability to process real-world web pages. We present HTML-LM, a compact foundation model with 154 million parameters that addresses these limitations through HTML-aware training and a ModernBERT-based architecture. It was trained on 100 million web documents using multiple objectives, including masked language modeling, bag-of-words prediction, and contrastive distillation from large language models. Consequently, HTML-LM sets a new state-of-the-art for classification and regression applications in the Czech Internet domain, surpassing both larger encoders and small-sized LLMs. The model is deployed in production, processing thousands of web documents per second, and released to the community under the CC BY-NC 4.0. https://huggingface.co/Seznam/html-lm.
- Abstract（参考訳）: 高トラフィックな産業環境におけるWebドキュメントの普遍的で高品質な表現を作成するには、パフォーマンスと経済の両方のモデルが必要である。
しかし、既存のアプローチは、しばしば大きなモデルに依存し、HTMLに固有の構造情報を見落としたり、短いコンテキストウィンドウで制約されたりし、現実世界のWebページを処理できる能力を制限する。
我々は,HTML-Aware トレーニングと ModernBERT ベースのアーキテクチャを通じて,これらの制限に対処する154万のパラメータを持つコンパクト基盤モデル HTML-LM を提案する。
マスク付き言語モデリング、バグ・オブ・ワードの予測、大規模言語モデルからの対照的な蒸留など、複数の目的を用いて1億のWebドキュメントでトレーニングされた。
結果として、HTML-LMはチェコのインターネットドメインにおける分類と回帰のための新しい最先端のアプリケーションを作成し、より大きなエンコーダと小さなLLMを超越した。
このモデルはプロダクションにデプロイされ、毎秒数千のWebドキュメントを処理し、CC BY-NC 4.0の下でコミュニティにリリースされている。
https://huggingface.co/Seznam/html-lm.com
関連論文リスト
- Web2Code: A Large-scale Webpage-to-Code Dataset and Evaluation Framework for Multimodal LLMs [112.89665642941814]
MLLM(Multimodal large language model)は、画像、ビデオ、オーディオなどのモダリティにおいて顕著な成功を収めている。
現在のMLLMは、Webページのスクリーンショットを理解し、対応するHTMLコードを生成するのに驚くほど貧弱です。
命令チューニングのための大規模Webページ・ツー・コードデータセットを新たに構築したベンチマークを提案する。
論文 参考訳（メタデータ） (2024-06-28T17:59:46Z) - WebCode2M: A Real-World Dataset for Code Generation from Webpage Designs [49.91550773480978]
本稿では256万のインスタンスからなる新しいデータセットであるWebCode2Mを紹介する。
WebCode2Mの有効性を検証するため,WebCoderという名称のVision Transformer(ViT)に基づくベースラインモデルを導入し,公正比較のためのベンチマークを確立する。
ベンチマークの結果、我々のデータセットは、Webページの設計からコードを生成するMLLMの能力を大幅に改善することを示した。
論文 参考訳（メタデータ） (2024-04-09T15:05:48Z) - WebLINX: Real-World Website Navigation with Multi-Turn Dialogue [23.71601972991744]
WEBLINXは,対話型Webナビゲーションの2300人の専門家による実演における100Kインタラクションのベンチマークである。
私たちのベンチマークでは、150以上の現実世界のWebサイト上の幅広いパターンをカバーし、さまざまなシナリオにおけるエージェントのトレーニングと評価に使用しています。
選択した要素とスクリーンショットとアクション履歴を使用して、Webをナビゲートする際の人間の振る舞いを再現するさまざまなモデルを評価します。
論文 参考訳（メタデータ） (2024-02-08T18:58:02Z) - The RefinedWeb Dataset for Falcon LLM: Outperforming Curated Corpora
with Web Data, and Web Data Only [48.498376125522114]
適切にフィルタリングされ、分離されたWebデータだけで、強力なモデルに繋がることを示す。
RefinedWebデータセットから600億のトークンの抽出と、それに基づいてトレーニングされた1.3/7.5Bパラメータ言語モデルをリリースします。
論文 参考訳（メタデータ） (2023-06-01T20:03:56Z) - Understanding HTML with Large Language Models [73.92747433749271]
大規模言語モデル(LLM)は、様々な自然言語タスクにおいて例外的な性能を示している。
我々は,HTML 理解モデル (微調整 LLM ) と,その機能に関する3つのタスクの詳細な分析に貢献する。
本稿では,標準自然言語コーパスで事前訓練されたLLMが,HTML理解タスクに極めて適していることを示す。
論文 参考訳（メタデータ） (2022-10-08T07:27:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。