論文の概要: H-Net++: Hierarchical Dynamic Chunking for Tokenizer-Free Language Modelling in Morphologically-Rich Languages
- arxiv url: http://arxiv.org/abs/2508.05628v1
- Date: Thu, 07 Aug 2025 17:59:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-08 18:59:39.986905
- Title: H-Net++: Hierarchical Dynamic Chunking for Tokenizer-Free Language Modelling in Morphologically-Rich Languages
- Title（参考訳）: H-Net++: 形態素言語におけるトケナイザフリー言語モデリングのための階層的動的チャンキング
- Authors: Mehrdad Zakershahrak, Samira Ghodratnama,
- Abstract要約: H-NET++は階層的な動的チャンキングモデルであり、エンドツーエンドのトレーニングを通じて言語的にインフォームドされたセグメンテーションを学ぶ。
1.4Bのペルシャコーパスでは、H-NET++は最先端の結果を得る。
- 参考スコア（独自算出の注目度）: 0.6629765271909505
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Byte-level language models eliminate fragile tokenizers but face computational challenges in morphologically-rich languages (MRLs), where words span many bytes. We propose H-NET++, a hierarchical dynamic-chunking model that learns linguistically-informed segmentation through end-to-end training. Key innovations include: (1) a lightweight Transformer context-mixer (1.9M parameters) for cross-chunk attention, (2) a two-level latent hyper-prior for document-level consistency, (3) specialized handling of orthographic artifacts (e.g. Persian ZWNJ), and (4) curriculum-based training with staged sequence lengths. On a 1.4B-token Persian corpus, H-NET++ achieves state-of-the-art results: 0.159 BPB reduction versus BPE-based GPT-2-fa (12% better compression), 5.4pp gain on ParsGLUE, 53% improved robustness to ZWNJ corruption, and 73.8% F1 on gold morphological boundaries. Our learned chunks align with Persian morphology without explicit supervision, demonstrating that hierarchical dynamic chunking provides an effective tokenizer-free solution for MRLs while maintaining computational efficiency.
- Abstract（参考訳）: バイトレベルの言語モデルでは、脆弱なトークン化器は排除されるが、単語が多くのバイトにまたがる形態的にリッチな言語(MRL)では計算上の課題に直面している。
本稿では,H-NET++を提案する。H-NET++は言語的に表現されたセグメンテーションをエンドツーエンドの学習を通して学習する階層的動的チャンキングモデルである。
主なイノベーションは,(1)クロスチャンク注目のための軽量なTransformerコンテキストミキサ(1.9Mパラメータ),(2)文書レベルの一貫性のための2レベル遅延ハイパープライア,(3)正書法アーチファクト(例えばペルシャのZWNJ)の専門的処理,(4)段階的なシーケンス長を持つカリキュラムベースのトレーニングである。
1.4Bのペルシャコーパスでは、H-NET++は、BPEベースのGPT-2-faに対する0.159 BPBの削減(12%の圧縮)、ParsGLUEでの5.4ppのゲイン、53%のZWNJの破損に対する堅牢性の改善、73.8%のF1のゴールドモルフォロジー境界である。
階層的動的チャンキングは, 計算効率を維持しつつ, MRLに対して効果的なプロテタイザフリーソリューションを提供することを示した。
関連論文リスト
- Quantum-RAG and PunGPT2: Advancing Low-Resource Language Generation and Retrieval for the Punjabi Language [0.0]
PunGPT2はPunjabiの大規模言語モデルの最初の完全なオープンソーススイートである。
また、Pun-RAGは、PunGPT2と高密度FAISSレトリバーを組み合わせた検索拡張生成フレームワークである。
本稿では,スパース (BM25) と高密度手法を融合した新しいハイブリッド検索システムであるQuantum-RAGを提案する。
論文 参考訳（メタデータ） (2025-08-03T21:03:22Z) - TULIP: Towards Unified Language-Image Pretraining [60.99500935831526]
既存のCLIPライクなモデルの代替として,オープンソースでドロップイン可能なTを導入する。
提案手法は, 生成データの拡張, 画像画像の強化, テキストコントラスト学習, 画像/テキスト再構成正規化を利用して, きめ細かい視覚的特徴を学習する。
当社のアプローチでは、ベンチマーク全体で既存の最先端(SOTA)モデルを上回っています。
論文 参考訳（メタデータ） (2025-03-19T17:58:57Z) - Retrofitting Large Language Models with Dynamic Tokenization [3.608780819053423]
現在の言語モデル(LM)は固定された静的なサブワードトークン化器を使用する。
このデフォルトの選択は一般的に、特に英語以外の言語において、効率と言語能力の低下をもたらす。
入力テキストに基づいてトークン境界を動的に決定する手法として,動的トークン化を用いたLMの再構成を提案する。
論文 参考訳（メタデータ） (2024-11-27T17:51:58Z) - Predictor-Corrector Enhanced Transformers with Exponential Moving Average Coefficient Learning [73.73967342609603]
トラクションエラーを最小限に抑えるための予測-相関学習フレームワークを提案する。
また、高次予測器を強化するために、指数関数的移動平均ベース係数学習法を提案する。
我々のモデルは3.8BのDeepNetを平均2.9のSacreBLEUで上回り、1/3のパラメータしか使用していない。
論文 参考訳（メタデータ） (2024-11-05T12:26:25Z) - In-Context Language Learning: Architectures and Algorithms [73.93205821154605]
我々は、文脈言語学習(ICLL)において、私たちが用語する新しいモデル問題群(英語版)のレンズを通してICLを研究する。
我々は,通常のICLLタスクにおいて,多種多様なニューラルシーケンスモデルを評価する。
論文 参考訳（メタデータ） (2024-01-23T18:59:21Z) - Machine Translation for Ge'ez Language [0.0]
Ge'ezのような低リソース言語の機械翻訳は、語彙外単語、ドメインミスマッチ、ラベル付きトレーニングデータの欠如といった課題に直面している。
言語関連性に基づく多言語ニューラルマシン翻訳(MNMT)モデルを開発した。
また,最新のLCMであるGPT-3.5を用いて,ファジィマッチングを用いた数ショット翻訳実験を行った。
論文 参考訳（メタデータ） (2023-11-24T14:55:23Z) - SelfSeg: A Self-supervised Sub-word Segmentation Method for Neural
Machine Translation [51.881877192924414]
サブワードセグメンテーションはニューラルマシン翻訳(NMT)に不可欠な前処理ステップである
本稿では,自己教師型ニューラルネットワークサブワードセグメンテーション手法であるSelfSegを紹介する。
SelfSegはトレーニング/デコードがはるかに高速で、並列コーパスの代わりに単言語辞書のみを必要とする。
論文 参考訳（メタデータ） (2023-07-31T04:38:47Z) - MorphPiece : A Linguistic Tokenizer for Large Language Models [3.8073142980733]
基礎となるテキストの形態的セグメンテーションにもとづく言語的に動機付けられたトークン化スキームであるMorphPieceを提案する。
このトークン化器(MorphGPTと呼ばれる)で訓練されたGPTスタイルの因果言語モデルは、様々な教師付きおよび教師なしのNLPタスクにおいて同等または優れたパフォーマンスを示す。
論文 参考訳（メタデータ） (2023-07-14T10:35:04Z) - Effects of sub-word segmentation on performance of transformer language
models [0.628122931748758]
統計的セグメンテーションアルゴリズムBPEと形態素セグメンテーションのための2つの教師なしアルゴリズムを用いて訓練されたGPTモデルとBERTモデルを比較した。
形態的セグメンテーションによるトレーニングでは,1は低いパープレキシティを実現し,2はトレーニング時間でより効率的に収束し,3は下流タスクで同等あるいはより良い評価スコアを得る。
論文 参考訳（メタデータ） (2023-05-09T14:30:29Z) - Learning to Decompose Visual Features with Latent Textual Prompts [140.2117637223449]
視覚言語モデルを改善するために,Decomposed Feature Prompting (DeFo)を提案する。
我々の実証研究は、視覚言語モデルを改善する上でDeFoが重要であることを示している。
論文 参考訳（メタデータ） (2022-10-09T15:40:13Z) - GLaM: Efficient Scaling of Language Models with Mixture-of-Experts [84.33607245023049]
我々はGLaM(Generalist Language Model)という言語モデル群を提案し,開発する。
GLaMは、厳密な変種に比べてトレーニングコストを大幅に削減しつつ、モデルのキャパシティを拡大するために、わずかに活性化されたミックス・オブ・エキスパートアーキテクチャを使用する。
GPT-3の訓練に使用するエネルギーの1/3しか消費せず、推論にはフロップの半分しか必要とせず、29のNLPタスクにまたがる全体的なゼロショットとワンショットのパフォーマンスは向上している。
論文 参考訳（メタデータ） (2021-12-13T18:58:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。