論文の概要: Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models

• arxiv url: http://arxiv.org/abs/2501.10322v2
• Date: Mon, 20 Jan 2025 09:33:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-22 14:26:32.615815
• Title: Hierarchical Autoregressive Transformers: Combining Byte- and Word-Level Processing for Robust, Adaptable Language Models
• Title（参考訳）: 階層型自己回帰変換器:ロバストな適応型言語モデルのためのバイトとワードレベル処理を組み合わせる
• Authors: Pit Neitemeier, Björn Deiseroth, Constantin Eichenberg, Lukas Balles,
• Abstract要約: トークン化は自然言語処理の基本的なステップであり、テキストを計算モデルが処理できる単位に分割する。 文字レベルと単語レベルの処理を組み合わせた自己回帰型言語モデリングのための階層的アーキテクチャについて検討する。 我々は、70億のパラメータをスケールして、階層変換器がサブワードトケナイザベースのモデルの下流タスク性能と一致することを実証する。
• 参考スコア（独自算出の注目度）: 3.382910438968506
• License:
• Abstract: Tokenization is a fundamental step in natural language processing, breaking text into units that computational models can process. While learned subword tokenizers have become the de-facto standard, they present challenges such as large vocabularies, limited adaptability to new domains or languages, and sensitivity to spelling errors and variations. To overcome these limitations, we investigate a hierarchical architecture for autoregressive language modelling that combines character-level and word-level processing. It employs a lightweight character-level encoder to convert character sequences into word embeddings, which are then processed by a word-level backbone model and decoded back into characters via a compact character-level decoder. This method retains the sequence compression benefits of word-level tokenization without relying on a rigid, predefined vocabulary. We demonstrate, at scales up to 7 billion parameters, that hierarchical transformers match the downstream task performance of subword-tokenizer-based models while exhibiting significantly greater robustness to input perturbations. Additionally, during continued pretraining on an out-of-domain language, our model trains almost twice as fast, achieves superior performance on the target language, and retains more of its previously learned knowledge. Hierarchical transformers pave the way for NLP systems that are more robust, flexible, and generalizable across languages and domains.
• Abstract（参考訳）: トークン化は自然言語処理の基本的なステップであり、テキストを計算モデルが処理できる単位に分割する。 学習されたサブワードトークンはデファクトスタンダードになっているが、大きな語彙、新しいドメインや言語への適応性の制限、スペルエラーやバリエーションに対する感受性などの課題が提示されている。 これらの制約を克服するために,文字レベルと単語レベルの処理を組み合わせた自己回帰型言語モデリングのための階層的アーキテクチャについて検討する。 文字列をワード埋め込みに変換するために軽量な文字レベルエンコーダを使用し、ワードレベルのバックボーンモデルによって処理され、コンパクトな文字レベルデコーダを介して文字に復号される。 この方法は、厳密で定義された語彙に頼ることなく、単語レベルのトークン化のシーケンス圧縮の利点を保っている。 我々は,70億のパラメータにおいて,階層型トランスフォーマーがサブワード・トケナイザに基づくモデルの下流タスク性能と一致し,入力摂動に対するロバスト性が著しく高いことを示す。 さらに、ドメイン外の言語でトレーニングを続ける間、我々のモデルは、ほぼ2倍の速さでトレーニングし、ターゲット言語上での優れたパフォーマンスを実現し、それまでの知識を多く保持します。 階層型トランスフォーマーは、言語やドメイン間でより堅牢で柔軟性があり、一般化可能なNLPシステムへの道を開いた。

関連論文リスト

• Pushdown Layers: Encoding Recursive Structure in Transformer Language Models [86.75729087623259]
  再帰は人間の言語の特徴であり、本質的には自己注意に挑戦する。 この作業では、新しいセルフアテンション層であるPushdown Layersを導入している。 プッシュダウン層を備えたトランスフォーマーは、劇的に改善され、3.5倍の高効率な構文一般化を実現した。
  論文  参考訳（メタデータ） (2023-10-29T17:27:18Z)
• From Characters to Words: Hierarchical Pre-trained Language Model for Open-vocabulary Language Understanding [22.390804161191635]
  自然言語理解のための現在の最先端モデルは、原文を離散トークンに変換するための前処理ステップを必要とする。 トークン化として知られるこのプロセスは、事前に構築された単語またはサブワード形態素の語彙に依存している。 階層的な2段階のアプローチを採用する新しいオープン語彙言語モデルを導入する。
  論文  参考訳（メタデータ） (2023-05-23T23:22:20Z)
• Inducing Character-level Structure in Subword-based Language Models with Type-level Interchange Intervention Training [36.19870483966741]
  サブワードに基づく言語モデルの中で,ロバストで解釈可能な文字表現を学習するための因果介入フレームワークを開発した。 本手法は,各文字を因果モデルにおける型付き変数として扱い,そのような因果構造を学習する。 さらに、意味やシーケンスレベルの文脈に依存して体系的に変化する文字レベルのタスク群も導入する。
  論文  参考訳（メタデータ） (2022-12-19T22:37:46Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• Learning to Look Inside: Augmenting Token-Based Encoders with Character-Level Information [29.633735942273997]
  XRayEmbは、既存のトークンベースのモデルに文字レベルの情報を適合させる手法である。 我々は,XRayEmbの学習ベクトルを事前学習されたトークン埋め込みのシーケンスに組み込むことで,自己回帰型およびマスク付き事前学習されたトランスフォーマーアーキテクチャの性能を向上させることを示す。
  論文  参考訳（メタデータ） (2021-08-01T08:09:26Z)
• Charformer: Fast Character Transformers via Gradient-based Subword Tokenization [50.16128796194463]
  モデルの一部としてサブワードトークン化をエンドツーエンドに学習する新しいモデル帰納バイアスを提案する。 文字から潜在単語表現を自動的に学習する,ソフトグラデーションベースのサブワードトークンモジュール(GBST)を導入する。 また、GBSTを統合し、バイトレベルで動作する深層トランスフォーマーモデルであるCharformerを紹介する。
  論文  参考訳（メタデータ） (2021-06-23T22:24:14Z)
• Char2Subword: Extending the Subword Embedding Space Using Robust Character Compositionality [24.80654159288458]
  本稿では,BERT のような事前学習モデルにおけるサブワード埋め込みテーブルを学習する文字ベースのサブワードモジュール (char2subword) を提案する。 私たちのモジュールは、ミススペル、単語のインフレクション、ケーシング、句読点などの文字レベルの変更に対して堅牢です。 我々は,mBERTにモジュールを組み込むことで,ソーシャルメディア言語コードスイッチング評価(LinCE)ベンチマークの性能が大幅に向上することを示した。
  論文  参考訳（メタデータ） (2020-10-24T01:08:28Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• Towards Reasonably-Sized Character-Level Transformer NMT by Finetuning Subword Systems [78.80826533405019]
  トークンセグメンテーションを必要とせずに文字レベルで機能するニューラルネットワーク翻訳モデルが得られることを示す。 我々の研究は、非常に大きくないキャラクタベースモデルを訓練しやすく、高性能化するための重要な一歩である。
  論文  参考訳（メタデータ） (2020-04-29T15:56:02Z)
• Tree-structured Attention with Hierarchical Accumulation [103.47584968330325]
  階層的累積」は解析木構造を一定時間複雑度で自己注意に符号化する。 提案手法は,4つの IWSLT 翻訳タスクと WMT'14 翻訳タスクにおいて,SOTA 法より優れている。
  論文  参考訳（メタデータ） (2020-02-19T08:17:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。