論文の概要: Inducing Character-level Structure in Subword-based Language Models with Type-level Interchange Intervention Training

• arxiv url: http://arxiv.org/abs/2212.09897v2
• Date: Tue, 19 Dec 2023 13:05:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-21 03:15:27.458109
• Title: Inducing Character-level Structure in Subword-based Language Models with Type-level Interchange Intervention Training
• Title（参考訳）: タイプレベルのインターベンショントレーニングを用いたサブワード型言語モデルにおける文字レベルの構造誘導
• Authors: Jing Huang, Zhengxuan Wu, Kyle Mahowald, and Christopher Potts
• Abstract要約: サブワードに基づく言語モデルの中で,ロバストで解釈可能な文字表現を学習するための因果介入フレームワークを開発した。 本手法は,各文字を因果モデルにおける型付き変数として扱い,そのような因果構造を学習する。 さらに、意味やシーケンスレベルの文脈に依存して体系的に変化する文字レベルのタスク群も導入する。
• 参考スコア（独自算出の注目度）: 36.19870483966741
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language tasks involving character-level manipulations (e.g., spelling corrections, arithmetic operations, word games) are challenging for models operating on subword units. To address this, we develop a causal intervention framework to learn robust and interpretable character representations inside subword-based language models. Our method treats each character as a typed variable in a causal model and learns such causal structures by adapting the interchange intervention training method of Geiger et al. (2021). We additionally introduce a suite of character-level tasks that systematically vary in their dependence on meaning and sequence-level context. While character-level models still perform best on purely form-based tasks like string reversal, our method outperforms character-level models on more complex tasks that blend form, meaning, and context, such as spelling correction in context and word search games. Compared with standard subword-based models, our approach also significantly improves robustness on unseen token sequences and leads to human-interpretable internal representations of characters.
• Abstract（参考訳）: 文字レベルの操作(スペル修正、算術演算、ワードゲームなど)を含む言語タスクは、サブワード単位で操作するモデルでは難しい。 これを解決するために,サブワードベースの言語モデルの中で,ロバストで解釈可能な文字表現を学習するための因果介入フレームワークを開発した。 本手法は,各キャラクタを因果モデルにおける型付き変数として扱い,geigerらによる相互介入訓練法(2021年)を適用してその因果構造を学習する。 さらに、意味やシーケンスレベルの文脈に依存して体系的に変化する文字レベルのタスク群も導入する。 文字レベルのモデルは、文字列の反転のような純粋にフォームベースのタスクで機能するが、この方法は、フォーム、意味、コンテキストをブレンドするより複雑なタスク、例えば、文脈における綴りの修正や単語検索ゲームにおいて、文字レベルのモデルよりも優れている。 また,従来のサブワードモデルと比較して,未知のトークン列のロバスト性を大幅に向上させ,文字の人間解釈可能な内部表現を実現する。

関連論文リスト

• Unsupervised Morphological Tree Tokenizer [36.584680344291556]
  トークン化のための形態的構造ガイダンスを導入し、単語の文字レベル構造を誘導する深層モデルを提案する。 具体的には、ディープモデルは、語の内部構造と表現を@textitOverriding$というメカニズムで共同でエンコードし、モルヒムの非分解性を保証する。 提案アルゴリズムは,提案手法により,単語をトップダウン方式で語彙マッチングによりトークン化する。
  論文  参考訳（メタデータ） (2024-06-21T15:35:49Z)
• Learning Mutually Informed Representations for Characters and Subwords [26.189422354038978]
  本稿では,文字とサブワードの言語モデルを組み合わせることを目的とした絡み合いモデルを提案する。 視覚言語モデルにインスパイアされた我々のモデルは、文字とサブワードを別のモダリティとして扱う。 テキスト分類、名前付きエンティティ認識、POSタグ付け、文字レベルのシーケンスラベリングについて評価を行った。
  論文  参考訳（メタデータ） (2023-11-14T02:09:10Z)
• From Characters to Words: Hierarchical Pre-trained Language Model for Open-vocabulary Language Understanding [22.390804161191635]
  自然言語理解のための現在の最先端モデルは、原文を離散トークンに変換するための前処理ステップを必要とする。 トークン化として知られるこのプロセスは、事前に構築された単語またはサブワード形態素の語彙に依存している。 階層的な2段階のアプローチを採用する新しいオープン語彙言語モデルを導入する。
  論文  参考訳（メタデータ） (2023-05-23T23:22:20Z)
• Exploiting Word Semantics to Enrich Character Representations of Chinese Pre-trained Models [12.0190584907439]
  本稿では,単語構造を利用して語彙意味を事前学習したモデルの文字表現に統合する手法を提案する。 提案手法は,中国の異なるNLPタスクにおけるBERT,BERT-wwm,ERNIEよりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-07-13T02:28:08Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• Models In a Spelling Bee: Language Models Implicitly Learn the Character Composition of Tokens [22.55706811131828]
  事前訓練された言語モデルの埋め込み層を探索する。 モデルが単語全体とサブワードトークンの内部文字構成を学習することを示す。
  論文  参考訳（メタデータ） (2021-08-25T11:48:05Z)
• Charformer: Fast Character Transformers via Gradient-based Subword Tokenization [50.16128796194463]
  モデルの一部としてサブワードトークン化をエンドツーエンドに学習する新しいモデル帰納バイアスを提案する。 文字から潜在単語表現を自動的に学習する,ソフトグラデーションベースのサブワードトークンモジュール(GBST)を導入する。 また、GBSTを統合し、バイトレベルで動作する深層トランスフォーマーモデルであるCharformerを紹介する。
  論文  参考訳（メタデータ） (2021-06-23T22:24:14Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)
• BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
  BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。 提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。 我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
  論文  参考訳（メタデータ） (2020-04-29T04:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。