論文の概要: Small Language Models Like Small Vocabularies: Probing the Linguistic Abilities of Grapheme- and Phoneme-Based Baby Llamas

• arxiv url: http://arxiv.org/abs/2410.01487v1
• Date: Wed, 2 Oct 2024 12:36:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-04 17:24:31.224953
• Title: Small Language Models Like Small Vocabularies: Probing the Linguistic Abilities of Grapheme- and Phoneme-Based Baby Llamas
• Title（参考訳）: 小語彙のような小さな言語モデル:グラファイムと音素に基づく子ラマの言語能力について
• Authors: Bastian Bunzeck, Daniel Duran, Leonie Schade, Sina Zarrieß,
• Abstract要約: 我々は,Llamaアーキテクチャに基づく小型モデルは,標準構文および新しい語彙/音声のベンチマークにおいて,強力な言語性能が得られることを示す。 本研究は,言語習得と処理の計算研究に適する言語学的に妥当な言語モデルを作成するための,有望な方向性を示唆するものである。
• 参考スコア（独自算出の注目度）: 7.585433383340306
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Current language models use subword-based tokenization algorithms like Byte Pair Encoding, which put their validity as models of linguistic representations into question. In this paper, we explore the potential of tokenization-free, phoneme- and grapheme-based language models. We demonstrate that small models based on the Llama architecture can achieve strong linguistic performance on standard syntactic and novel lexical/phonetic benchmarks when trained with character-level vocabularies. We further show that phoneme-based models without any graphemic biases almost match grapheme-based models in standard tasks and novel evaluations. Our findings suggest a promising direction for creating more linguistically plausible language models that are better suited for computational studies of language acquisition and processing.
• Abstract（参考訳）: 現在の言語モデルはByte Pair Encodingのようなサブワードベースのトークン化アルゴリズムを使用しており、言語表現のモデルとしての有効性を疑問視している。 本稿では,トークンフリー,音素ベース,およびグラファイムベース言語モデルの可能性について検討する。 我々は,Llamaアーキテクチャに基づく小型モデルは,文字レベルの語彙で訓練した場合に,標準構文および新しい語彙/音声のベンチマーク上で強力な言語性能が得られることを示した。 さらに, 音素モデルにグラデミックバイアスを伴わないモデルが, 標準課題におけるグラデミックモデルと新しい評価にほぼ一致することを示す。 本研究は,言語習得と処理の計算研究に適する言語学的に妥当な言語モデルを作成するための,有望な方向性を示唆するものである。

関連論文リスト

• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Morphological Inflection with Phonological Features [7.245355976804435]
  本研究は,形態素モデルがサブキャラクタの音韻的特徴にアクセスできる様々な方法で得られる性能への影響について検討する。 我々は、浅いグラフ-音素マッピングを持つ言語に対する言語固有の文法を用いて、標準グラフデータから音素データを抽出する。
  論文  参考訳（メタデータ） (2023-06-21T21:34:39Z)
• Wave to Syntax: Probing spoken language models for syntax [16.643072915927313]
  音声言語の自己教師型および視覚的基盤モデルにおける構文の符号化に着目する。 我々は、構文がネットワークの中間層で最も顕著に捉えられ、より多くのパラメータを持つモデルでより明確に表現されていることを示す。
  論文  参考訳（メタデータ） (2023-05-30T11:43:18Z)
• Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages [3.716965622352967]
  サブワードトークン化器で観測される語彙表現と語彙重複の質を評価するための新しい基準を提案する。 以上の結果から,言語間の語彙の重複は,特定の下流課題に支障を来す可能性があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-26T18:06:49Z)
• On The Ingredients of an Effective Zero-shot Semantic Parser [95.01623036661468]
  我々は、標準発話とプログラムの訓練例を文法から言い換えて、ゼロショット学習を分析する。 改良された文法,より強力なパラフレーズ,効率的な学習手法を用いて,これらのギャップを埋めることを提案する。 我々のモデルはラベル付きデータゼロの2つの意味解析ベンチマーク(Scholar, Geo)で高い性能を達成する。
  論文  参考訳（メタデータ） (2021-10-15T21:41:16Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Are Some Words Worth More than Others? [3.5598388686985354]
  簡単な単語予測タスクの枠組み内での2つの本質的な評価手法を提案する。 提案手法を用いて,広く使用されている大規模英語モデルの評価を行った。
  論文  参考訳（メタデータ） (2020-10-12T23:12:11Z)
• Learning Spoken Language Representations with Neural Lattice Language Modeling [39.50831917042577]
  本稿では,音声言語理解タスクのための文脈表現を提供するために,ニューラルネットワーク言語モデルを訓練するフレームワークを提案する。 提案する2段階事前学習手法は,音声データの要求を低減し,効率を向上する。
  論文  参考訳（メタデータ） (2020-07-06T10:38:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。