論文の概要: Between Circuits and Chomsky: Pre-pretraining on Formal Languages Imparts Linguistic Biases

• arxiv url: http://arxiv.org/abs/2502.19249v1
• Date: Wed, 26 Feb 2025 15:55:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-27 14:59:44.692255
• Title: Between Circuits and Chomsky: Pre-pretraining on Formal Languages Imparts Linguistic Biases
• Title（参考訳）: 回路とチョムスキー--言語ビアーズを取り入れた形式言語プレトレーニング-
• Authors: Michael Y. Hu, Jackson Petty, Chuan Shi, William Merrill, Tal Linzen,
• Abstract要約: 形式言語上での言語モデルの事前学習は、自然言語の獲得を改善することができるが、どの特徴が帰納的バイアスを与えるかは明らかではない。 これら2つの特性を持つ形式言語は、自然言語の損失を減らし、他の言語と比較して言語一般化を良くする。
• 参考スコア（独自算出の注目度）: 47.920937001420505
• License:
• Abstract: Pretraining language models on formal languages can improve their acquisition of natural language, but it is unclear which features of the formal language impart an inductive bias that leads to effective transfer. Drawing on insights from linguistics and complexity theory, we hypothesize that effective transfer occurs when the formal language both captures dependency structures in natural language and remains within the computational limitations of the model architecture. Focusing on transformers, we find that formal languages with both these properties enable language models to achieve lower loss on natural language and better linguistic generalization compared to other languages. In fact, pre-pretraining, or training on formal-then-natural language, reduces loss more efficiently than the same amount of natural language. For a 1B-parameter language model trained on roughly 1.6B tokens of natural language, pre-pretraining achieves the same loss and better linguistic generalization with a 33% smaller token budget. We also give mechanistic evidence of cross-task transfer from formal to natural language: attention heads acquired during formal language pretraining remain crucial for the model's performance on syntactic evaluations.
• Abstract（参考訳）: 形式言語上での言語モデルの事前学習は、自然言語の獲得を改善することができるが、どの特徴が帰納的バイアスを与えるかは明らかではない。 言語学と複雑性理論の知見に基づいて、我々は、形式言語が自然言語の依存性構造を捕捉し、モデルアーキテクチャの計算上の限界内にあるときに、効果的な伝達が起こると仮定する。 トランスフォーマーに着目して、これらの特性を持つ形式言語は、自然言語の損失を減らし、他の言語と比較して言語一般化を改善することができる。 事実、事前事前訓練やフォーマル・テン・ナチュラルな言語の訓練は、同じ量の自然言語よりも効率よく損失を減らします。 約1.6Bの自然言語トークンに基づいて訓練された1Bパラメータ言語モデルでは、事前事前学習は、トークン予算を33%小さくすることで、同じ損失とより良い言語一般化を達成する。 また,形式言語から自然言語へのクロスタスク移行のメカニズム的証拠を与える。

関連論文リスト

• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• Machine Translation to Control Formality Features in the Target Language [0.9208007322096532]
  本研究では、機械学習が英語からフォーマルな言語への翻訳にどのように使われているかを検討する。 これは、形式性制御された設定でバイリンガルモデルを訓練し、その性能を事前訓練された多言語モデルと比較することで実現された。 予測されたマスク付きトークンと基底真理を比較することにより,公式な形式性精度(ACC)を評価する。
  論文  参考訳（メタデータ） (2023-11-22T15:42:51Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Overcoming Barriers to Skill Injection in Language Modeling: Case Study in Arithmetic [14.618731441943847]
  我々は,言語モデルが言語能力を維持しつつ数学的に熟練することを可能にする新しい枠組みを開発する。 具体的には、言語モデルに非言語的スキルを注入しながら発生する言語スキルの破滅的な忘れを克服するために、情報理論の介入を提供する。
  論文  参考訳（メタデータ） (2022-11-03T18:53:30Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Linking Emergent and Natural Languages via Corpus Transfer [98.98724497178247]
  創発言語と自然言語のコーパス転送によるリンクを確立する新しい方法を提案する。 このアプローチでは,言語モデリングとイメージキャプションという,2つの異なるタスクに対して,非自明な転送メリットを示す。 また,同一画像に基づく自然言語キャプションに創発的メッセージを翻訳することで,創発的言語の伝達可能性を予測する新しい指標を提案する。
  論文  参考訳（メタデータ） (2022-03-24T21:24:54Z)
• Language Models are not Models of Language [0.0]
  トランスファーラーニングにより、言語モデリングタスクでトレーニングされた大規模なディープラーニングニューラルネットワークにより、パフォーマンスが大幅に向上した。 深層学習モデルは言語の理論的モデルではないので、言語モデルという用語は誤解を招く。
  論文  参考訳（メタデータ） (2021-12-13T22:39:46Z)
• Towards Zero-shot Language Modeling [90.80124496312274]
  人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。 類型的に多様な訓練言語のサンプルからこの分布を推測する。 我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
  論文  参考訳（メタデータ） (2021-08-06T23:49:18Z)
• Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models [27.91397366776451]
  遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。 語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
  論文  参考訳（メタデータ） (2020-04-30T06:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。