論文の概要: Pretrain on just structure: Understanding linguistic inductive biases using transfer learning

• arxiv url: http://arxiv.org/abs/2304.13060v1
• Date: Tue, 25 Apr 2023 18:00:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-27 16:53:00.322051
• Title: Pretrain on just structure: Understanding linguistic inductive biases using transfer learning
• Title（参考訳）: just構造に関する事前学習 : トランスファー学習による言語帰納的バイアスの理解
• Authors: Isabel Papadimitriou and Dan Jurafsky
• Abstract要約: 人間とトランスフォーマー言語モデルの両方が、明示的な構造的監督なしに言語を学ぶことができる。 複雑なトークンとトークンの相互作用が最良の帰納バイアスとなることを示す。 また、Zipf の語彙分布は文法構造とは独立に優れた帰納的バイアスを形成することを示す。
• 参考スコア（独自算出の注目度）: 27.91397366776451
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Both humans and transformer language models are able to learn language without explicit structural supervision. What inductive learning biases make this learning possible? In this study, we examine the effect of different inductive learning biases by predisposing language models with structural biases through pretraining on artificial structured data, and then evaluating by fine-tuning on English. Our experimental setup gives us the ability to actively control the inductive bias of language models. With our experiments, we investigate the comparative success of three types of inductive bias: 1) an inductive bias for recursive, hierarchical processing 2) an inductive bias for unrestricted token-token dependencies that can't be modeled by context-free grammars, and 3) an inductive bias for a Zipfian power-law vocabulary distribution. We show that complex token-token interactions form the best inductive biases, and that this is strongest in the non-context-free case. We also show that a Zipfian vocabulary distribution forms a good inductive bias independently from grammatical structure. Our study leverages the capabilities of transformer models to run controlled language learning experiments that are not possible to run in humans, and surfaces hypotheses about the structures that facilitate language learning in both humans and machines.
• Abstract（参考訳）: 人間とトランスフォーマーの両方の言語モデルは、明示的な構造的監督なしに言語を学べる。 この学習を可能にする帰納的学習バイアスは何か? 本研究では,人工構造データへの事前学習による構造バイアスを伴う言語モデルの提案と,英語の微調整による評価により,異なる帰納的学習バイアスの効果について検討する。 実験的なセットアップにより、言語モデルの帰納バイアスを積極的に制御できるようになります。 実験では,3種類の帰納バイアスの比較成功について検討した。 1)帰納的階層的処理のための帰納的バイアス 2)文脈自由文法でモデル化できない制約のないトークン分岐依存性に対する帰納的バイアス 3) zipfian power-law vocabulary distribution に対する帰納的バイアス。 複雑なトークン-トークン間の相互作用が最高の帰納バイアスを形成し、非文脈自由の場合ではこれが最強であることを示す。 また、Zipf の語彙分布は文法構造とは独立に優れた帰納的バイアスを形成することを示す。 本研究は,人間では実行できない制御型言語学習実験を行うトランスフォーマーモデルの能力を活用して,人間と機械の両方で言語学習を促進する構造に関する仮説を提示する。

関連論文リスト

• Testing learning hypotheses using neural networks by manipulating learning data [20.525923251193472]
  ニューラルネットワーク言語モデルでは、人間が表示するものと類似した受動的制約を学習できることが示される。 動詞が受動的に現れる頻度は受動性に大きな影響を及ぼすが、動詞の意味論は影響しない。
  論文  参考訳（メタデータ） (2024-07-05T15:41:30Z)
• Diffusion Language Models Can Perform Many Tasks with Scaling and Instruction-Finetuning [56.03057119008865]
  拡散言語モデルを拡張することで、強力な言語学習者が効果的に学習できることが示される。 大規模データから知識を最初に取得することで,大規模に有能な拡散言語モデルを構築する。 実験により、拡散言語モデルのスケーリングは、下流言語タスクにおけるパフォーマンスを一貫して改善することが示された。
  論文  参考訳（メタデータ） (2023-08-23T16:01:12Z)
• Language Models as Inductive Reasoners [125.99461874008703]
  本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。 タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。 我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
  論文  参考訳（メタデータ） (2022-12-21T11:12:14Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• What Artificial Neural Networks Can Tell Us About Human Language Acquisition [47.761188531404066]
  自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。 計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
  論文  参考訳（メタデータ） (2022-08-17T00:12:37Z)
• Examining the Inductive Bias of Neural Language Models with Artificial Languages [42.699545862522214]
  本稿では,人工言語を用いた言語モデルの帰納的バイアスを調査するための新しい手法を提案する。 これは完全に制御された因果関係のフレームワークを構成し、文法工学がニューラルモデルを分析するのに有用なツールであることを示す。
  論文  参考訳（メタデータ） (2021-06-02T09:34:32Z)
• Universal linguistic inductive biases via meta-learning [36.43388942327124]
  帰納的バイアスが言語習得における観察されたパターンを説明することができるかは不明である。 ニューラルネットワークモデルに言語的帰納バイアスを与えるためのフレームワークを導入する。 この枠組みを音節構造に基づくケーススタディで実証する。
  論文  参考訳（メタデータ） (2020-06-29T19:15:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。