論文の概要: Injecting structural hints: Using language models to study inductive biases in language learning

• arxiv url: http://arxiv.org/abs/2304.13060v2
• Date: Sun, 29 Oct 2023 17:14:06 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 22:53:33.862467
• Title: Injecting structural hints: Using language models to study inductive biases in language learning
• Title（参考訳）: 構造的ヒントの注入:言語学習における帰納的バイアスの研究に言語モデルを使う
• Authors: Isabel Papadimitriou and Dan Jurafsky
• Abstract要約: 言語モデルに帰納バイアスを注入し,形式的構造化データに基づいて事前学習を行う。 次に, 学習者の言語学習能力の評価を行った。 非文脈自由な関係が最良の帰納バイアスとなることを示す。
• 参考スコア（独自算出の注目度）: 40.8902073270634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Both humans and large language models are able to learn language without explicit structural supervision. What inductive biases make this learning possible? We address this fundamental cognitive question by leveraging transformer language models: we inject inductive bias into language models by pretraining on formally-structured data, and then evaluate the biased learners' ability to learn typologically-diverse natural languages. Our experimental setup creates a testbed for hypotheses about inductive bias in human language learning. We investigate the effect of injecting models with three types of inductive bias: 1) recursive, hierarchical processing, 2) crossing token-token relationships that can't be modeled by context-free grammars, and 3) a Zipfian power-law vocabulary distribution. We show that non-context-free relationships form the best inductive biases. Our study leverages the capabilities of transformer models to run controlled language learning experiments that are not possible to run on humans, and surfaces hypotheses about the structures that facilitate language learning in both humans and machines.
• Abstract（参考訳）: 人間も大きな言語モデルも明確な構造的監督なしに言語を学べる。 帰納バイアスによってこの学習は可能か? 我々は、形式的構造化されたデータに事前学習することで、インダクティブバイアスを言語モデルに注入し、また、型論的に異なる自然言語を学習するバイアス学習者の能力を評価する。 我々の実験装置は、人間の言語学習における帰納的バイアスに関する仮説の検証ベッドを作成する。 3種類の誘導バイアスを伴うモデル注入の効果について検討する。 1)再帰的,階層的処理 2)文脈自由文法でモデル化できないトークンとトークンの関係を交わし、 3)zipfian power-law vocabulary distribution。 非文脈自由関係が最良の帰納バイアスとなることを示す。 本研究はトランスフォーマーモデルの能力を活用して,人間では実行できない制御型言語学習実験を実行し,人間と機械の両方で言語学習を促進する構造に関する仮説を提示する。

関連論文リスト

• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• Testing learning hypotheses using neural networks by manipulating learning data [20.525923251193472]
  ニューラルネットワーク言語モデルでは、人間が表示するものと類似した受動的制約を学習できることが示される。 動詞が受動的に現れる頻度は受動性に大きな影響を及ぼすが、動詞の意味論は影響しない。
  論文  参考訳（メタデータ） (2024-07-05T15:41:30Z)
• Language Models as Inductive Reasoners [125.99461874008703]
  本稿では,帰納的推論のための新しいパラダイム(タスク)を提案し,自然言語の事実から自然言語規則を誘導する。 タスクのための1.2kルールファクトペアを含むデータセットDEERを作成し,ルールと事実を自然言語で記述する。 我々は、事前訓練された言語モデルが自然言語の事実から自然言語規則をいかに誘導できるかを、初めてかつ包括的な分析を行う。
  論文  参考訳（メタデータ） (2022-12-21T11:12:14Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• What Artificial Neural Networks Can Tell Us About Human Language Acquisition [47.761188531404066]
  自然言語処理のための機械学習の急速な進歩は、人間がどのように言語を学ぶかについての議論を変革する可能性がある。 計算モデルによる学習可能性の関連性を高めるためには,人間に対して大きな優位性を持たず,モデル学習者を訓練する必要がある。
  論文  参考訳（メタデータ） (2022-08-17T00:12:37Z)
• Examining the Inductive Bias of Neural Language Models with Artificial Languages [42.699545862522214]
  本稿では,人工言語を用いた言語モデルの帰納的バイアスを調査するための新しい手法を提案する。 これは完全に制御された因果関係のフレームワークを構成し、文法工学がニューラルモデルを分析するのに有用なツールであることを示す。
  論文  参考訳（メタデータ） (2021-06-02T09:34:32Z)
• Universal linguistic inductive biases via meta-learning [36.43388942327124]
  帰納的バイアスが言語習得における観察されたパターンを説明することができるかは不明である。 ニューラルネットワークモデルに言語的帰納バイアスを与えるためのフレームワークを導入する。 この枠組みを音節構造に基づくケーススタディで実証する。
  論文  参考訳（メタデータ） (2020-06-29T19:15:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。