論文の概要: Information Locality as an Inductive Bias for Neural Language Models

• arxiv url: http://arxiv.org/abs/2506.05136v1
• Date: Thu, 05 Jun 2025 15:21:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-06 21:53:49.781885
• Title: Information Locality as an Inductive Bias for Neural Language Models
• Title（参考訳）: ニューラルネットワークモデルにおける帰納的バイアスとしての情報局所性
• Authors: Taiga Someya, Anej Svete, Brian DuSell, Timothy J. O'Donnell, Mario Giulianelli, Ryan Cotterell,
• Abstract要約: 本稿では,Transformer と LSTM LM の言語学習において,$m$local entropy は困難であることを示す。 これらの結果は、ニューラルネットワークが言語の統計構造に非常に敏感であることを示唆している。
• 参考スコア（独自算出の注目度）: 52.92279412466086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Inductive biases are inherent in every machine learning system, shaping how models generalize from finite data. In the case of neural language models (LMs), debates persist as to whether these biases align with or diverge from human processing constraints. To address this issue, we propose a quantitative framework that allows for controlled investigations into the nature of these biases. Within our framework, we introduce $m$-local entropy$\unicode{x2013}$an information-theoretic measure derived from average lossy-context surprisal$\unicode{x2013}$that captures the local uncertainty of a language by quantifying how effectively the $m-1$ preceding symbols disambiguate the next symbol. In experiments on both perturbed natural language corpora and languages defined by probabilistic finite-state automata (PFSAs), we show that languages with higher $m$-local entropy are more difficult for Transformer and LSTM LMs to learn. These results suggest that neural LMs, much like humans, are highly sensitive to the local statistical structure of a language.
• Abstract（参考訳）: 帰納バイアスはすべての機械学習システムに固有のものであり、モデルが有限データから一般化する方法を形成する。 ニューラルネットワークモデル(LM)の場合、これらのバイアスが人間の処理制約と一致しているか、あるいは相違するかについては議論が続いている。 この問題に対処するために,これらのバイアスの性質を制御可能な定量的枠組みを提案する。 我々のフレームワーク内では、平均損失コンテキスト surprisal$\unicode{x2013}$から導かれる情報理論測度として$m$-local entropy$\unicode{x2013}$を導入する。 確率的有限状態オートマトン (PFSA) によって定義される言語と摂動型自然言語コーパスの実験において、高い$m$ローカルエントロピーを持つ言語はトランスフォーマーやLSTM LMでは学習が困難であることを示す。 これらの結果は、人間のように、ニューラルなLMは言語の局所的な統計構造に非常に敏感であることを示している。

関連論文リスト

• Can Language Models Learn Typologically Implausible Languages? [62.823015163987996]
  人間の言語にまたがる文法的特徴は、人間の学習バイアスに起因する興味深い相関関係を示している。 言語モデル(LM)が言語普遍性におけるドメイン一般学習バイアスの役割をよりよく決定する方法について論じる。 本研究は,英語(頭初期)と日本語(頭最終)の超自然主義的だが反実的なバージョンを用いて,LMを試験する。
  論文  参考訳（メタデータ） (2025-02-17T20:40:01Z)
• What Languages are Easy to Language-Model? A Perspective from Learning Probabilistic Regular Languages [78.1866280652834]
  大規模言語モデル (LM) は文字列上の分布である。 RNNとTransformer LMによる規則的LM(RLM)の学習性について検討する。 RNNとトランスフォーマーの双方において,RLMランクの複雑さは強く,学習可能性の有意な予測因子であることが判明した。
  論文  参考訳（メタデータ） (2024-06-06T17:34:24Z)
• Demystifying Neural Language Models' Insensitivity to Word-Order [7.72780997900827]
  摂動の定量化により,自然言語モデルの単語順に対する不感度について検討する。 ニューラルネットワークモデルは、トークンのグローバルな順序付けよりも、局所的な順序付けを必要とする。
  論文  参考訳（メタデータ） (2021-07-29T13:34:20Z)
• Examining the Inductive Bias of Neural Language Models with Artificial Languages [42.699545862522214]
  本稿では,人工言語を用いた言語モデルの帰納的バイアスを調査するための新しい手法を提案する。 これは完全に制御された因果関係のフレームワークを構成し、文法工学がニューラルモデルを分析するのに有用なツールであることを示す。
  論文  参考訳（メタデータ） (2021-06-02T09:34:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。