論文の概要: Can Language Models Induce Grammatical Knowledge from Indirect Evidence?

• arxiv url: http://arxiv.org/abs/2410.06022v2
• Date: Wed, 23 Oct 2024 12:49:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 11:30:40.514352
• Title: Can Language Models Induce Grammatical Knowledge from Indirect Evidence?
• Title（参考訳）: 言語モデルは間接的エビデンスから文法的知識を誘導できるか?
• Authors: Miyu Oba, Yohei Oseki, Akiyo Fukatsu, Akari Haga, Hiroki Ouchi, Taro Watanabe, Saku Sugawara,
• Abstract要約: 本稿では,言語モデルが間接的データ(間接的証拠)を効率的に用いて文の受理性を推定するかどうかを検討する。 対照的に、人間は間接的エビデンスを効率的に使用しており、これは効率的な言語習得に寄与する帰納的バイアスの1つと考えられている。 実験の結果,同じ構造を持つインスタンスに繰り返し露出しても,言語モデルが文法的知識を誘導しないことが明らかとなった。
• 参考スコア（独自算出の注目度）: 23.580381311886814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: What kinds of and how much data is necessary for language models to induce grammatical knowledge to judge sentence acceptability? Recent language models still have much room for improvement in their data efficiency compared to humans. This paper investigates whether language models efficiently use indirect data (indirect evidence), from which they infer sentence acceptability. In contrast, humans use indirect evidence efficiently, which is considered one of the inductive biases contributing to efficient language acquisition. To explore this question, we introduce the Wug InDirect Evidence Test (WIDET), a dataset consisting of training instances inserted into the pre-training data and evaluation instances. We inject synthetic instances with newly coined wug words into pretraining data and explore the model's behavior on evaluation data that assesses grammatical acceptability regarding those words. We prepare the injected instances by varying their levels of indirectness and quantity. Our experiments surprisingly show that language models do not induce grammatical knowledge even after repeated exposure to instances with the same structure but differing only in lexical items from evaluation instances in certain language phenomena. Our findings suggest a potential direction for future research: developing models that use latent indirect evidence to induce grammatical knowledge.
• Abstract（参考訳）: 文の受理性を判断するために文法的知識を誘導する言語モデルに必要なデータの種類と量。 最近の言語モデルでは、人間に比べてデータ効率が向上する余地が残っている。 本稿では,言語モデルが間接的データ(間接的証拠)を効率的に用いているかを検討する。 対照的に、人間は間接的エビデンスを効率的に使用しており、これは効率的な言語習得に寄与する帰納的バイアスの1つと考えられている。 この問題を調査するために、事前学習データと評価インスタンスに挿入されたトレーニングインスタンスからなるデータセットであるWIDET(Wug InDirect Evidence Test)を紹介した。 我々は,新たに造語されたwug単語を用いた合成インスタンスを事前学習データに注入し,それらの単語に対する文法的受容性を評価する評価データにモデルの振る舞いを探索する。 インジェクトされたインスタンスは、間接性と量のレベルを変化させて作成する。 実験の結果, 言語モデルでは, 同じ構造を持つインスタンスに対して繰り返し露出しても文法的知識を誘導せず, 特定の言語現象における評価事例と語彙的項目でのみ異なることがわかった。 本研究は,潜在的間接的証拠を用いて文法知識を誘導するモデルの構築という,今後の研究の方向性を示唆するものである。

関連論文リスト

• Is Child-Directed Speech Effective Training Data for Language Models? [34.46268640655943]
  GPT-2 と RoBERTa モデルを英語の子供指向音声の29万語で学習する。 子どものトレーニングデータのグローバルな発達順序付けやローカルな談話順序付けが、他のデータセットと比較して高いパフォーマンスを支えているかどうかを検証する。 これらの結果は、より良いデータから進むのではなく、子供の学習アルゴリズムが現在の言語モデリング技術よりもはるかにデータ効率が高いという仮説を支持している。
  論文  参考訳（メタデータ） (2024-08-07T08:18:51Z)
• Testing learning hypotheses using neural networks by manipulating learning data [20.525923251193472]
  ニューラルネットワーク言語モデルでは、人間が表示するものと類似した受動的制約を学習できることが示される。 動詞が受動的に現れる頻度は受動性に大きな影響を及ぼすが、動詞の意味論は影響しない。
  論文  参考訳（メタデータ） (2024-07-05T15:41:30Z)
• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language Modelling [70.23876429382969]
  本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。 ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。 また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
  論文  参考訳（メタデータ） (2023-07-16T15:18:25Z)
• Discovering Latent Knowledge in Language Models Without Supervision [72.95136739040676]
  既存の言語モデルをトレーニングするテクニックは、真実と正しく一致していない可能性がある。 本稿では,言語モデルの内部アクティベーション内部の潜伏知識を,純粋に教師なしの方法で直接見つけることを提案する。 本手法は, 教師なし, モデル出力がないにもかかわらず, 大規模言語モデルで表される多様な知識を復元できることを示す。
  論文  参考訳（メタデータ） (2022-12-07T18:17:56Z)
• How Does Data Corruption Affect Natural Language Understanding Models? A Study on GLUE datasets [4.645287693363387]
  モデルが微調整されたり、破損したデータでテストされた場合、ほとんどのGLUEタスクのパフォーマンスは高いままである。 提案したデータ変換は,特定のデータセットがモデルの言語理解能力を評価するための適切なテストベッドを構成する範囲を評価するための診断ツールとして利用することができる。
  論文  参考訳（メタデータ） (2022-01-12T13:35:53Z)
• Pre-Training a Language Model Without Human Language [74.11825654535895]
  先行学習データの本質的性質が下流性能の微調整にどのように寄与するかを検討する。 非構造化データで事前に訓練されたモデルは、下流のタスクでゼロから訓練されたモデルに勝った。 驚くべきことに、特定の非人間言語データの事前トレーニングがGLUEのパフォーマンスを他の非英語言語で事前トレーニングされたパフォーマンスに近づけることを明らかにしました。
  論文  参考訳（メタデータ） (2020-12-22T13:38:06Z)
• A Visuospatial Dataset for Naturalistic Verb Learning [18.654373173232205]
  基礎言語モデルのトレーニングと評価のための新しいデータセットを導入する。 我々のデータはバーチャルリアリティー環境で収集され、言語データの品質をエミュレートするように設計されている。 収集したデータを用いて、動詞学習のための複数の分布意味論モデルを比較する。
  論文  参考訳（メタデータ） (2020-10-28T20:47:13Z)
• Comparison of Interactive Knowledge Base Spelling Correction Models for Low-Resource Languages [81.90356787324481]
  低リソース言語に対する正規化の推進は、パターンの予測が難しいため、難しい作業である。 この研究は、ターゲット言語データに様々な量を持つニューラルモデルとキャラクタ言語モデルの比較を示す。 我々の利用シナリオは、ほぼゼロのトレーニング例によるインタラクティブな修正であり、より多くのデータが収集されるにつれてモデルを改善する。
  論文  参考訳（メタデータ） (2020-10-20T17:31:07Z)
• Data Augmentation for Spoken Language Understanding via Pretrained Language Models [113.56329266325902]
  音声言語理解(SLU)モデルの訓練は、しばしばデータ不足の問題に直面している。 我々は,事前学習言語モデルを用いたデータ拡張手法を提案し,生成した発話の変動性と精度を向上した。
  論文  参考訳（メタデータ） (2020-04-29T04:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。