論文の概要: Unsupervised Acquisition of Discrete Grammatical Categories

• arxiv url: http://arxiv.org/abs/2503.18702v1
• Date: Mon, 24 Mar 2025 14:15:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:31:14.017795
• Title: Unsupervised Acquisition of Discrete Grammatical Categories
• Title（参考訳）: 離散文法カテゴリの教師なし獲得
• Authors: David Ph. Shakouri, Crit Cremers, Niels O. Schiller,
• Abstract要約: 本稿では,言語習得実験のための計算実験環境を用いて実施した実験について述べる。 成人言語モデルと娘言語モデルという2つのエージェントからなるマルチエージェントシステムを実装している。 本稿では, 文法カテゴリに対応する入力データにおけるパターンの統計的解析が, 個別の文法規則をいかに生み出すかを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: This article presents experiments performed using a computational laboratory environment for language acquisition experiments. It implements a multi-agent system consisting of two agents: an adult language model and a daughter language model that aims to learn the mother language. Crucially, the daughter agent does not have access to the internal knowledge of the mother language model but only to the language exemplars the mother agent generates. These experiments illustrate how this system can be used to acquire abstract grammatical knowledge. We demonstrate how statistical analyses of patterns in the input data corresponding to grammatical categories yield discrete grammatical rules. These rules are subsequently added to the grammatical knowledge of the daughter language model. To this end, hierarchical agglomerative cluster analysis was applied to the utterances consecutively generated by the mother language model. It is argued that this procedure can be used to acquire structures resembling grammatical categories proposed by linguists for natural languages. Thus, it is established that non-trivial grammatical knowledge has been acquired. Moreover, the parameter configuration of this computational laboratory environment determined using training data generated by the mother language model is validated in a second experiment with a test set similarly resulting in the acquisition of non-trivial categories.
• Abstract（参考訳）: 本稿では,言語習得実験のための計算実験環境を用いて実施した実験について述べる。 成人言語モデルと母語学習を目的とした娘語モデルという,2つのエージェントからなるマルチエージェントシステムを実装している。 重要なことに、娘エージェントは母語モデルの内部知識にアクセスできず、母語エージェントが生成する言語にのみアクセスする。 これらの実験は、このシステムが抽象文法知識の獲得にどのように役立つかを示す。 本稿では, 文法カテゴリに対応する入力データにおけるパターンの統計的解析が, 個別の文法規則をいかに生み出すかを示す。 これらの規則はその後、娘語モデルの文法的知識に追加される。 この目的のために,母語モデルにより連続的に生成された発話に対して階層的凝集クラスタ分析を適用した。 この手法は、自然言語の言語学者によって提案された文法的カテゴリーに似た構造を取得するのに利用できると論じられている。 したがって、非自明な文法知識が獲得されたことが確認されている。 さらに、母国語モデルによって生成された訓練データを用いて決定されたこの計算実験室環境のパラメータ構成を、同様にテストセットを用いた第2の実験で検証し、非自明なカテゴリの取得をもたらす。

関連論文リスト

• From Isolates to Families: Using Neural Networks for Automated Language Affiliation [9.182884165239996]
  歴史的言語学では、言語を共通の言語族に関連付けることは、伝統的に複雑なワークフローを用いて行われる。 多言語ワードリストと文法言語構造の大規模に標準化されたコレクションは、これを改善し、自動言語アフィリエイトを開発するための新たな道を開くのに役立つだろう。 本研究では,1000言語以上の言語から得られた語彙データと文法データを用いて,個々の言語を家族に分類するニューラルネットワークモデルを提案する。
  論文  参考訳（メタデータ） (2025-02-17T11:25:32Z)
• Finding Structure in Language Models [3.882018118763685]
  この論文は、言語モデルが人間のものと似た文法構造を深く理解しているかどうかに関するものである。 我々は,大規模言語モデルの複雑な性質の理解を深める新しい解釈可能性技術を開発する。
  論文  参考訳（メタデータ） (2024-11-25T14:37:24Z)
• Learning Phonotactics from Linguistic Informants [54.086544221761486]
  本モデルでは,情報理論的なポリシーの1つに従って,データポイントを反復的に選択または合成する。 提案モデルでは,情報提供者を問う項目の選択に使用する情報理論のポリシーが,完全教師付きアプローチに匹敵する,あるいはそれ以上の効率性が得られることがわかった。
  論文  参考訳（メタデータ） (2024-05-08T00:18:56Z)
• Clustering Pseudo Language Family in Multilingual Translation Models with Fisher Information Matrix [22.891944602891428]
  祖先のみに基づくクラスタリング言語は、最適な結果をもたらすことができる。 本稿では,漁船情報行列(FIM)をクラスタリング言語ファミリーに活用する革新的な手法を提案する。 我々は、これらの擬似言語ファミリーの創始と応用について、深く議論する。
  論文  参考訳（メタデータ） (2023-12-05T15:03:27Z)
• Evaluating Neural Language Models as Cognitive Models of Language Acquisition [4.779196219827507]
  我々は、ニューラルネットワークモデルの構文能力を評価するための最も顕著なベンチマークは、十分に厳密でないかもしれないと論じる。 小規模データモデリングによる子言語習得を訓練すると、LMは単純なベースラインモデルで容易にマッチングできる。 子どもの言語習得に関する実証的研究と、LMをよりよく結びつけるための提案をまとめて締めくくった。
  論文  参考訳（メタデータ） (2023-10-31T00:16:17Z)
• BabySLM: language-acquisition-friendly benchmark of self-supervised spoken language models [56.93604813379634]
  音声表現を学習するための自己指導技術は、人間のラベルを必要とせずに、音声への露出から言語能力を高めることが示されている。 語彙および構文レベルで音声言語モデルを探索するために,言語習得に親しみやすいベンチマークを提案する。 テキストと音声のギャップを埋めることと、クリーンな音声とその内話のギャップを埋めることである。
  論文  参考訳（メタデータ） (2023-06-02T12:54:38Z)
• Detecting Text Formality: A Study of Text Classification Approaches [78.11745751651708]
  本研究は,統計的,ニューラルベース,トランスフォーマーベースの機械学習手法に基づく形式性検出手法の体系的研究を初めて行う。 単言語,多言語,言語横断の3種類の実験を行った。 本研究は,モノリンガルおよび多言語形式分類タスクのためのトランスフォーマーベースモデルに対するChar BiLSTMモデルの克服を示す。
  論文  参考訳（メタデータ） (2022-04-19T16:23:07Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• Improving the Lexical Ability of Pretrained Language Models for Unsupervised Neural Machine Translation [127.81351683335143]
  クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。 これまでの研究では、これは表現が十分に整合していないためです。 本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
  論文  参考訳（メタデータ） (2021-03-18T21:17:58Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。