論文の概要: Robustness of the Random Language Model
- arxiv url: http://arxiv.org/abs/2309.14913v1
- Date: Tue, 26 Sep 2023 13:14:35 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-27 13:43:33.131372
- Title: Robustness of the Random Language Model
- Title(参考訳): ランダム言語モデルのロバスト性
- Authors: Fatemeh Lalegani and Eric De Giuli
- Abstract要約: ランダム言語モデルは文脈自由文法のアンサンブルである。
これは文法構文への単一の連続的な遷移を意味する。
このシナリオはこのような対称性の破れに対して堅牢である。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Random Language Model (De Giuli 2019) is an ensemble of stochastic
context-free grammars, quantifying the syntax of human and computer languages.
The model suggests a simple picture of first language learning as a type of
annealing in the vast space of potential languages. In its simplest
formulation, it implies a single continuous transition to grammatical syntax,
at which the symmetry among potential words and categories is spontaneously
broken. Here this picture is scrutinized by considering its robustness against
explicit symmetry breaking, an inevitable component of learning in the real
world. It is shown that the scenario is robust to such symmetry breaking.
Comparison with human data on the clustering coefficient of syntax networks
suggests that the observed transition is equivalent to that normally
experienced by children at age 24 months.
- Abstract(参考訳): ランダム言語モデル(de giuli 2019)は、人間とコンピュータ言語の構文を定量化する、確率的文脈自由文法のアンサンブルである。
このモデルは、潜在的言語の広大な空間におけるアニーリングの一種として、最初の言語学習の簡単な図を示唆している。
最も単純な定式化では、潜在的な単語とカテゴリ間の対称性が自発的に壊れる文法構文への単一の連続的な遷移を意味する。
この図は、実世界の学習の必然的な要素である明示対称性の破れに対する頑健さを考慮して、精査される。
このシナリオはこのような対称性の破れに対して堅牢である。
構文ネットワークのクラスタリング係数に関する人的データと比較すると、観察された遷移は24歳児が通常経験するものと同等である。
関連論文リスト
- Pixel Sentence Representation Learning [67.4775296225521]
本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。
タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。
我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
論文 参考訳(メタデータ) (2024-02-13T02:46:45Z) - Multilingual Conceptual Coverage in Text-to-Image Models [98.80343331645626]
コンセプチュアル・カバー・アクロス言語(Conceptual Coverage Across Languages, CoCo-CroLa)とは、任意の生成的テキスト・画像システムにおいて、有形名詞の観点から学習言語に多言語対応を提供する程度をベンチマークする手法である。
各モデルについて、ソースコード中の一連の有形名詞に生成される画像の集団と、対象言語に翻訳された各名詞に生成された画像の集団とを比較することにより、ソース言語に対して与えられた対象言語の「概念的カバレッジ」を評価することができる。
論文 参考訳(メタデータ) (2023-06-02T17:59:09Z) - Beyond Contrastive Learning: A Variational Generative Model for
Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。
我々のモデルは、$N$言語で並列データを操作する。
本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文 参考訳(メタデータ) (2022-12-21T02:41:40Z) - A Measure-Theoretic Characterization of Tight Language Models [105.16477132329416]
病理学的には「確率質量」が無限列の集合に漏れることがある。
本稿では,言語モデリングの尺度論的扱いについて述べる。
多くのポピュラーな言語モデルファミリーが実際に密接な関係にあることを証明しています。
論文 参考訳(メタデータ) (2022-12-20T18:17:11Z) - Language model acceptability judgements are not always robust to context [30.868765627701457]
目標構文評価における言語モデルの性能の安定性について検討する。
モデル判断は、ランダムにサンプル化された言語コンテキストに置かれる場合、一般的には堅牢である。
これらのモデル性能の変化は、コンテキストとテスト入力にマッチする単純な特徴によって説明できないことを示す。
論文 参考訳(メタデータ) (2022-12-18T00:11:06Z) - Typical Decoding for Natural Language Generation [76.69397802617064]
本稿は,高確率テキストが退屈あるいは反復的である理由について考察する。
典型的なサンプリングでは,品質面での競争性能が期待できる。
論文 参考訳(メタデータ) (2022-02-01T18:58:45Z) - Idiomatic Expression Identification using Semantic Compatibility [8.355785779504869]
文が慣用的表現を持っているかどうかを検知し,それを局所化するタスクについて検討する。
本稿では,これらの表現を識別するためのアテンションフロー機構を備えた多段階ニューラルアーキテクチャを提案する。
このモデルの健全な特徴は、トレーニング中に見えないイディオムを識別できることであり、競争ベースラインよりも1.4%から30.8%向上している。
論文 参考訳(メタデータ) (2021-10-19T15:44:28Z) - Refining Targeted Syntactic Evaluation of Language Models [6.991281327290524]
英語における主語数合意の目標構文評価(TSE)
言語モデルが各文法文を非文法文よりも高い確率で評価するかどうかを評価する。
TSEは、言語モデルの体系性を過大評価しているが、モデルが予測する動詞のスコアが40%向上することは、文脈において起こりそうだ。
論文 参考訳(メタデータ) (2021-04-19T20:55:13Z) - Linguistically inspired morphological inflection with a sequence to
sequence model [19.892441884896893]
我々の研究課題は、ニューラルネットワークが反射生成のための屈折形態を学習できるかどうかである。
我々は、この仮説をテストするために、屈折コーパスと単一の層Seq2seqモデルを使用している。
キャラクタ・ツー・キャラクタとインフレクションアフィクスをキャラクタブロックとして予測することにより,文字形態に基づくモデルでインフレクションを生成する。
論文 参考訳(メタデータ) (2020-09-04T08:58:42Z) - Mechanisms for Handling Nested Dependencies in Neural-Network Language
Models and Humans [75.15855405318855]
我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。
ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。
我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
論文 参考訳(メタデータ) (2020-06-19T12:00:05Z) - Recurrent Neural Network Language Models Always Learn English-Like
Relative Clause Attachment [17.995905582226463]
英語とスペイン語のモデル性能を比較し,RNN LMにおける非言語的バイアスが英語の構文構造と有利に重なることを示す。
英語モデルは人間に似た構文的嗜好を習得しているように見えるが、スペイン語で訓練されたモデルは、同等の人間的な嗜好を取得できない。
論文 参考訳(メタデータ) (2020-05-01T01:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。