論文の概要: On Unsupervised Training of Link Grammar Based Language Models
- arxiv url: http://arxiv.org/abs/2208.13021v1
- Date: Sat, 27 Aug 2022 14:07:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-08-30 12:55:28.793409
- Title: On Unsupervised Training of Link Grammar Based Language Models
- Title(参考訳): リンク文法に基づく言語モデルの教師なし学習について
- Authors: Nikolay Mikhaylovskiy
- Abstract要約: 本稿では,リンク文法形式に基づく言語モデル構築に必要な終端タグ形式について紹介する。
第2に,統計的リンク文法形式を提唱し,統計的言語生成を可能にする。
第3に, 上記の形式主義に基づいて, 語彙抽出による言語関係の発見に関する古典的ユレットの論文 [25] が, 言語の文脈的特性を無視していることを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: In this short note we explore what is needed for the unsupervised training of
graph language models based on link grammars. First, we introduce the
ter-mination tags formalism required to build a language model based on a link
grammar formalism of Sleator and Temperley [21] and discuss the influence of
context on the unsupervised learning of link grammars. Second, we pro-pose a
statistical link grammar formalism, allowing for statistical language
generation. Third, based on the above formalism, we show that the classical
dissertation of Yuret [25] on discovery of linguistic relations using lexical
at-traction ignores contextual properties of the language, and thus the
approach to unsupervised language learning relying just on bigrams is flawed.
This correlates well with the unimpressive results in unsupervised training of
graph language models based on bigram approach of Yuret.
- Abstract(参考訳): この短い注記では、リンク文法に基づくグラフ言語モデルの教師なしトレーニングに必要なものについて検討する。
まず,sleator と temperley [21] のリンク文法形式に基づく言語モデルの構築に必要なターミネーションタグ形式を導入し,リンク文法の教師なし学習における文脈の影響について考察する。
第2に,統計的リンク文法形式を提案し,統計的言語生成を可能にする。
第3に, 上記の形式主義に基づき, 語彙抽出による言語関係の発見に関する古典的論文 [25] が, 言語の文脈的特性を無視し, ビッグラムのみに依存した教師なし言語学習へのアプローチに欠陥があることが示される。
これは、yuretのbigramアプローチに基づいたグラフ言語モデルの教師なしトレーニングの結果とよく関連している。
関連論文リスト
- Unsupervised Lexical Simplification with Context Augmentation [55.318201742039]
対象単語とその文脈が与えられた場合、対象コンテキストと単言語データからサンプル化した追加コンテキストに基づいて置換語を生成する。
我々は、TSAR-2022共有タスクにおいて、英語、ポルトガル語、スペイン語で実験を行い、我々のモデルは、すべての言語で、他の教師なしシステムよりも大幅に優れていることを示す。
論文 参考訳(メタデータ) (2023-11-01T05:48:05Z) - Multilingual Conceptual Coverage in Text-to-Image Models [98.80343331645626]
コンセプチュアル・カバー・アクロス言語(Conceptual Coverage Across Languages, CoCo-CroLa)とは、任意の生成的テキスト・画像システムにおいて、有形名詞の観点から学習言語に多言語対応を提供する程度をベンチマークする手法である。
各モデルについて、ソースコード中の一連の有形名詞に生成される画像の集団と、対象言語に翻訳された各名詞に生成された画像の集団とを比較することにより、ソース言語に対して与えられた対象言語の「概念的カバレッジ」を評価することができる。
論文 参考訳(メタデータ) (2023-06-02T17:59:09Z) - Entailment Semantics Can Be Extracted from an Ideal Language Model [32.5500309433108]
文間の係り受け判断が理想的な言語モデルから抽出できることを実証する。
また,これらのデータに基づいて学習した言語モデルの予測から,包含判断を復号化できることを示す。
論文 参考訳(メタデータ) (2022-09-26T04:16:02Z) - Controlled Evaluation of Grammatical Knowledge in Mandarin Chinese
Language Models [22.57309958548928]
構造的監督が言語モデルの文法的依存の学習能力を向上させるかどうかを検討する。
LSTM、リカレントニューラルネットワーク文法、トランスフォーマー言語モデル、および異なるサイズのデータセットに対する生成解析モデルをトレーニングする。
構造的監督がコンテンツ間のシナティクス状態の表現に役立ち、低データ設定における性能向上に役立つという示唆的な証拠が得られます。
論文 参考訳(メタデータ) (2021-09-22T22:11:30Z) - Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。
実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
論文 参考訳(メタデータ) (2021-09-20T18:40:37Z) - Rule Augmented Unsupervised Constituency Parsing [11.775897250472116]
本稿では,構文規則の形で存在する言語について,非常に汎用的な言語知識を活用するアプローチを提案する。
MNLIとWSJという2つのベンチマークデータセットで、最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2021-05-21T08:06:11Z) - Improving the Lexical Ability of Pretrained Language Models for
Unsupervised Neural Machine Translation [127.81351683335143]
クロスリンガルプリトレーニングは、2つの言語の語彙的表現と高レベル表現を整列させるモデルを必要とする。
これまでの研究では、これは表現が十分に整合していないためです。
本稿では,語彙レベルの情報で事前学習するバイリンガルマスク言語モデルを,型レベルのクロスリンガルサブワード埋め込みを用いて強化する。
論文 参考訳(メタデータ) (2021-03-18T21:17:58Z) - SLM: Learning a Discourse Language Representation with Sentence
Unshuffling [53.42814722621715]
談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。
本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
論文 参考訳(メタデータ) (2020-10-30T13:33:41Z) - Cross-lingual Spoken Language Understanding with Regularized
Representation Alignment [71.53159402053392]
外部リソースを使わずに言語間で単語レベルの表現と文レベルの表現を整列する正規化手法を提案する。
言語間言語理解タスクの実験により、我々のモデルは、数ショットとゼロショットの両方のシナリオにおいて、最先端の手法よりも優れていることが示された。
論文 参考訳(メタデータ) (2020-09-30T08:56:53Z) - Labeling Explicit Discourse Relations using Pre-trained Language Models [0.0]
最先端のモデルは手作りの機能を使ってFスコアの45%をわずかに上回っている。
事前訓練された言語モデルは、微調整された場合、言語的特徴を置き換えるのに十分強力であることがわかった。
言語的な特徴を使わずに、モデルが知識集約型モデルより優れているのは、これが初めてである。
論文 参考訳(メタデータ) (2020-06-21T17:18:01Z) - Recurrent Neural Network Language Models Always Learn English-Like
Relative Clause Attachment [17.995905582226463]
英語とスペイン語のモデル性能を比較し,RNN LMにおける非言語的バイアスが英語の構文構造と有利に重なることを示す。
英語モデルは人間に似た構文的嗜好を習得しているように見えるが、スペイン語で訓練されたモデルは、同等の人間的な嗜好を取得できない。
論文 参考訳(メタデータ) (2020-05-01T01:21:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。