論文の概要: Masked Part-Of-Speech Model: Does Modeling Long Context Help Unsupervised POS-tagging?

• arxiv url: http://arxiv.org/abs/2206.14969v1
• Date: Thu, 30 Jun 2022 01:43:05 GMT
• ステータス: 処理完了
• システム内更新日: 2022-07-01 13:11:33.559317
• Title: Masked Part-Of-Speech Model: Does Modeling Long Context Help Unsupervised POS-tagging?
• Title（参考訳）: Masked Part-Of-Speech Model: 長期コンテキストモデリングは教師なしPOSタグ作成に役立つか?
• Authors: Xiang Zhou, Shiyue Zhang, Mohit Bansal
• Abstract要約: フレキシブルな依存性モデリングを容易にするために,MPoSM(Masked Part-of-Speech Model)を提案する。 MPoSMは任意のタグ依存をモデル化し、マスクされたPOS再構成の目的を通じてPOS誘導を行うことができる。 英語のPenn WSJデータセットと10の多様な言語を含むユニバーサルツリーバンクの競合的な結果を得た。
• 参考スコア（独自算出の注目度）: 94.68962249604749
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous Part-Of-Speech (POS) induction models usually assume certain independence assumptions (e.g., Markov, unidirectional, local dependency) that do not hold in real languages. For example, the subject-verb agreement can be both long-term and bidirectional. To facilitate flexible dependency modeling, we propose a Masked Part-of-Speech Model (MPoSM), inspired by the recent success of Masked Language Models (MLM). MPoSM can model arbitrary tag dependency and perform POS induction through the objective of masked POS reconstruction. We achieve competitive results on both the English Penn WSJ dataset as well as the universal treebank containing 10 diverse languages. Though modeling the long-term dependency should ideally help this task, our ablation study shows mixed trends in different languages. To better understand this phenomenon, we design a novel synthetic experiment that can specifically diagnose the model's ability to learn tag agreement. Surprisingly, we find that even strong baselines fail to solve this problem consistently in a very simplified setting: the agreement between adjacent words. Nonetheless, MPoSM achieves overall better performance. Lastly, we conduct a detailed error analysis to shed light on other remaining challenges. Our code is available at https://github.com/owenzx/MPoSM
• Abstract（参考訳）: 以前のPart-Of-Speech(POS)帰納モデルは通常、実際の言語では成り立たないある種の独立性の仮定(マルコフ、一方向、局所的な依存など)を仮定する。 例えば、主語と動詞の合意は、長期的かつ双方向的である。 本稿では,MLM(Masked Language Models)の成功に触発されたMasked Part-of-Speech Model(MPoSM)を提案する。 MPoSMは任意のタグ依存をモデル化し、マスクされたPOS再構成の目的を通じてPOS誘導を行う。 英語のPenn WSJデータセットと10の多様な言語を含むユニバーサルツリーバンクの競合的な結果を得た。 長期依存のモデリングは理想的にはこの課題に役立つだろうが、我々のアブレーション研究は異なる言語で混在する傾向を示している。 この現象をよりよく理解するために、タグアグリーメントを学習するモデルの能力を具体的に診断できる新しい合成実験を設計する。 驚くべきことに、たとえ強いベースラインであっても、隣接する単語間の合意という非常に単純な設定で、この問題を一貫して解決することができない。 それでもMPoSMは全体的なパフォーマンス向上を実現している。 最後に,他の課題に照らして,詳細なエラー解析を行う。 私たちのコードはhttps://github.com/owenzx/MPoSMで利用可能です。

関連論文リスト

• Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages [3.716965622352967]
  サブワードトークン化器で観測される語彙表現と語彙重複の質を評価するための新しい基準を提案する。 以上の結果から,言語間の語彙の重複は,特定の下流課題に支障を来す可能性があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-26T18:06:49Z)
• Augmented Language Models: a Survey [55.965967655575454]
  この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。 私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。 トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
  論文  参考訳（メタデータ） (2023-02-15T18:25:52Z)
• Deanthropomorphising NLP: Can a Language Model Be Conscious? [7.41244589428771]
  我々は、そのような大きな言語モデルは、センシティブでもなく、意識的にもなく、特にLaMDAは、その資格を持つ他の類似したモデルよりも進歩していないという立場を取る。 感性の主張は,NLP報告における人為的言語の使用傾向の広範化の一環と考えられる。
  論文  参考訳（メタデータ） (2022-11-21T14:18:25Z)
• Structured, flexible, and robust: benchmarking and improving large language models towards more human-like behavior in out-of-distribution reasoning tasks [39.39138995087475]
  言語単独で統計的パターンを学習することで、どの程度の人間的な思考を捉えることができるのかを問う。 本ベンチマークは2つの問題解決領域(計画と説明生成)を含み,一般化を必要とするように設計されている。 このベンチマークでは、人間はLSMよりもはるかに堅牢であることが分かりました。
  論文  参考訳（メタデータ） (2022-05-11T18:14:33Z)
• Contrastive Learning for Prompt-Based Few-Shot Language Learners [14.244787327283335]
  異なる拡張された"ビュー"の下で同じクラスから入力をクラスタリングする対照的な学習フレームワークを提案する。 私たちは、異なる言語プロンプトとコンテキスト実証を付加することで、サンプルの異なる"ビュー"を作成します。 提案手法は15の言語タスクの多種多様なセットにおいて最先端の手法よりも改善できる。
  論文  参考訳（メタデータ） (2022-05-03T04:56:45Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Read Like Humans: Autonomous, Bidirectional and Iterative Language Modeling for Scene Text Recognition [80.446770909975]
  言語知識はシーンのテキスト認識に非常に有益である。 エンドツーエンドのディープネットワークで言語規則を効果的にモデル化する方法はまだ研究の課題です。 シーンテキスト認識のための自律的双方向反復型ABINetを提案する。
  論文  参考訳（メタデータ） (2021-03-11T06:47:45Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Explicitly Modeling Syntax in Language Models with Incremental Parsing and a Dynamic Oracle [88.65264818967489]
  我々は新しい構文認識型言語モデル、Syntactic Ordered Memory (SOM)を提案する。 モデルは、構造をインクリメンタルにモデル化し、標準言語モデルの条件付き確率設定を維持する。 実験により、SOMは言語モデリング、インクリメンタル解析、構文一般化テストにおいて強力な結果が得られることが示された。
  論文  参考訳（メタデータ） (2020-10-21T17:39:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。