論文の概要: Learning Syntax from Naturally-Occurring Bracketings

• arxiv url: http://arxiv.org/abs/2104.13933v1
• Date: Wed, 28 Apr 2021 18:00:02 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-30 13:13:06.935833
• Title: Learning Syntax from Naturally-Occurring Bracketings
• Title（参考訳）: 自然発生ブラケットからの構文学習
• Authors: Tianze Shi, Ozan \.Irsoy, Igor Malioutov, Lillian Lee
• Abstract要約: 学習における部分ブラケットを認識可能な構造化ランプ損失を開発する。 実験では、自然発生のブラケットデータに基づいて訓練された遠隔監視モデルは、競合する未監視システムよりも構文構造を誘導する精度が高いことが示されています。
• 参考スコア（独自算出の注目度）: 18.923395842178568
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Naturally-occurring bracketings, such as answer fragments to natural language questions and hyperlinks on webpages, can reflect human syntactic intuition regarding phrasal boundaries. Their availability and approximate correspondence to syntax make them appealing as distant information sources to incorporate into unsupervised constituency parsing. But they are noisy and incomplete; to address this challenge, we develop a partial-brackets-aware structured ramp loss in learning. Experiments demonstrate that our distantly-supervised models trained on naturally-occurring bracketing data are more accurate in inducing syntactic structures than competing unsupervised systems. On the English WSJ corpus, our models achieve an unlabeled F1 score of 68.9 for constituency parsing.
• Abstract（参考訳）: 自然言語の質問に対する回答フラグメントやWebページのハイパーリンクなど、自然に発生するブラケットは、フレーズ境界に関する人間の構文的直感を反映することができる。 それらの構文の可用性と近似対応は、教師なし選挙区解析に組み込むための遠方の情報ソースとしてアピールする。 しかし、これらは騒々しく不完全であり、この課題に対処するために、学習における部分ブラケットを意識した構造化されたランプ損失を開発する。 実験により,自然に発生するブラケットデータに基づいて学習した遠隔教師付きモデルが,非教師付きシステムよりも構文構造を誘導する方が正確であることを実証した。 英語のWSJコーパスでは、登録されていないF1スコアが68.9である。

関連論文リスト

• Linguistic Structure from a Bottleneck on Sequential Information Processing [5.850665541267672]
  予測情報によって制約されたコードに自然言語のような体系性が生じることを示す。 人間の言語は、音韻学、形態学、構文学、意味論のレベルにおいて、低い予測情報を持つように構成されている。
  論文  参考訳（メタデータ） (2024-05-20T15:25:18Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Audio-Visual Neural Syntax Acquisition [91.14892278795892]
  視覚的音声からの句構造誘導について検討する。 本稿では,音声を聴いたり,画像を見たりすることでフレーズ構造を学習するAV-NSL(Audio-Visual Neural Syntax Learner)について述べる。
  論文  参考訳（メタデータ） (2023-10-11T16:54:57Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Using Natural Sentences for Understanding Biases in Language Models [10.604991889372092]
  ウィキペディアの現実世界の自然文から収集した職業に関する素早いデータセットを作成する。 バイアス評価はテンプレートプロンプトの設計選択に非常に敏感である。 本研究では, 自然文のプロンプトを体系的な評価に用いて, 観察に偏見をもたらす可能性のある設計選択から脱却することを提案する。
  論文  参考訳（メタデータ） (2022-05-12T18:36:33Z)
• Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
  本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。 実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-09-20T18:40:37Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
  本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。 我々は,構文的 LM から単語の周辺分布を抽出する。 本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
  論文  参考訳（メタデータ） (2020-05-27T16:44:01Z)
• Learning Music Helps You Read: Using Transfer to Study Linguistic Structure in Language Models [27.91397366776451]
  遅延構造(MIDI音楽またはJavaコード)上でのLSTMのトレーニングは、自然言語でのテストパフォーマンスを改善する。 語彙重なりに制御される自然言語間の移動実験により,試験言語におけるゼロショット性能は,訓練言語とタイプ的類似性に強く相関していることが示された。
  論文  参考訳（メタデータ） (2020-04-30T06:24:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。