論文の概要: Leveraging Grammar Induction for Language Understanding and Generation

• arxiv url: http://arxiv.org/abs/2410.04878v1
• Date: Mon, 7 Oct 2024 09:57:59 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 01:27:55.645471
• Title: Leveraging Grammar Induction for Language Understanding and Generation
• Title（参考訳）: 言語理解と生成のための文法誘導の活用
• Authors: Jushi Kai, Shengyuan Hou, Yusheng Huang, Zhouhan Lin,
• Abstract要約: 言語理解と生成のための教師なし文法帰納法を提案する。 我々は,下流タスクで同時に訓練された選挙区構造と係り受け関係を誘導する文法を構築した。 複数の機械翻訳タスクの自然言語理解タスクに対して,本手法の評価と適用を行った。
• 参考スコア（独自算出の注目度）: 7.459693992079273
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Grammar induction has made significant progress in recent years. However, it is not clear how the application of induced grammar could enhance practical performance in downstream tasks. In this work, we introduce an unsupervised grammar induction method for language understanding and generation. We construct a grammar parser to induce constituency structures and dependency relations, which is simultaneously trained on downstream tasks without additional syntax annotations. The induced grammar features are subsequently incorporated into Transformer as a syntactic mask to guide self-attention. We evaluate and apply our method to multiple machine translation tasks and natural language understanding tasks. Our method demonstrates superior performance compared to the original Transformer and other models enhanced with external parsers. Experimental results indicate that our method is effective in both from-scratch and pre-trained scenarios. Additionally, our research highlights the contribution of explicitly modeling the grammatical structure of texts to neural network models.
• Abstract（参考訳）: 近年,文法化の進展が顕著である。 しかし, 下流タスクにおいて, 帰納文法の適用が実践的性能を高めるのかは明らかになっていない。 本研究では,言語理解と生成のための教師なし文法誘導手法を提案する。 本研究では,構文アノテーションを付加せずに下流のタスクで同時に学習する文法解析器を構築し,構成構造と依存性関係を誘導する。 誘導文法機能はその後、自己注意を導くための構文マスクとしてTransformerに組み込まれる。 複数の機械翻訳タスクと自然言語理解タスクに本手法を適用・評価する。 提案手法は,外部パーサで拡張したトランスフォーマーや他のモデルと比較して,優れた性能を示す。 実験結果から,本手法はオフスクラッチとプレトレーニングシナリオの両方に有効であることが示唆された。 さらに、本研究では、ニューラルネットワークモデルに対するテキストの文法構造を明示的にモデル化することの貢献を強調した。

関連論文リスト

• On Eliciting Syntax from Language Models via Hashing [19.872554909401316]
  教師なし構文解析は、生のテキストから構文構造を推論することを目的としている。 本稿では,本機能を利用して生テキストから解析木を推定する可能性について検討する。 本手法は,事前学習した言語モデルから高品質な構文解析木を低コストで取得する上で,有効かつ効率的であることを示す。
  論文  参考訳（メタデータ） (2024-10-05T08:06:19Z)
• Grammar Induction from Visual, Speech and Text [91.98797120799227]
  本研究は、新しい視覚音声テキスト文法誘導タスク(textbfVAT-GI)を導入する。 言語文法がテキストを超えて存在するという事実に触発されて、テキストは文法帰納において支配的なモダリティであってはならないと論じる。 そこで本稿では,豊富なモーダル特化機能と補完機能を有効文法解析に活用した,ビジュアル・オーディオ・テキスト・インサイド・アウトサイド・オートエンコーダ(textbfVaTiora)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-01T02:24:18Z)
• Sentence Representation Learning with Generative Objective rather than Contrastive Objective [86.01683892956144]
  句再構成に基づく新たな自己教師型学習目標を提案する。 我々の生成学習は、十分な性能向上を達成し、現在の最先端のコントラスト法よりも優れています。
  論文  参考訳（メタデータ） (2022-10-16T07:47:46Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• Learning grammar with a divide-and-concur neural network [4.111899441919164]
  本研究では,文脈自由文法推論に対する分割・コンカレント反復予測手法を実装した。 本手法は比較的少数の離散パラメータを必要とするため,推測文法を直接解釈可能である。
  論文  参考訳（メタデータ） (2022-01-18T22:42:43Z)
• Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
  本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。 実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-09-20T18:40:37Z)
• SLM: Learning a Discourse Language Representation with Sentence Unshuffling [53.42814722621715]
  談話言語表現を学習するための新しい事前学習目的である文レベル言語モデリングを導入する。 本モデルでは,この特徴により,従来のBERTの性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2020-10-30T13:33:41Z)
• Guiding Symbolic Natural Language Grammar Induction via Transformer-Based Sequence Probabilities [0.0]
  自然言語を統括する構文規則を自動学習する手法を提案する。 この方法は、内部表現に言及することなく、トランスフォーマーにおける学習された言語知識を利用する。 提案手法の実証例を示し, 教師なしのシンボリックリンク-文法帰納法を導出する。
  論文  参考訳（メタデータ） (2020-05-26T06:18:47Z)
• Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer [64.22926988297685]
  下流タスクで微調整される前に、まずデータリッチタスクでモデルが事前訓練されるトランスファーラーニングは、自然言語処理(NLP)において強力な手法として登場した。 本稿では,すべてのテキストベースの言語問題をテキスト・トゥ・テキスト・フォーマットに変換する統一フレームワークにより,NLPのためのトランスファー学習手法を導入する状況について検討する。
  論文  参考訳（メタデータ） (2019-10-23T17:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。