論文の概要: Improving Constituency Parsing with Span Attention

• arxiv url: http://arxiv.org/abs/2010.07543v1
• Date: Thu, 15 Oct 2020 06:36:39 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 03:53:11.262947
• Title: Improving Constituency Parsing with Span Attention
• Title（参考訳）: スパン注意による構成構文解析の改善
• Authors: Yuanhe Tian, Yan Song, Fei Xia, Tong Zhang
• Abstract要約: 我々は,n-gram情報を活用するために,ニューラルチャートに基づく選挙区解析に注意を払っている。 解析過程への貢献に応じてそれらを重み付けすることで、n-gramをスパン表現に組み込む。 3つの広く利用されているベンチマークデータセットの実験結果から,提案手法の有効性が示された。
• 参考スコア（独自算出の注目度）: 41.05859057428882
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Constituency parsing is a fundamental and important task for natural language understanding, where a good representation of contextual information can help this task. N-grams, which is a conventional type of feature for contextual information, have been demonstrated to be useful in many tasks, and thus could also be beneficial for constituency parsing if they are appropriately modeled. In this paper, we propose span attention for neural chart-based constituency parsing to leverage n-gram information. Considering that current chart-based parsers with Transformer-based encoder represent spans by subtraction of the hidden states at the span boundaries, which may cause information loss especially for long spans, we incorporate n-grams into span representations by weighting them according to their contributions to the parsing process. Moreover, we propose categorical span attention to further enhance the model by weighting n-grams within different length categories, and thus benefit long-sentence parsing. Experimental results on three widely used benchmark datasets demonstrate the effectiveness of our approach in parsing Arabic, Chinese, and English, where state-of-the-art performance is obtained by our approach on all of them.
• Abstract（参考訳）: 構成構文解析は自然言語理解において基本かつ重要なタスクであり、文脈情報の適切な表現がこのタスクに役立つ。 従来の文脈情報の特徴であるN-gramは,多くのタスクにおいて有用であることが証明されており,適切にモデル化された場合の選挙区解析にも有用である。 本稿では,n-gram情報を活用するために,ニューラルチャートを用いた選挙区解析に注目する。 現在のグラフベースのパーサとトランスフォーマベースのエンコーダは、スパン境界における隠れた状態の減算によってスパンを表現するため、特に長いスパンにおいて情報損失を引き起こす可能性があるので、解析プロセスへの貢献に応じてn-gramを重み付けてスパン表現に組み込む。 さらに,n-gramを異なる長さのカテゴリで重み付けすることで,モデルをさらに強化し,長文解析に役立てることを提案する。 アラビア語、中国語、英語を解析する上で、我々のアプローチの有効性を示すために、広く使われている3つのベンチマークデータセットの実験結果が得られた。

関連論文リスト

• On Pre-training of Multimodal Language Models Customized for Chart Understanding [83.99377088129282]
  本稿では,MLLMのチャート理解を改善するために必要な学習過程について考察する。 詳細なチャート理解に適したMLLMであるCHOPINLLMを紹介する。
  論文  参考訳（メタデータ） (2024-07-19T17:58:36Z)
• Analyzing Vietnamese Legal Questions Using Deep Neural Networks with Biaffine Classifiers [3.116035935327534]
  我々は深層ニューラルネットワークを用いてベトナムの法的問題から重要な情報を抽出することを提案する。 自然言語で法的疑問が与えられた場合、その疑問に答えるために必要な情報を含む全てのセグメントを抽出することが目的である。
  論文  参考訳（メタデータ） (2023-04-27T18:19:24Z)
• Topics as Entity Clusters: Entity-based Topics from Large Language Models and Graph Neural Networks [0.6486052012623045]
  本稿では,エンティティのバイモーダルベクトル表現を用いたトピッククラスタリング手法を提案する。 我々のアプローチは、最先端のモデルと比較してエンティティを扱うのに適している。
  論文  参考訳（メタデータ） (2023-01-06T10:54:54Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• Be More with Less: Hypergraph Attention Networks for Inductive Text Classification [56.98218530073927]
  グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。 成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。 本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T00:21:59Z)
• Supertagging Combinatory Categorial Grammar with Attentive Graph Convolutional Networks [34.74687603029737]
  そこで我々は,文脈情報を活用する新しい手法により,ニューラルネットワークのCCGスーパータグ付けを強化するため,注意グラフ畳み込みネットワークを提案する。 CCGbankで行った実験は、我々のアプローチがスーパータグとパーシングの両方で過去のすべての研究より優れていることを示した。
  論文  参考訳（メタデータ） (2020-10-13T01:58:29Z)
• Learning Sparse Sentence Encoding without Supervision: An Exploration of Sparsity in Variational Autoencoders [36.60504726767521]
  空間性は、固定次元のベクトルにおけるデータの効率的な表現を学習するための効果的な帰納バイアスである。 本稿では,画像領域でよく研究されているVAEフレームワーク内の空間性について検討する。 3つのデータセットにまたがるテキスト分類における空間性の影響を考察する。
  論文  参考訳（メタデータ） (2020-09-25T20:08:32Z)
• Improving Image Captioning with Better Use of Captions [65.39641077768488]
  本稿では,画像表現とキャプション生成の両方を強化するために,キャプションで利用可能なセマンティクスをよりよく探求するための新しい画像キャプションアーキテクチャを提案する。 我々のモデルはまず,弱教師付きマルチインスタンス学習を用いて,有益な帰納バイアスをもたらすキャプション誘導型視覚関係グラフを構築した。 生成期間中、このモデルは、単語とオブジェクト/述語タグのシーケンスを共同で予測するために、マルチタスク学習を用いた視覚関係をさらに取り入れる。
  論文  参考訳（メタデータ） (2020-06-21T14:10:47Z)
• Structure-Augmented Text Representation Learning for Efficient Knowledge Graph Completion [53.31911669146451]
  人為的な知識グラフは、様々な自然言語処理タスクに重要な支援情報を提供する。 これらのグラフは通常不完全であり、自動補完を促す。 グラフ埋め込みアプローチ(例えばTransE)は、グラフ要素を密度の高い埋め込みに表現することで構造化された知識を学ぶ。 テキストエンコーディングアプローチ(KG-BERTなど)は、グラフトリプルのテキストとトリプルレベルの文脈化表現を利用する。
  論文  参考訳（メタデータ） (2020-04-30T13:50:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。