論文の概要: A Self-supervised Representation Learning of Sentence Structure for Authorship Attribution

• arxiv url: http://arxiv.org/abs/2010.06786v2
• Date: Thu, 24 Feb 2022 15:39:48 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-07 13:20:22.385668
• Title: A Self-supervised Representation Learning of Sentence Structure for Authorship Attribution
• Title（参考訳）: 著者帰属のための自己指導型文構造表現学習
• Authors: Fereshteh Jafariakinabad, Kien A. Hua
• Abstract要約: 文の構造表現を学習するための自己教師型フレームワークを提案する。 本研究では,異なる探索タスクを用いて文の構造的表現を学習し,著者帰属タスクに活用する。
• 参考スコア（独自算出の注目度）: 3.5991811164452923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Syntactic structure of sentences in a document substantially informs about its authorial writing style. Sentence representation learning has been widely explored in recent years and it has been shown that it improves the generalization of different downstream tasks across many domains. Even though utilizing probing methods in several studies suggests that these learned contextual representations implicitly encode some amount of syntax, explicit syntactic information further improves the performance of deep neural models in the domain of authorship attribution. These observations have motivated us to investigate the explicit representation learning of syntactic structure of sentences. In this paper, we propose a self-supervised framework for learning structural representations of sentences. The self-supervised network contains two components; a lexical sub-network and a syntactic sub-network which take the sequence of words and their corresponding structural labels as the input, respectively. Due to the n-to-1 mapping of words to their structural labels, each word will be embedded into a vector representation which mainly carries structural information. We evaluate the learned structural representations of sentences using different probing tasks, and subsequently utilize them in the authorship attribution task. Our experimental results indicate that the structural embeddings significantly improve the classification tasks when concatenated with the existing pre-trained word embeddings.
• Abstract（参考訳）: 文書中の文の構文構造は、その著者の文体について実質的に情報を与える。 近年、文表現学習は広く研究されており、多くのドメインにわたるダウンストリームタスクの一般化が改善されていることが示されている。 いくつかの研究では、これらの学習された文脈表現がある種の構文を暗黙的に符号化していることを示唆しているが、明示的な構文情報は、著者帰属領域における深いニューラルモデルの性能をさらに向上させる。 これらの観察は,文の構文構造の明示的表現学習の動機付けとなった。 本稿では,文の構造表現を学習するための自己教師付きフレームワークを提案する。 自己教師付きネットワークは、単語のシーケンスと対応する構造ラベルをそれぞれ入力とする語彙的サブネットワークと構文的サブネットワークの2つの構成要素を含む。 単語を構造ラベルにn-to-1マッピングするため、各単語は、主に構造情報を含むベクトル表現に埋め込まれる。 学習した文の構造表現を異なる探索タスクを用いて評価し,それを著作者の帰属タスクに活用する。 実験の結果,既存の単語埋め込みと組み合わせた場合,構造的埋め込みにより分類作業が大幅に改善されることが示唆された。

関連論文リスト

• Linguistic Structure Induction from Language Models [1.8130068086063336]
  この論文は、教師なし環境で言語モデル(LM)から選挙区構造と依存関係構造を生成することに焦点を当てている。 本稿では,エンコーダネットワークにトランスフォーマーアーキテクチャを組み込んだStructFormer(SF)について詳細に検討し,その構成と依存性について述べる。 この分野の課題を分析し、対処するための6つの実験を提示します。
  論文  参考訳（メタデータ） (2024-03-11T16:54:49Z)
• Variational Cross-Graph Reasoning and Adaptive Structured Semantics Learning for Compositional Temporal Grounding [143.5927158318524]
  テンポラルグラウンドティング(Temporal grounding)とは、クエリ文に従って、未編集のビデオから特定のセグメントを特定するタスクである。 新たに構成時間グラウンドタスクを導入し,2つの新しいデータセット分割を構築した。 ビデオや言語に内在する構造的意味論は、構成的一般化を実現する上で重要な要素である、と我々は主張する。
  論文  参考訳（メタデータ） (2023-01-22T08:02:23Z)
• Domain-Specific Word Embeddings with Structure Prediction [3.057136788672694]
  ニューヨーク・タイムズの記事と2つの英語のウィキペディアデータセットに科学と哲学に関する記事を載せた実証的な評価を提示する。 提案手法は,Word2Vec with Structure Prediction (W2VPred) と呼ばれ,一般的なアナロジーテストにおいて,ベースラインよりも優れた性能を提供する。 デジタル人文科学の分野でのユースケースとして、ドイツ語テキストアーカイブからハイ文学のための新しい研究課題を提起する方法を実証する。
  論文  参考訳（メタデータ） (2022-10-06T12:45:48Z)
• TeKo: Text-Rich Graph Neural Networks with External Knowledge [75.91477450060808]
  外部知識を用いた新しいテキストリッチグラフニューラルネットワーク(TeKo)を提案する。 まず、高品質なエンティティを組み込んだフレキシブルな異種セマンティックネットワークを提案する。 次に、構造化三重項と非構造化実体記述という2種類の外部知識を導入する。
  論文  参考訳（メタデータ） (2022-06-15T02:33:10Z)
• Latent Topology Induction for Understanding Contextualized Representations [84.7918739062235]
  本研究では,文脈的埋め込みの表現空間について検討し,大規模言語モデルの隠れトポロジについて考察する。 文脈化表現の言語特性を要約した潜在状態のネットワークが存在することを示す。
  論文  参考訳（メタデータ） (2022-06-03T11:22:48Z)
• Dependency Induction Through the Lens of Visual Perception [81.91502968815746]
  本稿では,単語の具体性を利用した教師なし文法帰納モデルと,構成的視覚に基づく構成的文法を共同学習する手法を提案する。 実験により,提案した拡張は,文法的サイズが小さい場合でも,現在最先端の視覚的接地モデルよりも優れた性能を示すことが示された。
  論文  参考訳（メタデータ） (2021-09-20T18:40:37Z)
• Syntactic Perturbations Reveal Representational Correlates of Hierarchical Phrase Structure in Pretrained Language Models [22.43510769150502]
  文レベルの構文のどの側面がベクターベースの言語表現によってキャプチャされるのかは、完全には分かっていない。 このプロセスでは,トランスフォーマーが文のより大きな部分の層に感性を持たせることが示され,階層的な句構造が重要な役割を果たしている。
  論文  参考訳（メタデータ） (2021-04-15T16:30:31Z)
• Unsupervised Distillation of Syntactic Information from Contextualized Word Representations [62.230491683411536]
  我々は,ニューラルネットワーク表現における意味論と構造学の非教師なしの絡み合いの課題に取り組む。 この目的のために、構造的に類似しているが意味的に異なる文群を自動的に生成する。 我々は、我々の変換クラスタベクトルが、語彙的意味論ではなく構造的特性によって空間に現れることを実証する。
  論文  参考訳（メタデータ） (2020-10-11T15:13:18Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。