論文の概要: Pre-trained Sentence Embeddings for Implicit Discourse Relation Classification

• arxiv url: http://arxiv.org/abs/2210.11005v1
• Date: Thu, 20 Oct 2022 04:17:03 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-21 13:30:19.363367
• Title: Pre-trained Sentence Embeddings for Implicit Discourse Relation Classification
• Title（参考訳）: 暗黙的談話関係分類のための事前学習文埋め込み
• Authors: Murali Raghu Babu Balusu, Yangfeng Ji and Jacob Eisenstein
• Abstract要約: 暗黙の談話関係は、より小さな言語単位を一貫性のあるテキストに結合する。 本稿では,暗黙的対話関係感覚分類のためのニューラルネットワークにおけるベース表現として,事前学習文の埋め込みの有用性について検討する。
• 参考スコア（独自算出の注目度）: 26.973476248983477
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Implicit discourse relations bind smaller linguistic units into coherent texts. Automatic sense prediction for implicit relations is hard, because it requires understanding the semantics of the linked arguments. Furthermore, annotated datasets contain relatively few labeled examples, due to the scale of the phenomenon: on average each discourse relation encompasses several dozen words. In this paper, we explore the utility of pre-trained sentence embeddings as base representations in a neural network for implicit discourse relation sense classification. We present a series of experiments using both supervised end-to-end trained models and pre-trained sentence encoding techniques - SkipThought, Sent2vec and Infersent. The pre-trained embeddings are competitive with the end-to-end model, and the approaches are complementary, with combined models yielding significant performance improvements on two of the three evaluations.
• Abstract（参考訳）: 暗黙の言説関係は、より小さな言語単位をコヒーレントなテキストに結合する。 暗黙的関係に対する自動意味予測は、リンクされた引数のセマンティクスを理解する必要があるため難しい。 さらに、注釈付きデータセットは、この現象のスケールのため、比較的少ないラベル付き例を含んでいる: 平均すると、各談話関係は数十の単語を含んでいる。 本稿では,暗黙的談話関係感覚分類のためのニューラルネットワークにおける基礎表現としての事前学習文埋め込みの有用性について検討する。 本稿では,教師付きエンドツーエンド学習モデルと事前訓練文符号化技術の両方を用いて,SkipThought,Sent2vec,Infersentを用いて実験を行った。 事前トレーニングされた組込みはエンドツーエンドモデルと競合しており、このアプローチは相補的であり、3つの評価のうち2つにおいて、組み合わせたモデルが大幅なパフォーマンス改善をもたらす。

関連論文リスト

• Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
  acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。 本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
  論文  参考訳（メタデータ） (2024-10-08T16:16:47Z)
• How Well Do Text Embedding Models Understand Syntax? [50.440590035493074]
  テキスト埋め込みモデルが幅広い構文的文脈にまたがって一般化する能力は、まだ解明されていない。 その結果,既存のテキスト埋め込みモデルは,これらの構文的理解課題に十分対応していないことが明らかとなった。 多様な構文シナリオにおけるテキスト埋め込みモデルの一般化能力を高めるための戦略を提案する。
  論文  参考訳（メタデータ） (2023-11-14T08:51:00Z)
• Annotation-Inspired Implicit Discourse Relation Classification with Auxiliary Discourse Connective Generation [14.792252724959383]
  暗黙の談話関係分類は、談話接続が欠如しているため難しい課題である。 PDTBのアノテーションプロセスにインスパイアされた,タスクの談話接続を明示的に生成するエンド・ツー・エンドニューラルネットワークを設計する。 具体的には,議論間の談話接続を生成することを共同で学習し,議論と生成した連接関係に基づいて談話関係を予測する。
  論文  参考訳（メタデータ） (2023-06-10T16:38:46Z)
• Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
  文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
  論文  参考訳（メタデータ） (2022-12-17T05:25:17Z)
• Distant finetuning with discourse relations for stance classification [55.131676584455306]
  そこで本研究では,定位分類のモデルとして,原文から銀ラベルでデータを抽出し,微調整する手法を提案する。 また,様々な段階において微調整に用いるデータのノイズレベルが減少する3段階のトレーニングフレームワークを提案する。 NLPCC 2021共有タスクArgumentative Text Understanding for AI Debaterでは,26の競合チームの中で1位にランクインした。
  論文  参考訳（メタデータ） (2022-04-27T04:24:35Z)
• Analysis of Joint Speech-Text Embeddings for Semantic Matching [3.6423306784901235]
  ペア音声と書き起こし入力の距離を最小化することにより,セマンティックマッチングのために訓練された共同音声テキスト埋め込み空間について検討する。 我々は,事前学習とマルチタスクの両方のシナリオを通じて,音声認識を組み込む方法を拡張した。
  論文  参考訳（メタデータ） (2022-04-04T04:50:32Z)
• Avoiding Inference Heuristics in Few-shot Prompt-based Finetuning [57.4036085386653]
  文ペア分類タスクのプロンプトベースモデルでは,語彙重なりに基づく推論の一般的な落とし穴が依然として残っていることを示す。 そこで,プレトレーニングウェイトを保存する正規化を加えることは,この破壊的な微調整の傾向を緩和するのに有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-09T10:10:29Z)
• Let's be explicit about that: Distant supervision for implicit discourse relation classification via connective prediction [0.0]
  暗黙の談話関係分類では,任意の談話接続が存在しない場合,隣り合う文間の関係を予測したい。 我々は,暗黙関係の明示を通じてデータ不足を回避し,タスクを2つのサブプロブレム(言語モデリングと明示的談話関係分類)に減らした。 実験結果から,本手法は同等性能の代替モデルよりも遥かに単純であるにもかかわらず,最先端技術よりもはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-06T17:57:32Z)
• Syntax-Enhanced Pre-trained Model [49.1659635460369]
  BERTやRoBERTaなどの学習済みモデルを強化するために、テキストの構文構造を活用するという問題を研究する。 既存の手法では、事前学習段階または微調整段階のいずれかでテキストの構文を利用しており、両者の区別に苦しむ。 事前学習と微調整の両方の段階でテキストのシンタックスを利用するモデルを提示する。
  論文  参考訳（メタデータ） (2020-12-28T06:48:04Z)
• Weakly-Supervised Aspect-Based Sentiment Analysis via Joint Aspect-Sentiment Topic Embedding [71.2260967797055]
  アスペクトベース感情分析のための弱教師付きアプローチを提案する。 We learn sentiment, aspects> joint topic embeddeds in the word embedding space。 次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
  論文  参考訳（メタデータ） (2020-10-13T21:33:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。