論文の概要: Integrating extracted information from bert and multiple embedding methods with the deep neural network for humour detection

• arxiv url: http://arxiv.org/abs/2105.05112v1
• Date: Tue, 11 May 2021 15:09:19 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-12 14:08:39.804560
• Title: Integrating extracted information from bert and multiple embedding methods with the deep neural network for humour detection
• Title（参考訳）: ユーモア検出のための深部ニューラルネットワークによるbertからの抽出情報と複数埋め込み手法の統合
• Authors: Rida Miraj, Masaki Aono
• Abstract要約: ニュース見出しから取った短いテキストのユーモア検出のためのフレームワークを提案する。 私たちの提案フレームワーク(IBEN)は、BERTの異なる層を使用して書かれたテキストから情報を抽出しようとします。 抽出された情報は埋め込みマトリクスとしてbi-gruニューラルネットワークに送信される。
• 参考スコア（独自算出の注目度）: 3.612189440297043
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Humour detection from sentences has been an interesting and challenging task in the last few years. In attempts to highlight humour detection, most research was conducted using traditional approaches of embedding, e.g., Word2Vec or Glove. Recently BERT sentence embedding has also been used for this task. In this paper, we propose a framework for humour detection in short texts taken from news headlines. Our proposed framework (IBEN) attempts to extract information from written text via the use of different layers of BERT. After several trials, weights were assigned to different layers of the BERT model. The extracted information was then sent to a Bi-GRU neural network as an embedding matrix. We utilized the properties of some external embedding models. A multi-kernel convolution in our neural network was also employed to extract higher-level sentence representations. This framework performed very well on the task of humour detection.
• Abstract（参考訳）: 文からのユーモアの検出は、ここ数年で興味深い課題だった。 ユーモア検出を強調するために、ほとんどの研究は従来の埋め込み手法(例えばWord2VecやGlove)を用いて行われた。 最近、bert文の埋め込みもこのタスクに使われている。 本稿では,ニュース見出しから抽出した短文のユーモア検出のための枠組みを提案する。 提案するフレームワーク(IBEN)は,BERTの異なるレイヤを用いてテキストから情報を抽出する。 数回の試験の後、重量はBERTモデルの異なる層に割り当てられた。 抽出された情報は埋め込みマトリクスとしてbi-gruニューラルネットワークに送信される。 我々は外部埋め込みモデルの特性を利用した。 ニューラルネットワークのマルチカーネル畳み込みも高レベルな文表現の抽出に利用した。 このフレームワークは、ユーモア検出のタスクで非常にうまく機能した。

関連論文リスト

• Assaying on the Robustness of Zero-Shot Machine-Generated Text Detectors [57.7003399760813]
  先進的なLarge Language Models (LLMs) とその特殊な変種を探索し、いくつかの方法でこの分野に寄与する。 トピックと検出性能の間に有意な相関関係が発見された。 これらの調査は、様々なトピックにまたがるこれらの検出手法の適応性と堅牢性に光を当てた。
  論文  参考訳（メタデータ） (2023-12-20T10:53:53Z)
• Word Sense Induction with Knowledge Distillation from BERT [6.88247391730482]
  本稿では、文脈における単語の感覚に注意を払って、事前学習された言語モデル(BERT)から複数の単語感覚を抽出する手法を提案する。 文脈的単語類似性および感覚誘導タスクの実験は、この手法が最先端のマルチセンス埋め込みよりも優れているか、あるいは競合していることを示している。
  論文  参考訳（メタデータ） (2023-04-20T21:05:35Z)
• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• Be More with Less: Hypergraph Attention Networks for Inductive Text Classification [56.98218530073927]
  グラフニューラルネットワーク(GNN)は、研究コミュニティで注目され、この標準タスクで有望な結果を実証している。 成功にもかかわらず、それらのパフォーマンスは、単語間の高次相互作用をキャプチャできないため、実際は大部分が危険に晒される可能性がある。 本稿では,テキスト表現学習において,少ない計算量でより表現力の高いハイパーグラフアテンションネットワーク(HyperGAT)を提案する。
  論文  参考訳（メタデータ） (2020-11-01T00:21:59Z)
• Intrinsic Probing through Dimension Selection [69.52439198455438]
  現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。 このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。 本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
  論文  参考訳（メタデータ） (2020-10-06T15:21:08Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• A novel sentence embedding based topic detection method for micro-blog [5.821169298644354]
  マイクロブログデータセットのトピックを検出するニューラルネットワークに基づく新しいアプローチを提案する。 ブログを埋め込み空間にマッピングするために、教師なしのニューラル文埋め込みモデルを使用します。 さらに,関係対応DBSCAN (RADBSCAN) と呼ばれる改良されたクラスタリングアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-10T09:58:57Z)
• ColBERT: Using BERT Sentence Embedding in Parallel Neural Networks for Computational Humor [0.0]
  本稿では,ユーモアの一般的な言語理論に基づいて,短いテキストでユーモアを検出・評価するための新しいアプローチを提案する。 提案手法は,与えられたテキストの文を分離し,BERTモデルを用いて各テキストの埋め込みを生成する。 我々はこの論文に、20万の形式的な短文からなるユーモア検出のための新しいデータセットを添付した。 提案モデルでは, 一般モデル, 最先端モデルより優れるユーモア検出実験において, 0.982, 0.869のF1スコアを得た。
  論文  参考訳（メタデータ） (2020-04-27T13:10:11Z)
• Hybrid Attention-Based Transformer Block Model for Distant Supervision Relation Extraction [20.644215991166902]
  DSREタスクを実行するために,マルチインスタンス学習を用いたハイブリッドアテンションベースのトランスフォーマーブロックを用いた新しいフレームワークを提案する。 提案手法は評価データセットの最先端アルゴリズムより優れている。
  論文  参考訳（メタデータ） (2020-03-10T13:05:52Z)
• Incorporating BERT into Neural Machine Translation [251.54280200353674]
  本稿では,入力シーケンスの表現抽出にBERTを用いたBERT融合モデルを提案する。 我々は、教師付き(文レベルと文書レベルの翻訳を含む)、半教師なしおよび教師なしの機械翻訳の実験を行い、7つのベンチマークデータセットで最先端の結果を得る。
  論文  参考訳（メタデータ） (2020-02-17T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。