論文の概要: Read Beyond the Lines: Understanding the Implied Textual Meaning via a Skim and Intensive Reading Model

• arxiv url: http://arxiv.org/abs/2001.00572v2
• Date: Thu, 16 Jan 2020 14:27:21 GMT
• ステータス: 処理完了
• システム内更新日: 2023-01-14 17:28:56.059373
• Title: Read Beyond the Lines: Understanding the Implied Textual Meaning via a Skim and Intensive Reading Model
• Title（参考訳）: 線を越えて読む:スキムと集中的な読解モデルによる含意的なテキスト意味の理解
• Authors: Guoxiu He, Zhe Gao, Zhuoren Jiang, Yangyang Kang, Changlong Sun, Xiaozhong Liu, Wei Lu
• Abstract要約: 我々は、SIRM(Skim and Intensive Reading Model)と呼ばれる、新しい、単純で効果的なディープ・ニューラル・フレームワークを提案する。 提案したSIRMは,2つの主成分,すなわちスキム読解成分と集中読影成分から構成される。 いくつかのサルカズムベンチマークと,メタファー付き産業用スパムデータセットについて,広範な比較実験を行った。
• 参考スコア（独自算出の注目度）: 41.61803103143516
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The nonliteral interpretation of a text is hard to be understood by machine models due to its high context-sensitivity and heavy usage of figurative language. In this study, inspired by human reading comprehension, we propose a novel, simple, and effective deep neural framework, called Skim and Intensive Reading Model (SIRM), for figuring out implied textual meaning. The proposed SIRM consists of two main components, namely the skim reading component and intensive reading component. N-gram features are quickly extracted from the skim reading component, which is a combination of several convolutional neural networks, as skim (entire) information. An intensive reading component enables a hierarchical investigation for both local (sentence) and global (paragraph) representation, which encapsulates the current embedding and the contextual information with a dense connection. More specifically, the contextual information includes the near-neighbor information and the skim information mentioned above. Finally, besides the normal training loss function, we employ an adversarial loss function as a penalty over the skim reading component to eliminate noisy information arisen from special figurative words in the training data. To verify the effectiveness, robustness, and efficiency of the proposed architecture, we conduct extensive comparative experiments on several sarcasm benchmarks and an industrial spam dataset with metaphors. Experimental results indicate that (1) the proposed model, which benefits from context modeling and consideration of figurative language, outperforms existing state-of-the-art solutions, with comparable parameter scale and training speed; (2) the SIRM yields superior robustness in terms of parameter size sensitivity; (3) compared with ablation and addition variants of the SIRM, the final framework is efficient enough.
• Abstract（参考訳）: テキストの非リテラル解釈は、文脈感度が高く、図形言語を多用しているため、機械モデルでは理解できない。 本研究では,人間の読みの理解に触発されて,暗黙の文章の意味を理解するための,Skim and Intensive Reading Model (SIRM)と呼ばれる,新しい,シンプルで効果的な深層ニューラルネットワークを提案する。 提案したSIRMは,2つの主成分,すなわちスキム読解成分と集中読影成分からなる。 n-gramの特徴は、sim(entire)情報として複数の畳み込みニューラルネットワークの組み合わせであるskim readingコンポーネントから素早く抽出される。 集中的な読み出しコンポーネントは、現在の埋め込みとコンテキスト情報を密接な接続でカプセル化するローカル(連続)表現とグローバル(パラグラフ)表現の両方の階層的調査を可能にする。 より具体的には、コンテキスト情報は、隣接する情報と上記のスキム情報を含む。 最後に,通常の学習損失関数に加えて,スキム読解成分に対するペナルティとして対向損失関数を用いて,訓練データ中の特殊表現語から発生するノイズを除去する。 提案アーキテクチャの有効性,堅牢性,効率性を検証するため,いくつかのサルカズムベンチマークと,メタファー付き産業用スパムデータセットについて広範な比較実験を行った。 実験結果から,(1)図形言語の文脈モデリングと考察の恩恵を生かした提案モデルは,パラメータスケールとトレーニング速度に匹敵する,既存の最先端ソリューションよりも優れ,(2)SIRMはパラメータサイズ感度の点で優れたロバスト性を実現し,(3)SIRMのアブレーションや付加変量と比較すると,最終フレームワークは十分効率的であることがわかった。

関連論文リスト

• Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information [79.06082391992545]
  本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。 文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。 各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-10-08T08:47:10Z)
• Synthetic Pre-Training Tasks for Neural Machine Translation [16.6378815054841]
  我々のゴールは、合成資源を使用する場合の事前学習モデルの有効性に寄与する要因を理解することである。 本稿では,語彙的および構造的知識のレベルが異なる事前学習型翻訳モデルを提案する。 複数の言語ペアに対する実験により,高レベルの難読化や純粋に合成された並列データであっても,事前学習のメリットが実現できることが明らかになった。
  論文  参考訳（メタデータ） (2022-12-19T21:34:00Z)
• Transition-based Abstract Meaning Representation Parsing with Contextual Embeddings [0.0]
  本研究では,意味解析のタスクにおいて,言語モデルと記号意味論の定式化という,言語の意味への最も成功したルートを2つ組み合わせる手法について検討する。 本稿では,事前学習した文脈認識単語の埋め込み(BERTやRoBERTaなど)を解析問題に組み込むことの有用性について検討する。
  論文  参考訳（メタデータ） (2022-06-13T15:05:24Z)
• Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge [62.46091695615262]
  我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。 構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。 我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
  論文  参考訳（メタデータ） (2020-09-12T17:20:01Z)
• Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization [86.45110800123216]
  テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。 本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:38:56Z)
• Towards Accurate Scene Text Recognition with Semantic Reasoning Networks [52.86058031919856]
  本稿では,シーンテキスト認識のための意味推論ネットワーク(SRN)という,エンドツーエンドのトレーニング可能な新しいフレームワークを提案する。 GSRMはマルチウェイ並列伝送によってグローバルセマンティックコンテキストをキャプチャするために導入された。 正規テキスト,不規則テキスト,非ラテン語長文を含む7つの公開ベンチマークの結果,提案手法の有効性とロバスト性を検証した。
  論文  参考訳（メタデータ） (2020-03-27T09:19:25Z)
• Object Relational Graph with Teacher-Recommended Learning for Video Captioning [92.48299156867664]
  本稿では,新しいモデルと効果的なトレーニング戦略の両方を含む完全なビデオキャプションシステムを提案する。 具体的には,オブジェクトリレーショナルグラフ(ORG)に基づくエンコーダを提案する。 一方,教師推薦学習(TRL)手法を設計し,成功した外部言語モデル(ELM)をフル活用し,豊富な言語知識をキャプションモデルに統合する。
  論文  参考訳（メタデータ） (2020-02-26T15:34:52Z)
• Short Text Classification via Knowledge powered Attention with Similarity Matrix based CNN [6.6723692875904375]
  本稿では,類似度行列に基づく畳み込みニューラルネットワーク(KASM)モデルを用いた知識駆動型アテンションを提案する。 我々は知識グラフ(KG)を用いて短文の意味表現を強化する。 知識の重要性を測定するために,重要な情報を選択するための注意機構を導入する。
  論文  参考訳（メタデータ） (2020-02-09T12:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。