論文の概要: Matching Text with Deep Mutual Information Estimation

• arxiv url: http://arxiv.org/abs/2003.11521v1
• Date: Mon, 9 Mar 2020 15:25:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-25 08:52:40.090788
• Title: Matching Text with Deep Mutual Information Estimation
• Title（参考訳）: 深層相互情報推定によるテキストのマッチング
• Authors: Xixi Zhou (1), Chengxi Li (1), Jiajun Bu (1), Chengwei Yao (1), Keyue Shi (1), Zhi Yu (1), Zhou Yu (2) ((1) Zhejiang University, (2) University of California, Davis)
• Abstract要約: 本稿では,深い相互情報推定を組み込んだ汎用テキストマッチングのためのニューラルネットワークを提案する。 提案手法は,Deep Info Max (TIM) を用いたテキストマッチングであり,表現の教師なし学習手法と統合されている。 自然言語推論,パラフレーズ識別,解答選択など,いくつかのタスクにおけるテキストマッチング手法の評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text matching is a core natural language processing research problem. How to retain sufficient information on both content and structure information is one important challenge. In this paper, we present a neural approach for general-purpose text matching with deep mutual information estimation incorporated. Our approach, Text matching with Deep Info Max (TIM), is integrated with a procedure of unsupervised learning of representations by maximizing the mutual information between text matching neural network's input and output. We use both global and local mutual information to learn text representations. We evaluate our text matching approach on several tasks including natural language inference, paraphrase identification, and answer selection. Compared to the state-of-the-art approaches, the experiments show that our method integrated with mutual information estimation learns better text representation and achieves better experimental results of text matching tasks without exploiting pretraining on external data.
• Abstract（参考訳）: テキストマッチングは、自然言語処理研究の核となる問題である。 コンテンツと構造情報の両方について十分な情報を保持する方法が重要な課題である。 本稿では,深層相互情報推定を組み込んだ汎用テキストマッチングのためのニューラルアプローチを提案する。 提案手法は,Deep Info Max (TIM) を用いたテキストマッチングであり,テキストマッチングニューラルネットワークの入力と出力の相互情報を最大化することにより,表現の教師なし学習と統合する。 グローバル情報とローカル情報の両方を用いてテキスト表現を学習する。 自然言語推論,パラフレーズ識別,解答選択など,いくつかのタスクにおけるテキストマッチング手法の評価を行った。 その結果, 相互情報推定と統合した手法が優れたテキスト表現を学習し, 外部データへの事前学習を生かさずに, テキストマッチングタスクのよりよい実験結果が得られることがわかった。

関連論文リスト

• Towards Unified Multi-granularity Text Detection with Interactive Attention [56.79437272168507]
  Detect Any Text"は、シーンテキストの検出、レイアウト分析、ドキュメントページの検出を結合的なエンドツーエンドモデルに統合する高度なパラダイムである。 DATにおける重要なイノベーションは、テキストインスタンスの表現学習を大幅に強化する、粒度横断型アテンションモジュールである。 テストによると、DATは様々なテキスト関連ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-05-30T07:25:23Z)
• KETM:A Knowledge-Enhanced Text Matching method [0.0]
  知識強化テキストマッチングモデル(KETM)と呼ばれるテキストマッチングの新しいモデルを提案する。 テキストワード定義を外部知識として検索するために、Wiktionaryを使用します。 我々は、ゲーティング機構を用いてテキストと知識を融合させ、テキストと知識融合の比率を学習する。
  論文  参考訳（メタデータ） (2023-08-11T17:08:14Z)
• TextFormer: A Query-based End-to-End Text Spotter with Mixed Supervision [61.186488081379]
  Transformerアーキテクチャを用いた問合せベースのエンドツーエンドテキストスポッターであるTextFormerを提案する。 TextFormerは、画像エンコーダとテキストデコーダの上に構築され、マルチタスクモデリングのための共同セマンティック理解を学ぶ。 分類、セグメンテーション、認識のブランチの相互訓練と最適化を可能にし、より深い特徴共有をもたらす。
  論文  参考訳（メタデータ） (2023-06-06T03:37:41Z)
• Uzbek text summarization based on TF-IDF [0.0]
  本稿では,ウズベク語における要約課題について実験する。 この手法はTF-IDFアルゴリズムに基づくテキスト抽象化に基づいている。 テキスト全体の重要な部分にn-gram法を適用することで、与えられたテキストを要約する。
  論文  参考訳（メタデータ） (2023-03-01T12:39:46Z)
• Universal Multimodal Representation for Language Understanding [110.98786673598015]
  本研究は,一般的なNLPタスクの補助信号として視覚情報を利用する新しい手法を提案する。 各文に対して、まず、既存の文-画像ペア上で抽出された軽トピック-画像検索テーブルから、フレキシブルな画像を検索する。 そして、テキストと画像はそれぞれトランスフォーマーエンコーダと畳み込みニューラルネットワークによって符号化される。
  論文  参考訳（メタデータ） (2023-01-09T13:54:11Z)
• Open-set Text Recognition via Character-Context Decoupling [16.2819099852748]
  オープンセットテキスト認識タスクは、評価中に新しい文字を認識する余分な能力を必要とする、新たな課題である。 現状の手法における限られた性能の大きな原因は,個々の文字の視覚的情報に対する文脈情報の相違である,と我々は主張する。 文脈情報と文字視覚情報を分離することでこの問題を軽減するために,文字コンテキスト分離フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-04-12T05:43:46Z)
• DEIM: An effective deep encoding and interaction model for sentence matching [0.0]
  本稿では,ディープエンコーディングとインタラクションに基づく文マッチング手法を提案する。 エンコーダ層では、1つの文を符号化する過程で他の文の情報を参照し、その後、アルゴリズムを用いて情報を融合する。 インタラクション層では、双方向の注意機構と自己注意機構を用いて深い意味情報を得る。
  論文  参考訳（メタデータ） (2022-03-20T07:59:42Z)
• Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
  本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。 提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
  論文  参考訳（メタデータ） (2021-09-02T16:05:24Z)
• Improving Machine Reading Comprehension with Contextualized Commonsense Knowledge [62.46091695615262]
  我々は、機械読解の理解を改善するために、常識知識を抽出することを目指している。 構造化知識を文脈内に配置することで,関係を暗黙的に表現することを提案する。 我々は,教師の学習パラダイムを用いて,複数種類の文脈的知識を学生機械読取機に注入する。
  論文  参考訳（メタデータ） (2020-09-12T17:20:01Z)
• TRIE: End-to-End Text Reading and Information Extraction for Document Understanding [56.1416883796342]
  本稿では,統合されたエンドツーエンドのテキスト読解と情報抽出ネットワークを提案する。 テキスト読解のマルチモーダル視覚的特徴とテキスト的特徴は、情報抽出のために融合される。 提案手法は, 精度と効率の両面において, 最先端の手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-05-27T01:47:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。