論文の概要: Improving Context Modeling in Neural Topic Segmentation

• arxiv url: http://arxiv.org/abs/2010.03138v1
• Date: Wed, 7 Oct 2020 03:40:49 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 22:00:22.266767
• Title: Improving Context Modeling in Neural Topic Segmentation
• Title（参考訳）: ニューラルトピックセグメンテーションにおけるコンテキストモデリングの改善
• Authors: Linzi Xing, Brad Hackinen, Giuseppe Carenini, Francesco Trebbi
• Abstract要約: 階層型アテンションBiLSTMネットワークに基づくセグメンタを改良し、コンテキストをモデル化する。 最適化されたセグメンタは、3つのデータセットでトレーニングとテストを行った場合、SOTAアプローチよりも優れています。
• 参考スコア（独自算出の注目度）: 18.92944038749279
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Topic segmentation is critical in key NLP tasks and recent works favor highly effective neural supervised approaches. However, current neural solutions are arguably limited in how they model context. In this paper, we enhance a segmenter based on a hierarchical attention BiLSTM network to better model context, by adding a coherence-related auxiliary task and restricted self-attention. Our optimized segmenter outperforms SOTA approaches when trained and tested on three datasets. We also the robustness of our proposed model in domain transfer setting by training a model on a large-scale dataset and testing it on four challenging real-world benchmarks. Furthermore, we apply our proposed strategy to two other languages (German and Chinese), and show its effectiveness in multilingual scenarios.
• Abstract（参考訳）: トピックセグメンテーションは、重要なNLPタスクにおいて重要であり、最近の研究は、非常に効果的なニューラルネットワークアプローチを好んでいる。 しかし、現在のニューラルソリューションは、コンテキストのモデリング方法に制限がある。 本稿では、コヒーレンス関連補助タスクと制限された自己注意を追加することにより、階層的注意BiLSTMネットワークに基づくセグメンタを強化し、コンテキストをモデル化する。 最適化されたセグメンタは、3つのデータセットでトレーニングとテストを行った場合、SOTAアプローチよりも優れています。 また、大規模データセット上でモデルをトレーニングし、挑戦的な4つの実世界のベンチマークでテストすることで、ドメイン転送設定における提案モデルの堅牢性も確認しました。 さらに,提案手法を他の2言語(ドイツ語と中国語)に適用し,多言語シナリオでの有効性を示す。

関連論文リスト

• A Large-Scale Evaluation of Speech Foundation Models [110.95827399522204]
  音声処理ユニバーサルパフォーマンスベンチマーク(SUPERB)を構築し,基礎モデルパラダイムの有効性について検討する。 凍結基盤モデルを用いてSUPERBにおける音声処理タスクに対処する統合マルチタスクフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-15T00:03:16Z)
• On the Analysis of Cross-Lingual Prompt Tuning for Decoder-based Multilingual Model [49.81429697921861]
  多言語自己回帰モデルにおけるパラメータ効率細調整(PEFT)と言語間タスクの相互作用について検討する。 高速チューニングは、微調整よりも低リソース言語の性能向上に有効であることを示す。
  論文  参考訳（メタデータ） (2023-11-14T00:43:33Z)
• Exploiting Multilingualism in Low-resource Neural Machine Translation via Adversarial Learning [3.2258463207097017]
  Generative Adversarial Networks (GAN) はニューラルマシン翻訳(NMT)に有望なアプローチを提供する GANでは、バイリンガルモデルと同様に、マルチリンガルNTTはモデルトレーニング中に各文の参照翻訳を1つだけ考慮している。 本稿では,DAASI(Denoising Adversarial Auto-Encoder-based Sentence Interpolation)アプローチによる文計算を提案する。
  論文  参考訳（メタデータ） (2023-03-31T12:34:14Z)
• An Empirical Study on Multi-Domain Robust Semantic Segmentation [42.79166534691889]
  我々は、いくつかの人気セグメンテーションデータセットに基づいて、ドメイン間でうまく機能することが期待される統一モデルをトレーニングする。 RVC 2022セマンティックセマンティックセグメンテーションタスクでは,データセットは第1モデルの1/3に過ぎなかった。
  論文  参考訳（メタデータ） (2022-12-08T12:04:01Z)
• Improving Topic Segmentation by Injecting Discourse Dependencies [29.353285741379334]
  本論文では, 談話依存構造を注入した談話認識型ニューラルトピックセグメンテーションモデルを提案する。 英語評価データセットに関する実証研究により,ニューラルネットワークのトピックセグメンタに上述の談話構造を注入することで,その性能が大幅に向上することが示された。
  論文  参考訳（メタデータ） (2022-09-18T18:22:25Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Towards Trustworthy Deception Detection: Benchmarking Model Robustness across Domains, Modalities, and Languages [10.131671217810581]
  我々は、ドメイン外データ、モダリティ特化特徴、および英語以外の言語に対するモデルロバスト性を評価する。 我々は、追加の画像コンテンツを入力として、ELMo埋め込みはBERTまたはGLoVeと比較して大幅に少ないエラーをもたらすことを発見しました。
  論文  参考訳（メタデータ） (2021-04-23T18:05:52Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Dynamic Data Selection and Weighting for Iterative Back-Translation [116.14378571769045]
  本稿では,反復的バックトランスレーションモデルのためのカリキュラム学習戦略を提案する。 我々は、ドメイン適応、低リソース、高リソースMT設定に関するモデルを評価する。 実験の結果,提案手法は競争基準値よりも最大1.8 BLEU点の改善を達成できた。
  論文  参考訳（メタデータ） (2020-04-07T19:49:58Z)
• A Simple Baseline to Semi-Supervised Domain Adaptation for Machine Translation [73.3550140511458]
  State-of-the-art Neural Machine Translation (NMT)システムは、データハングリーであり、教師付きデータを持たない新しいドメインではパフォーマンスが良くない。 NMTの半教師付きドメイン適応シナリオに対する単純だが効果のあるアプローチを提案する。 このアプローチは、言語モデリング、バックトランスレーション、教師付き翻訳の3つのトレーニング目標を通じて、TransformerベースのNMTモデルを反復的にトレーニングする。
  論文  参考訳（メタデータ） (2020-01-22T16:42:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。