Fugu-MT 論文翻訳(概要): Generic Dependency Modeling for Multi-Party Conversation

論文の概要: Generic Dependency Modeling for Multi-Party Conversation

arxiv url: http://arxiv.org/abs/2302.10680v1
Date: Tue, 21 Feb 2023 13:58:19 GMT
ステータス: 処理完了
システム内更新日: 2023-02-22 15:03:10.835535
Title: Generic Dependency Modeling for Multi-Party Conversation
Title（参考訳）: 多人数会話のための汎用依存モデリング
Authors: Weizhou Shen, Xiaojun Quan, Ke Yang
Abstract要約: 相対的依存符号化(ReDE)の形で依存関係を符号化する手法を提案する。自己注意の計算を改良してトランスフォーマーに実装する方法を示す。
参考スコア（独自算出の注目度）: 32.25605889407403
License: http://creativecommons.org/licenses/by/4.0/
Abstract: To model the dependencies between utterances in multi-party conversations, we propose a simple and generic framework based on the dependency parsing results of utterances. Particularly, we present an approach to encoding the dependencies in the form of relative dependency encoding (ReDE) and illustrate how to implement it in Transformers by modifying the computation of self-attention. Experimental results on four multi-party conversation benchmarks show that this framework successfully boosts the general performance of two Transformer-based language models and leads to comparable or even superior performance compared to the state-of-the-art methods. The codes are available at https://github.com/shenwzh3/ReDE.
Abstract（参考訳）: 多人数会話における発話間の依存関係をモデル化するために,発話の係り受け解析結果に基づく単純で汎用的なフレームワークを提案する。特に,相対依存エンコーディング(rede)という形式で依存関係をエンコードする手法を提案し,自己着脱の計算を修正してトランスフォーマタにその実装方法を説明する。 4つのマルチパーティ会話ベンチマークの実験結果は、このフレームワークがトランスフォーマーベースの2つの言語モデルの一般的なパフォーマンスを向上させ、最先端のメソッドと比較して同等あるいはそれ以上のパフォーマンスをもたらすことを示している。コードはhttps://github.com/shenwzh3/redeで入手できる。

関連論文リスト

Dependency Transformer Grammars: Integrating Dependency Structures into Transformer Language Models [42.46104516313823]
依存性変換文法(Dependency Transformer Grammars、DTG)は、依存関係ベースの帰納バイアスを持つトランスフォーマー言語モデルの新しいクラスである。 DTGは制約された注意パターンで依存性遷移システムをシミュレートする。 Transformer言語モデルベースラインと同等のパープレキシティを維持しながら、より優れた一般化を実現する。
論文参考訳（メタデータ） (2024-07-24T16:38:38Z)
Multi-Convformer: Extending Conformer with Multiple Convolution Kernels [64.4442240213399]
我々は,マルチコンバータを導入し,複数のコンバータカーネルをゲーティングと合わせてコンバータの畳み込みモジュール内で利用する。我々のモデルは、よりパラメータ効率の良いCgMLPやE-Branchformerといった既存のConformerと性能的に競合する。我々は4つの異なるデータセットと3つの異なるモデリングパラダイムにまたがって、我々のアプローチをConformerとその変種と経験的に比較し、最大8%の相対的な単語誤り率(WER)の改善を示す。
論文参考訳（メタデータ） (2024-07-04T08:08:12Z)
Branchformer: Parallel MLP-Attention Architectures to Capture Local and Global Context for Speech Recognition and Understanding [41.928263518867816]
コンフォーマーは多くの音声処理タスクに有効であることが証明されている。そこで我々は,より柔軟で解釈可能でカスタマイズ可能なエンコーダであるブランチフォーマーを提案する。
論文参考訳（メタデータ） (2022-07-06T21:08:10Z)
BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
論文参考訳（メタデータ） (2022-06-21T18:34:11Z)
ReSTR: Convolution-free Referring Image Segmentation Using Transformers [80.9672131755143]
本稿では,ReSTRと呼ばれる変換器を用いた画像セグメンテーションのための最初の畳み込みフリーモデルを提案する。変換器エンコーダを通じて両方のモダリティの特徴を抽出するため、ReSTRは各モダリティ内のエンティティ間の長距離依存関係をキャプチャすることができる。また、ReSTRは自己アテンションエンコーダによって2つのモードの特徴を融合させ、融合過程における2つのモード間のフレキシブルで適応的な相互作用を可能にする。
論文参考訳（メタデータ） (2022-03-31T02:55:39Z)
Unifying Discourse Resources with Dependency Framework [18.498060350460463]
異なるアノテーション・スキームで中国の談話コーパスを談話依存フレームワークで統一する。ベンチマークの依存関係をいくつか実装し、統一されたデータをどのように活用してパフォーマンスを向上させるかの研究を行っています。
論文参考訳（メタデータ） (2021-01-01T05:23:29Z)
StructFormer: Joint Unsupervised Induction of Dependency and Constituency Structure from Masked Language Modeling [45.96663013609177]
依存関係と選挙区構造を同時に誘導できる新しいモデルであるStructFormerを導入する。我々は,新しい依存性制約自己保持機構を通じて,変換器に誘導される依存性関係を微分可能な方法で統合する。実験結果から, 教師なし選挙区解析, 教師なし依存関係解析, マスキング言語モデリングにおいて, モデルが強い結果が得られることが示された。
論文参考訳（メタデータ） (2020-12-01T21:54:51Z)
Multi-turn Response Selection using Dialogue Dependency Relations [39.99448321736736]
マルチターン応答選択は対話エージェントを開発するために設計されたタスクである。本稿では,対話履歴を依存関係に基づいてスレッドに変換する対話抽出アルゴリズムを提案する。我々のモデルは、D7とDSTC8*の両方で最先端のベースラインを上回り、Ubuntu上での競合的な結果です。
論文参考訳（メタデータ） (2020-10-04T08:00:19Z)
GRIT: Generative Role-filler Transformers for Document-level Event Entity Extraction [134.5580003327839]
本稿では、文書レベルでコンテキストをモデル化するための生成トランスフォーマーベースのエンコーダデコーダフレームワーク(GRIT)を紹介する。我々は,MUC-4データセットに対する我々のアプローチを評価し,我々のモデルが先行作業よりもかなり優れていることを示す。
論文参考訳（メタデータ） (2020-08-21T01:07:36Z)
Coreferential Reasoning Learning for Language Representation [88.14248323659267]
本稿では,コンテキスト内でコアファーデンシャル関係をキャプチャ可能な新しい言語表現モデルCorefBERTを提案する。実験の結果,既存のベースラインモデルと比較して,CorefBERTは下流のNLPタスクにおいて一貫した大幅な改善を達成できることがわかった。
論文参考訳（メタデータ） (2020-04-15T03:57:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。