論文の概要: Transformer-GCRF: Recovering Chinese Dropped Pronouns with General Conditional Random Fields

• arxiv url: http://arxiv.org/abs/2010.03224v1
• Date: Wed, 7 Oct 2020 07:06:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-09 23:12:06.032037
• Title: Transformer-GCRF: Recovering Chinese Dropped Pronouns with General Conditional Random Fields
• Title（参考訳）: 変圧器-GCRF:一般条件ランダム場を用いた中国語落語音の復元
• Authors: Jingxuan Yang, Kerui Xu, Jun Xu, Si Li, Sheng Gao, Jun Guo, Ji-Rong Wen, Nianwen Xue
• Abstract要約: 本稿では,隣接する発話における代名詞間の依存関係をモデル化するために,トランスフォーマーネットワークの強みと一般条件ランダムフィールド(GCRF)を組み合わせる新しい枠組みを提案する。 3つの中国語会話データセットの結果、Transformer-GCRFモデルは、最先端のドロップした代名詞回復モデルよりも優れていた。
• 参考スコア（独自算出の注目度）: 54.03719496661691
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pronouns are often dropped in Chinese conversations and recovering the dropped pronouns is important for NLP applications such as Machine Translation. Existing approaches usually formulate this as a sequence labeling task of predicting whether there is a dropped pronoun before each token and its type. Each utterance is considered to be a sequence and labeled independently. Although these approaches have shown promise, labeling each utterance independently ignores the dependencies between pronouns in neighboring utterances. Modeling these dependencies is critical to improving the performance of dropped pronoun recovery. In this paper, we present a novel framework that combines the strength of Transformer network with General Conditional Random Fields (GCRF) to model the dependencies between pronouns in neighboring utterances. Results on three Chinese conversation datasets show that the Transformer-GCRF model outperforms the state-of-the-art dropped pronoun recovery models. Exploratory analysis also demonstrates that the GCRF did help to capture the dependencies between pronouns in neighboring utterances, thus contributes to the performance improvements.
• Abstract（参考訳）: 代名詞はしばしば中国語の会話でドロップされ、削除された代名詞を復元することは機械翻訳のようなNLPアプリケーションにとって重要である。 既存のアプローチは通常、トークンとその型の前にドロップした代名詞があるかどうかを予測するシーケンスラベリングタスクとしてこれを定式化する。 各発話はシーケンスと見なされ、独立にラベル付けされる。 これらの手法は公約を示しているが、各発話のラベル付けは隣接する発話における代名詞間の依存関係を独立に無視する。 これらの依存関係をモデル化することは、ドロップした代名詞回復の性能を改善するために重要である。 本稿では,変圧器ネットワークの強度を一般条件確率場(gcrf)と組み合わせ,隣接発話における代名詞間の依存関係をモデル化する新しい枠組みを提案する。 3つの中国語会話データセットの結果、transformer-gcrfモデルは、下降した代名詞リカバリモデルよりも優れていた。 探索分析はまた、gcrfが隣接する発話における代名詞間の依存関係を捉えるのに役立ち、パフォーマンス改善に寄与することを示した。

関連論文リスト

• Mention Attention for Pronoun Translation [5.896961355859321]
  ソース参照に余分な注意を払うために、デコーダに追加の参照注意モジュールを導入します。 注記参照モジュールは、ソース参照から特徴を抽出するだけでなく、代名詞翻訳の恩恵を受けるターゲット側コンテキストも考慮する。 我々は、WMT17英語-ドイツ語翻訳タスクの実験を行い、一般的な翻訳と代名詞翻訳のモデルを評価する。
  論文  参考訳（メタデータ） (2024-12-19T13:19:19Z)
• Mitigating Bias in Queer Representation within Large Language Models: A Collaborative Agent Approach [0.0]
  大きな言語モデル(LLM)は、しばしば代名詞の用法においてバイアスを持続させ、キーア個人を誤って表現したり排除したりする。 本稿では、LLM出力における偏り付き代名詞の使用の特定の問題、特に伝統的性別付き代名詞の不適切な使用について論じる。 本稿では,これらのバイアスを軽減するための協調的エージェントパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-11-12T09:14:16Z)
• Constructing Cloze Questions Generatively [2.2719421441459406]
  本稿では,ニューラルネットワークとWordNetを用いた記事からクローゼ質問を生成する手法を提案する。 CQGは与えられた文に対する応答キーを選択し、それを一連のインスタンスに分割し、トランスフォーマーとシリングシンセットを使用してインスタンスレベルのイントラクタ候補(IDC)を生成する。 その後、不適切なIDCを除去し、文脈的埋め込み類似性に基づいて残りのIDCをランク付けし、シンセセットや語彙的関連性に基づき、インスタンスを対応する上位IDCに置き換え、適切なフレーズかどうかを判定する。
  論文  参考訳（メタデータ） (2024-10-05T18:55:38Z)
• Probabilistic Transformer: A Probabilistic Dependency Model for Contextual Word Representation [52.270712965271656]
  本稿では,文脈表現の新しいモデルを提案する。 モデルのグラフは変換器に似ており、依存関係と自己意識の対応性がある。 実験により,本モデルが小型・中型データセットのトランスフォーマーと競合することを示す。
  論文  参考訳（メタデータ） (2023-11-26T06:56:02Z)
• Causal interventions expose implicit situation models for commonsense language understanding [3.290878132806227]
  我々は、一つの文脈キューがあいまいな代名詞の解釈をシフトさせるWinograd Challengeのパフォーマンスを分析する。 我々は、コンテキストワードから情報を伝達する責任を負う注目ヘッドの回路を同定する。 これらの分析は、代名詞分解を導くために暗黙の状況モデルを構築する異なる経路を示唆している。
  論文  参考訳（メタデータ） (2023-06-06T17:36:43Z)
• Mapping of attention mechanisms to a generalized Potts model [50.91742043564049]
  ニューラルネットワークのトレーニングは、いわゆる擬似様相法によって逆ポッツ問題を解くのと全く同じであることを示す。 また、レプリカ法を用いてモデルシナリオにおける自己意図の一般化誤差を解析的に計算する。
  論文  参考訳（メタデータ） (2023-04-14T16:32:56Z)
• CROP: Zero-shot Cross-lingual Named Entity Recognition with Multilingual Labeled Sequence Translation [113.99145386490639]
  言語間NERは、整列した言語間表現や機械翻訳結果を通じて、言語間で知識を伝達することができる。 ゼロショット言語間NERを実現するために,クロスランガル・エンティティ・プロジェクション・フレームワーク(CROP)を提案する。 多言語ラベル付きシーケンス翻訳モデルを用いて、タグ付けされたシーケンスをターゲット言語に投影し、ターゲットの原文にラベル付けする。
  論文  参考訳（メタデータ） (2022-10-13T13:32:36Z)
• Joint Entity and Relation Canonicalization in Open Knowledge Graphs using Variational Autoencoders [11.259587284318835]
  オープンナレッジグラフの名詞句と関係句は正規化されず、冗長で曖昧な主語関係対象のトリプルが爆発する。 まず、名詞句と関係句の両方の埋め込み表現を生成し、次にクラスタリングアルゴリズムを使用して、埋め込みを機能としてグループ化します。 本研究では,組込みとクラスタ割り当ての両方をエンドツーエンドアプローチで学習する共同モデルであるCUVA(Canonicalizing Using Variational AutoEncoders)を提案する。
  論文  参考訳（メタデータ） (2020-12-08T22:58:30Z)
• A Brief Survey and Comparative Study of Recent Development of Pronoun Coreference Resolution [55.39835612617972]
  PCR(Pronoun Coreference Resolution)は、プロノミナルな表現を、それらが参照するすべての言及に対して解決するタスクである。 1つの重要な自然言語理解(NLU)コンポーネントとして、代名詞分解は多くの下流タスクにおいて不可欠であり、既存のモデルでは依然として困難である。 我々は、現在のモデルが標準評価セットで優れたパフォーマンスを達成しているにもかかわらず、実際のアプリケーションで使用する準備ができていないことを示すために、広範な実験を行っている。
  論文  参考訳（メタデータ） (2020-09-27T01:40:01Z)
• Learning Source Phrase Representations for Neural Machine Translation [65.94387047871648]
  本稿では,対応するトークン表現から句表現を生成可能な注意句表現生成機構を提案する。 実験では,強力なトランスフォーマーベースライン上でのWMT 14の英語・ドイツ語・英語・フランス語タスクにおいて,大幅な改善が得られた。
  論文  参考訳（メタデータ） (2020-06-25T13:43:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。