論文の概要: Pseudo Zero Pronoun Resolution Improves Zero Anaphora Resolution

• arxiv url: http://arxiv.org/abs/2104.07425v1
• Date: Thu, 15 Apr 2021 12:43:57 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-16 15:02:11.036319
• Title: Pseudo Zero Pronoun Resolution Improves Zero Anaphora Resolution
• Title（参考訳）: Pseudo Zero Pronoun Resolutionはゼロアナフォラ分解能を改善する
• Authors: Ryuto Konno, Shun Kiyono, Yuichiroh Matsubayashi, Hiroki Ouchi, Kentaro Inui
• Abstract要約: ゼロアナフォラ分解能(ZAR)のための新しい事前学習タスクと微調整手法を提案する。 大規模な生のコーパスからZARに必要なアナフォリックな関係知識の習得を目指します。 実験の結果,提案手法は従来の最先端性能よりも大きなマージンを持つことがわかった。
• 参考スコア（独自算出の注目度）: 34.67648598169118
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The use of pretrained masked language models (MLMs) has drastically improved the performance of zero anaphora resolution (ZAR). We further expand this approach with a novel pretraining task and finetuning method for Japanese ZAR. Our pretraining task aims to acquire anaphoric relational knowledge necessary for ZAR from a large-scale raw corpus. The ZAR model is finetuned in the same manner as pretraining. Our experiments show that combining the proposed methods surpasses previous state-of-the-art performance with large margins, providing insight on the remaining challenges.
• Abstract（参考訳）: 事前訓練されたマスク付き言語モデル(MLM)の使用は、ゼロアナフォラ分解能(ZAR)の性能を大幅に改善した。 日本語ZARのための新しい事前学習タスクと微調整手法により、このアプローチをさらに拡張する。 我々の事前学習課題は、大規模生コーパスからZARに必要なアナフォリックリレーショナル知識を取得することである。 ZARモデルは事前訓練と同じ方法で微調整される。 実験の結果,提案手法は従来の最先端性能をはるかに上回り,残りの課題について考察した。

関連論文リスト

• Degradation-Guided One-Step Image Super-Resolution with Diffusion Priors [75.24313405671433]
  拡散に基づく画像超解像法 (SR) は、事前訓練された大規模なテキスト・画像拡散モデルを先行として活用することにより、顕著な成功を収めた。 本稿では,拡散型SR手法の効率問題に対処する新しい一段階SRモデルを提案する。 既存の微調整戦略とは異なり、SR専用の劣化誘導低ランク適応 (LoRA) モジュールを設計した。
  論文  参考訳（メタデータ） (2024-09-25T16:15:21Z)
• Regularizing Hidden States Enables Learning Generalizable Reward Model for LLMs [25.011675414622392]
  本研究では,分配シフトに対する報酬モデルの一般化能力を高める新しい手法を提案する。 我々は、ベースモデルの言語モデルヘッドを保持し、隠れた状態のテキスト生成機能を維持するために、テキスト生成損失のスイートを組み込む。 実験結果から,導入した正規化手法が学習報酬モデルの精度を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-06-14T17:49:59Z)
• Zero-Shot Sharpness-Aware Quantization for Pre-trained Language Models [88.80146574509195]
  量子化は、メモリオーバーヘッドを減らし、推論を加速するための有望なアプローチである。 種々のPLMのゼロショット量子化のための新しい量子化(ZSAQ)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:09:56Z)
• Exploiting Diffusion Prior for Real-World Image Super-Resolution [75.5898357277047]
  本稿では,事前学習したテキスト・画像拡散モデルにカプセル化された事前知識を視覚的超解像に活用するための新しいアプローチを提案する。 時間認識エンコーダを用いることで、事前学習した合成モデルを変更することなく、有望な復元結果が得られる。
  論文  参考訳（メタデータ） (2023-05-11T17:55:25Z)
• Improving Pre-trained Language Model Fine-tuning with Noise Stability Regularization [94.4409074435894]
  本稿では,LNSR(Layerwise Noise Stability Regularization)という,新規かつ効果的な微調整フレームワークを提案する。 具体的には、標準ガウス雑音を注入し、微調整モデルの隠れ表現を正規化することを提案する。 提案手法は,L2-SP,Mixout,SMARTなど他の最先端アルゴリズムよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-06-12T04:42:49Z)
• Improving Non-autoregressive Neural Machine Translation with Monolingual Data [13.43438045177293]
  非自己回帰(NAR)ニューラルマシン翻訳は通常、自己回帰(AR)モデルからの知識蒸留によって行われる。 大規模単言語コーパスを用いてNARモデルの性能を向上する。
  論文  参考訳（メタデータ） (2020-05-02T22:24:52Z)
• Recall and Learn: Fine-tuning Deep Pretrained Language Models with Less Forgetting [66.45372974713189]
  本稿では,マルチタスク学習の概念を取り入れたリコール・アンド・ラーニング機構を提案し,事前学習タスクと下流タスクを共同で学習する。 実験により,本手法はGLUEベンチマークの最先端性能を実現することが示された。 我々はオープンソースのRecAdamを提供し、提案されたメカニズムをAdamに統合し、NLPコミュニティを施設化する。
  論文  参考訳（メタデータ） (2020-04-27T08:59:57Z)
• Deep Reinforced Self-Attention Masks for Abstractive Summarization (DR.SAS) [0.0]
  本稿では,CNN/DMデータ集合に基づく抽象的な要約問題に対処する新しいアーキテクチャ手法を提案する。 要約品質を向上させるためにトランスフォーマーの微妙な注意を学習する限界を検証した。 我々のモデルは、ROUGEの報酬よりも最適化されているため、より抽出的かつ実効的だが、詳細はコヒーレントである傾向にある。
  論文  参考訳（メタデータ） (2019-12-30T01:32:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。