論文の概要: Exploiting Correlations Between Contexts and Definitions with Multiple Definition Modeling

• arxiv url: http://arxiv.org/abs/2305.14717v1
• Date: Wed, 24 May 2023 04:38:29 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-25 19:38:45.041034
• Title: Exploiting Correlations Between Contexts and Definitions with Multiple Definition Modeling
• Title（参考訳）: 複数定義モデリングによる文脈と定義の相関の活用
• Authors: Linhan Zhang, Qian Chen, Wen Wang, Yuxin Jiang, Bing Li, Wei Wang, Xin Cao
• Abstract要約: 単一定義モデリング(SDM)は、異なる文脈と単語の定義間の相関やパターンを適切にモデル化しない。 本稿では,対象単語のすべてのコンテキストと定義をプールする,MDM(Multiple Definition Modeling)と呼ばれる新しいタスクを設計する。 我々は,MDM を事前訓練タスクとして使用することにより,SDM の性能向上を含む MDM の利点を実演し,分析する。
• 参考スコア（独自算出の注目度）: 13.608157331662026
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Definition modeling is an important task in advanced natural language applications such as understanding and conversation. Since its introduction, it focus on generating one definition for a target word or phrase in a given context, which we refer to as Single Definition Modeling (SDM). However, this approach does not adequately model the correlations and patterns among different contexts and definitions of words. In addition, the creation of a training dataset for SDM requires significant human expertise and effort. In this paper, we carefully design a new task called Multiple Definition Modeling (MDM) that pool together all contexts and definition of target words. We demonstrate the ease of creating a model as well as multiple training sets automatically. % In the experiments, we demonstrate and analyze the benefits of MDM, including improving SDM's performance by using MDM as the pretraining task and its comparable performance in the zero-shot setting.
• Abstract（参考訳）: 定義モデリングは、理解や会話といった高度な自然言語アプリケーションにおいて重要なタスクである。 導入以来、特定の文脈における目的語やフレーズの1つの定義を生成することに重点を置いており、これをSDM(Single Definition Modeling)と呼ぶ。 しかし、このアプローチは、異なる文脈と単語の定義の間の相関やパターンを適切にモデル化しない。 さらに、sdmのためのトレーニングデータセットの作成には、重要な人間の専門知識と努力が必要です。 本稿では,対象単語のすべてのコンテキストと定義をプールする,MDM(Multiple Definition Modeling)と呼ばれる新しいタスクを慎重に設計する。 モデル作成の容易さと、複数のトレーニングセットの自動生成の容易さを示す。 実験では,MDMを事前訓練タスクとして使用することにより,SDMの性能向上や,ゼロショット環境での同等の性能など,MDMのメリットを実証し,分析した。

関連論文リスト

• Unified Generative and Discriminative Training for Multi-modal Large Language Models [88.84491005030316]
  生成的トレーニングにより、視覚言語モデル(VLM)は様々な複雑なタスクに取り組むことができる。 CLIPのようなモデルで実証された差別的トレーニングは、ゼロショットイメージテキストの分類と検索に優れています。 本稿では,両パラダイムの強みを統合する統一的アプローチを提案する。
  論文  参考訳（メタデータ） (2024-11-01T01:51:31Z)
• A Large-Scale Evaluation of Speech Foundation Models [110.95827399522204]
  音声処理ユニバーサルパフォーマンスベンチマーク(SUPERB)を構築し,基礎モデルパラダイムの有効性について検討する。 凍結基盤モデルを用いてSUPERBにおける音声処理タスクに対処する統合マルチタスクフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-04-15T00:03:16Z)
• Explore In-Context Segmentation via Latent Diffusion Models [132.26274147026854]
  潜在拡散モデル(LDM)は、文脈内セグメンテーションに有効な最小限のモデルである。 画像とビデオの両方のデータセットを含む、新しい、公正なコンテキスト内セグメンテーションベンチマークを構築します。
  論文  参考訳（メタデータ） (2024-03-14T17:52:31Z)
• Semantics-enhanced Cross-modal Masked Image Modeling for Vision-Language Pre-training [87.69394953339238]
  Masked Image Modeling (MIM) が最近導入され、細粒度のクロスモーダルアライメントを実現している。 視覚言語表現学習のためのセマンティクス強化クロスモーダルMIMフレームワーク(SemMIM)を提案する。
  論文  参考訳（メタデータ） (2024-03-01T03:25:58Z)
• Integrating Self-supervised Speech Model with Pseudo Word-level Targets from Visually-grounded Speech Model [57.78191634042409]
  擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。 4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
  論文  参考訳（メタデータ） (2024-02-08T16:55:21Z)
• A Multi-Task Semantic Decomposition Framework with Task-specific Pre-training for Few-Shot NER [26.008350261239617]
  マルチタスク・セマンティック・デコンストラクション・フレームワークを提案する。 本稿では,MLM(Demonstration-based Masked Language Modeling)とクラスコントラスト識別(Class Contrastive Discrimination)の2つの新しい事前学習タスクを紹介する。 下流のメインタスクでは,エンティティ分類のための2つの異なるセマンティック情報の統合を容易にするセマンティックデコンポーザリング手法を用いたマルチタスク共同最適化フレームワークを導入する。
  論文  参考訳（メタデータ） (2023-08-28T12:46:21Z)
• Forging Multiple Training Objectives for Pre-trained Language Models via Meta-Learning [97.28779163988833]
  複数の事前学習目標が単一目的言語モデリングの理解能力の欠如を埋める。 メタラーニングに基づく新しい適応型サンプリングシステムであるtextitMOMETAS を提案し,任意の事前学習対象に対して潜時サンプリングパターンを学習する。
  論文  参考訳（メタデータ） (2022-10-19T04:38:26Z)
• OCHADAI-KYODAI at SemEval-2021 Task 1: Enhancing Model Generalization and Robustness for Lexical Complexity Prediction [8.066349353140819]
  単語とマルチワード表現の語彙的複雑性を予測するアンサンブルモデルを提案する。 モデルは、目的語またはMWEandの文を入力として受信し、その複雑性スコアを出力する。 本モデルは,両サブタスクの上位10システムにランクインした。
  論文  参考訳（メタデータ） (2021-05-12T09:27:46Z)
• VCDM: Leveraging Variational Bi-encoding and Deep Contextualized Word Representations for Improved Definition Modeling [24.775371434410328]
  定義モデリングの課題は、単語やフレーズの定義を学習することである。 このタスクの既存のアプローチは差別的であり、直接的ではなく暗黙的に分布的意味論と語彙的意味論を組み合わせたものである。 本稿では、文脈内で使われるフレーズとその定義の基盤となる関係を明示的にモデル化するために、連続潜時変数を導入したタスク生成モデルを提案する。
  論文  参考訳（メタデータ） (2020-10-07T02:48:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。