論文の概要: Exploiting Correlations Between Contexts and Definitions with Multiple
Definition Modeling
- arxiv url: http://arxiv.org/abs/2305.14717v1
- Date: Wed, 24 May 2023 04:38:29 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-25 19:38:45.041034
- Title: Exploiting Correlations Between Contexts and Definitions with Multiple
Definition Modeling
- Title(参考訳): 複数定義モデリングによる文脈と定義の相関の活用
- Authors: Linhan Zhang, Qian Chen, Wen Wang, Yuxin Jiang, Bing Li, Wei Wang, Xin
Cao
- Abstract要約: 単一定義モデリング(SDM)は、異なる文脈と単語の定義間の相関やパターンを適切にモデル化しない。
本稿では,対象単語のすべてのコンテキストと定義をプールする,MDM(Multiple Definition Modeling)と呼ばれる新しいタスクを設計する。
我々は,MDM を事前訓練タスクとして使用することにより,SDM の性能向上を含む MDM の利点を実演し,分析する。
- 参考スコア(独自算出の注目度): 13.608157331662026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Definition modeling is an important task in advanced natural language
applications such as understanding and conversation. Since its introduction, it
focus on generating one definition for a target word or phrase in a given
context, which we refer to as Single Definition Modeling (SDM). However, this
approach does not adequately model the correlations and patterns among
different contexts and definitions of words. In addition, the creation of a
training dataset for SDM requires significant human expertise and effort. In
this paper, we carefully design a new task called Multiple Definition Modeling
(MDM) that pool together all contexts and definition of target words. We
demonstrate the ease of creating a model as well as multiple training sets
automatically. % In the experiments, we demonstrate and analyze the benefits of
MDM, including improving SDM's performance by using MDM as the pretraining task
and its comparable performance in the zero-shot setting.
- Abstract(参考訳): 定義モデリングは、理解や会話といった高度な自然言語アプリケーションにおいて重要なタスクである。
導入以来、特定の文脈における目的語やフレーズの1つの定義を生成することに重点を置いており、これをSDM(Single Definition Modeling)と呼ぶ。
しかし、このアプローチは、異なる文脈と単語の定義の間の相関やパターンを適切にモデル化しない。
さらに、sdmのためのトレーニングデータセットの作成には、重要な人間の専門知識と努力が必要です。
本稿では,対象単語のすべてのコンテキストと定義をプールする,MDM(Multiple Definition Modeling)と呼ばれる新しいタスクを慎重に設計する。
モデル作成の容易さと、複数のトレーニングセットの自動生成の容易さを示す。
実験では,MDMを事前訓練タスクとして使用することにより,SDMの性能向上や,ゼロショット環境での同等の性能など,MDMのメリットを実証し,分析した。
関連論文リスト
- Explore In-Context Segmentation via Latent Diffusion Models [132.26274147026854]
潜在拡散モデル(LDM)は、文脈内セグメンテーションに有効な最小限のモデルである。
画像とビデオの両方のデータセットを含む、新しい、公正なコンテキスト内セグメンテーションベンチマークを構築します。
論文 参考訳(メタデータ) (2024-03-14T17:52:31Z) - Semantics-enhanced Cross-modal Masked Image Modeling for Vision-Language
Pre-training [87.69394953339238]
Masked Image Modeling (MIM) が最近導入され、細粒度のクロスモーダルアライメントを実現している。
視覚言語表現学習のためのセマンティクス強化クロスモーダルMIMフレームワーク(SemMIM)を提案する。
論文 参考訳(メタデータ) (2024-03-01T03:25:58Z) - Meta-Task Prompting Elicits Embedding from Large Language Models [57.50329659098592]
本稿では,新しい教師なし埋め込み手法であるMeta-Task Prompting with Explicit One-Word Limitationを提案する。
モデル微調整やタスク固有のエンジニアリングを必要とせずに、大規模言語モデルから高品質な文の埋め込みを生成する。
実験により, 各種メタタスクから平均化された埋め込みは, セマンティックテキスト類似度ベンチマーク上での競合性能を示すことを示した。
本研究は, 埋込抽出のための多用途, 資源効率のよい手法を提供する, 埋込生成のための新しいスケーリング法則を示唆する。
論文 参考訳(メタデータ) (2024-02-28T16:35:52Z) - Integrating Self-supervised Speech Model with Pseudo Word-level Targets
from Visually-grounded Speech Model [57.78191634042409]
擬似単語レベルのターゲットを学習プロセスに統合するフレームワークであるPseudo-Word HuBERT(PW-HuBERT)を提案する。
4つの音声言語理解(SLU)ベンチマークによる実験結果から,意味情報の収集におけるモデルの有用性が示唆された。
論文 参考訳(メタデータ) (2024-02-08T16:55:21Z) - A Multi-Task Semantic Decomposition Framework with Task-specific
Pre-training for Few-Shot NER [26.008350261239617]
マルチタスク・セマンティック・デコンストラクション・フレームワークを提案する。
本稿では,MLM(Demonstration-based Masked Language Modeling)とクラスコントラスト識別(Class Contrastive Discrimination)の2つの新しい事前学習タスクを紹介する。
下流のメインタスクでは,エンティティ分類のための2つの異なるセマンティック情報の統合を容易にするセマンティックデコンポーザリング手法を用いたマルチタスク共同最適化フレームワークを導入する。
論文 参考訳(メタデータ) (2023-08-28T12:46:21Z) - Open-Domain Text Evaluation via Meta Distribution Modeling [59.38686738625588]
オープンドメイン生成モデルを評価するための新しいアプローチ - Meta-Distribution Methods (MDM) を提案する。
筆者らは,1)メタディストリビューション法を利用したオープンドメインテキスト生成評価のためのMDMについて検討する。1)メタディストリビューション法を用いて,識別器ベースのメトリクスをトレーニングするためのドメイン内負のサンプルを生成するemphDiscriminative MDM,2)2つの言語モデル間の分散の相違を直接利用して評価を行うemphDiscriminative MDMについて検討する。
論文 参考訳(メタデータ) (2023-06-20T20:37:54Z) - Forging Multiple Training Objectives for Pre-trained Language Models via
Meta-Learning [97.28779163988833]
複数の事前学習目標が単一目的言語モデリングの理解能力の欠如を埋める。
メタラーニングに基づく新しい適応型サンプリングシステムであるtextitMOMETAS を提案し,任意の事前学習対象に対して潜時サンプリングパターンを学習する。
論文 参考訳(メタデータ) (2022-10-19T04:38:26Z) - MAP: Multimodal Uncertainty-Aware Vision-Language Pre-training Model [35.52349231889843]
確率分布 (Probability Distribution, PDE) を用いて, 確率分布として全てのモダリティの表現を投影する。
既存の決定論的手法と比較して、そのような不確実性モデリングはよりリッチなマルチモーダル意味情報を伝達することができる。
本稿では,D-VLC(Dis Distribution-based Vision-Language Contrastive Learning),D-MLM(Dis Distribution-based Masked Language Modeling),D-ITM(Dis Distribution-based Image-Text Matching)を提案する。
論文 参考訳(メタデータ) (2022-10-11T10:54:54Z) - OCHADAI-KYODAI at SemEval-2021 Task 1: Enhancing Model Generalization
and Robustness for Lexical Complexity Prediction [8.066349353140819]
単語とマルチワード表現の語彙的複雑性を予測するアンサンブルモデルを提案する。
モデルは、目的語またはMWEandの文を入力として受信し、その複雑性スコアを出力する。
本モデルは,両サブタスクの上位10システムにランクインした。
論文 参考訳(メタデータ) (2021-05-12T09:27:46Z) - VCDM: Leveraging Variational Bi-encoding and Deep Contextualized Word
Representations for Improved Definition Modeling [24.775371434410328]
定義モデリングの課題は、単語やフレーズの定義を学習することである。
このタスクの既存のアプローチは差別的であり、直接的ではなく暗黙的に分布的意味論と語彙的意味論を組み合わせたものである。
本稿では、文脈内で使われるフレーズとその定義の基盤となる関係を明示的にモデル化するために、連続潜時変数を導入したタスク生成モデルを提案する。
論文 参考訳(メタデータ) (2020-10-07T02:48:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。