論文の概要: MeLT: Message-Level Transformer with Masked Document Representations as Pre-Training for Stance Detection

• arxiv url: http://arxiv.org/abs/2109.08113v1
• Date: Thu, 16 Sep 2021 17:07:45 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-17 14:01:45.197061
• Title: MeLT: Message-Level Transformer with Masked Document Representations as Pre-Training for Stance Detection
• Title（参考訳）: MeLT: スタンス検出のための事前訓練としてのマスケ文書表現付きメッセージレベル変換器
• Authors: Matthew Matero, Nikita Soni, Niranjan Balasubramanian, and H. Andrew Schwartz
• Abstract要約: Twitter上で事前トレーニングされた階層的なメッセージエンコーダであるMessage-Level Transformer(MeLT)を紹介します。 我々は、メッセージのコンテキストを知ることの恩恵を受けるタスクとして、スタンス予測に焦点を当てる。 この事前学習されたマスク付きメッセージレベル変換器を姿勢検出の下流タスクに適用すると,F1性能は67%向上することがわかった。
• 参考スコア（独自算出の注目度）: 15.194603982886484
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Much of natural language processing is focused on leveraging large capacity language models, typically trained over single messages with a task of predicting one or more tokens. However, modeling human language at higher-levels of context (i.e., sequences of messages) is under-explored. In stance detection and other social media tasks where the goal is to predict an attribute of a message, we have contextual data that is loosely semantically connected by authorship. Here, we introduce Message-Level Transformer (MeLT) -- a hierarchical message-encoder pre-trained over Twitter and applied to the task of stance prediction. We focus on stance prediction as a task benefiting from knowing the context of the message (i.e., the sequence of previous messages). The model is trained using a variant of masked-language modeling; where instead of predicting tokens, it seeks to generate an entire masked (aggregated) message vector via reconstruction loss. We find that applying this pre-trained masked message-level transformer to the downstream task of stance detection achieves F1 performance of 67%.
• Abstract（参考訳）: 自然言語処理の多くは、大容量の言語モデルを活用することに重点を置いており、通常は1つ以上のトークンを予測するタスクで単一のメッセージで訓練される。 しかし、より高レベルな文脈(すなわちメッセージのシーケンス)での人間の言語モデリングは、未探索である。 メッセージの属性を予測しようとするスタンス検出やその他のソーシャルメディアタスクでは、著者によってゆるく意味的に接続されるコンテキストデータがあります。 本稿では,twitter上で事前学習した階層型メッセージエンコーダであるメッセージレベルトランスフォーマ(melt)を紹介し,スタンス予測のタスクに適用する。 メッセージのコンテキスト(すなわち、前のメッセージのシーケンス)を知ることの恩恵を受けるタスクとして、スタンス予測に注目します。 このモデルはマスク付き言語モデリングの変種を用いて訓練されており、トークンを予測する代わりに、再構成損失を通じてマスク付き(集約された)メッセージベクター全体を生成する。 この事前学習されたマスク付きメッセージレベル変換器を姿勢検出の下流タスクに適用すると、F1性能は67%となる。

関連論文リスト

• Future Token Prediction -- Causal Language Modelling with Per-Token Semantic State Vector for Multi-Token Prediction [0.0]
  本研究では,Future Token Prediction(FTP)と呼ばれる事前学習手法について検討する。 FTPは、擬似シーケンスに線形かつ拡張的に投影される各トークン位置の埋め込みベクトルを生成する。 プログラミングの問題として、FTPネットワークはGPTネットワークよりもはるかに優れた結果をもたらす。
  論文  参考訳（メタデータ） (2024-10-23T14:50:15Z)
• MaskGCT: Zero-Shot Text-to-Speech with Masked Generative Codec Transformer [9.100416536151869]
  Masked Generative Codec Transformer (MaskGCT) は完全に非自己回帰型テキスト音声変換モデルである。 MaskGCTは、テキストと音声の監督、および電話レベルの持続時間予測の明示的なアライメント情報を必要としない。 100K時間以内の実験では、MaskGCTが現在の最先端のゼロショットTSシステムより優れていたことが示されている。
  論文  参考訳（メタデータ） (2024-09-01T15:26:30Z)
• Typhoon: Towards an Effective Task-Specific Masking Strategy for Pre-trained Language Models [0.0]
  本稿では,事前学習された大規模言語モデルのためのタスク固有マスキングフレームワークについて検討する。 我々はトークン入力勾配に基づく独自のマスキングアルゴリズムであるTyphoonを開発し、これを他の標準ベースラインと比較する。 私たちの実装は、公開のGithubリポジトリで確認できます。
  論文  参考訳（メタデータ） (2023-03-27T22:27:23Z)
• Word Order Matters when you Increase Masking [70.29624135819884]
  本研究では,事前学習対象自体に対する位置エンコーディングの除去効果について検討し,モデルが共起点のみの位置情報を再構成できるかどうかを検証した。 位置情報の必要性はマスキングの量とともに増大し、位置エンコーディングのないマスキング言語モデルではタスク上でこの情報を再構築できないことがわかった。
  論文  参考訳（メタデータ） (2022-11-08T18:14:04Z)
• Retrieval Oriented Masking Pre-training Language Model for Dense Passage Retrieval [16.592276887533714]
  Masked Language Modeling (MLM) は、事前学習プロセスの主要なサブタスクである。 従来のランダムマスキング戦略は、パス検索タスクに制限のある多数のトークンを選択する傾向にある。 本稿では,より重要なトークンがマスクアウトされる確率の高い検索指向マスキング(ROM)戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-27T02:43:48Z)
• Vision-Language Pre-Training for Boosting Scene Text Detectors [57.08046351495244]
  シーンテキスト検出に視覚言語を用いた共同学習を特に応用する。 本稿では,視覚言語による事前学習を通して,文脈化された共同表現を学習することを提案する。 事前訓練されたモデルは、よりリッチなセマンティクスでより情報的な表現を生成することができる。
  論文  参考訳（メタデータ） (2022-04-29T03:53:54Z)
• DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting [91.56988987393483]
  本稿では,CLIPから事前学習した知識を暗黙的かつ明示的に活用することで,高密度予測のための新しい枠組みを提案する。 具体的には,CLIPにおける元の画像テキストマッチング問題を画素テキストマッチング問題に変換し,画素テキストスコアマップを用いて高密度予測モデルの学習を指導する。 本手法は,任意の密集予測システムや種々の事前学習された視覚バックボーンに適用可能な,モデルに依存しない手法である。
  論文  参考訳（メタデータ） (2021-12-02T18:59:32Z)
• How does a Pre-Trained Transformer Integrate Contextual Keywords? Application to Humanitarian Computing [0.0]
  本稿では,各ツイートに危機イベントタイプを追加して人道的分類タスクを改善する方法について述べる。 これは、提案されたニューラルネットワークアプローチが、Crisis Benchmarkの特殊性を部分的に過度に適合しているかを示している。
  論文  参考訳（メタデータ） (2021-11-07T11:24:08Z)
• Sentence Bottleneck Autoencoders from Transformer Language Models [53.350633961266375]
  我々は、事前訓練されたフリーズトランスフォーマー言語モデルから文レベルのオートエンコーダを構築する。 我々は、文ボトルネックと1層修飾トランスフォーマーデコーダのみを訓練しながら、マスク付き言語モデリングの目的を生成的・認知的言語として適応する。 本研究では,テキスト類似性タスク,スタイル転送,単一文分類タスクにおける事前学習されたトランスフォーマーからの表現をGLUEベンチマークで抽出する手法よりも,大規模な事前学習モデルよりも少ないパラメータを用いて,より高品質な文表現を実現することを示す。
  論文  参考訳（メタデータ） (2021-08-31T19:39:55Z)
• PALM: Pre-training an Autoencoding&Autoregressive Language Model for Context-conditioned Generation [92.7366819044397]
  自己指導型事前学習は、自然言語の理解と生成のための強力な技術として登場した。 本研究は,大規模未ラベルコーパス上で自己エンコーディングと自己回帰言語モデルを共同で事前学習する新しいスキームをPALMに提示する。 広範な実験により、PALMは様々な言語生成ベンチマークにおいて、新しい最先端の結果を達成することが示されている。
  論文  参考訳（メタデータ） (2020-04-14T06:25:36Z)
• UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training [152.63467944568094]
  本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。 実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-02-28T15:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。