論文の概要: Contrastive Learning of Sociopragmatic Meaning in Social Media

• arxiv url: http://arxiv.org/abs/2203.07648v5
• Date: Thu, 25 May 2023 00:33:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-27 00:24:41.658527
• Title: Contrastive Learning of Sociopragmatic Meaning in Social Media
• Title（参考訳）: ソーシャルメディアにおける社会的意味のコントラスト学習
• Authors: Chiyu Zhang, Muhammad Abdul-Mageed, Ganesh Jawahar
• Abstract要約: 本稿では,幅広い社会実践的タスクに伝達可能なタスク非依存表現を学習するための新しいフレームワークを提案する。 我々のフレームワークは、ドメイン内データとドメイン外データの両方において、他の対照的な学習フレームワークよりも優れています。
• 参考スコア（独自算出の注目度）: 12.219025716422099
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent progress in representation and contrastive learning in NLP has not widely considered the class of \textit{sociopragmatic meaning} (i.e., meaning in interaction within different language communities). To bridge this gap, we propose a novel framework for learning task-agnostic representations transferable to a wide range of sociopragmatic tasks (e.g., emotion, hate speech, humor, sarcasm). Our framework outperforms other contrastive learning frameworks for both in-domain and out-of-domain data, across both the general and few-shot settings. For example, compared to two popular pre-trained language models, our method obtains an improvement of $11.66$ average $F_1$ on $16$ datasets when fine-tuned on only $20$ training samples per dataset.Our code is available at: https://github.com/UBC-NLP/infodcl
• Abstract（参考訳）: NLPにおける表現とコントラスト学習の最近の進歩は、様々な言語コミュニティにおける相互作用における意味である「textit{sociopragmatic meaning}」のクラスを広く考慮していない。 このギャップを埋めるために,様々な社会プラグマティックなタスク(感情,ヘイトスピーチ,ユーモア,皮肉など)に移行可能なタスク非依存表現を学習するための新しい枠組みを提案する。 私たちのフレームワークは、一般的な設定と少数の設定の両方において、ドメイン内データとドメイン外データの両方に対して、他のコントラスト学習フレームワークよりも優れています。 例えば、2つの人気のある事前トレーニング言語モデルと比較して、データセットあたり20ドルのトレーニングサンプルのみを微調整すると、平均$F_1$が11.66$、データセットあたり$F_1$に改善される。

関連論文リスト

• Robot Instance Segmentation with Few Annotations for Grasping [10.005879464111915]
  セミスーパーバイザードラーニング(SSL)とラーニング・スルー・インタラクション(LTI)を組み合わせた新しいフレームワークを提案する。 提案手法は,自己スーパービジョンによる注釈付きデータを利用して,ラベルのない静止画像から生成された擬似シーケンスを用いて時間的コンテキストを組み込む。 本手法をARMBenchmix-object-toteとOCIDの2つのベンチマークで検証し,最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-01T13:58:32Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Learning High-Quality and General-Purpose Phrase Representations [9.246374019271938]
  フレーズ表現は、データサイエンスと自然言語処理において重要な役割を果たす。 現在の最先端手法では、フレーズ埋め込みのための訓練済み言語モデルを微調整する。 文脈自由な方法で句表現を学習するための改良されたフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-18T22:32:31Z)
• EXnet: Efficient In-context Learning for Data-less Text classification [0.0]
  本報告では,実例数に制限を加えることなく,文脈内学習を実現するためのモデルであるEXnetを提案する。 テキスト内学習はタスクの精度を高めるための効果的な手法であり,実例を提供することでタスク間の一般化が促進される,と我々は主張する。 大規模な実験により、我々の最小のモデル(15Mパラメータ)でさえ、いくつかの目に見えない分類タスクや領域に一般化できることが示される。
  論文  参考訳（メタデータ） (2023-05-24T01:40:57Z)
• MaPLe: Multi-modal Prompt Learning [54.96069171726668]
  本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。 最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
  論文  参考訳（メタデータ） (2022-10-06T17:59:56Z)
• Contrastive Learning for Prompt-Based Few-Shot Language Learners [14.244787327283335]
  異なる拡張された"ビュー"の下で同じクラスから入力をクラスタリングする対照的な学習フレームワークを提案する。 私たちは、異なる言語プロンプトとコンテキスト実証を付加することで、サンプルの異なる"ビュー"を作成します。 提案手法は15の言語タスクの多種多様なセットにおいて最先端の手法よりも改善できる。
  論文  参考訳（メタデータ） (2022-05-03T04:56:45Z)
• APP: Anytime Progressive Pruning [104.36308667437397]
  本稿では,特にオンライン学習の場合において,ニューラルネットワークをターゲット空間でトレーニングする方法を提案する。 提案手法は,複数のアーキテクチャやデータセットにまたがるベースライン密度とAnytime OSPモデルにおいて,短時間で適度かつ長時間のトレーニングにおいて,大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-04-04T16:38:55Z)
• A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation [54.29679610921429]
  既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。 したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。 この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2022-03-08T18:59:56Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。