論文の概要: InfoDCL: A Distantly Supervised Contrastive Learning Framework for Social Meaning

• arxiv url: http://arxiv.org/abs/2203.07648v1
• Date: Tue, 15 Mar 2022 05:07:04 GMT
• ステータス: 処理完了
• システム内更新日: 2022-03-16 12:39:39.699955
• Title: InfoDCL: A Distantly Supervised Contrastive Learning Framework for Social Meaning
• Title（参考訳）: InfoDCL:ソーシャル・ミーニングのための遠隔指導型コントラスト学習フレームワーク
• Authors: Chiyu Zhang, Muhammad Abdul-Mageed, Ganesh Jawahar
• Abstract要約: 本稿では,自然に発生する代理ラベルをコントラスト学習の文脈で活用する,効果的な遠隔教師付きコントラスト学習フレームワーク(InfoDCL)を提案する。 我々のフレームワークは、幅広い社会的意味課題において、既存のコントラスト学習手法よりも優れています。 私たちの手法は、英語に加えて3つの言語で示されるように、言語に依存しない。
• 参考スコア（独自算出の注目度）: 12.219025716422099
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Existing supervised contrastive learning frameworks suffer from two major drawbacks: (i) they depend on labeled data, which is limited for the majority of tasks in real-world, and (ii) they incorporate inter-class relationships based on instance-level information, while ignoring corpus-level information, for weighting negative samples. To mitigate these challenges, we propose an effective distantly supervised contrastive learning framework (InfoDCL) that makes use of naturally occurring surrogate labels in the context of contrastive learning and employs pointwise mutual information to leverage corpus-level information. Our framework outperforms an extensive set of existing contrastive learning methods (self-supervised, supervised, and weakly supervised) on a wide range of social meaning tasks (in-domain and out-of-domain), in both the general and few-shot settings. Our method is also language-agnostic, as we demonstrate on three languages in addition to English.
• Abstract（参考訳）: 既存の教師付きコントラスト学習フレームワークには2つの大きな欠点がある。 (i)実世界のタスクの大部分に制限されるラベル付きデータに依存しており、 (II) 負のサンプルを重み付けするために, コーパスレベルの情報を無視しながら, インスタンスレベルの情報に基づくクラス間関係を組み込んだ。 これらの課題を緩和するために、コントラスト学習の文脈で自然に発生する代理ラベルを利用してコーパスレベルの情報を活用する効果的な遠隔教師付きコントラスト学習フレームワーク(InfoDCL)を提案する。 我々のフレームワークは、汎用的および少数的な設定の両方において、幅広い社会的意味タスク(ドメイン内およびドメイン外)において、既存のコントラスト学習手法(自己監督、教師付き、弱教師付き)よりも優れています。 提案手法は英語に加えて3つの言語で示すように,言語に依存しない。

関連論文リスト

• Robot Instance Segmentation with Few Annotations for Grasping [10.005879464111915]
  セミスーパーバイザードラーニング(SSL)とラーニング・スルー・インタラクション(LTI)を組み合わせた新しいフレームワークを提案する。 提案手法は,自己スーパービジョンによる注釈付きデータを利用して,ラベルのない静止画像から生成された擬似シーケンスを用いて時間的コンテキストを組み込む。 本手法をARMBenchmix-object-toteとOCIDの2つのベンチマークで検証し,最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-07-01T13:58:32Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Learning High-Quality and General-Purpose Phrase Representations [9.246374019271938]
  フレーズ表現は、データサイエンスと自然言語処理において重要な役割を果たす。 現在の最先端手法では、フレーズ埋め込みのための訓練済み言語モデルを微調整する。 文脈自由な方法で句表現を学習するための改良されたフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-18T22:32:31Z)
• EXnet: Efficient In-context Learning for Data-less Text classification [0.0]
  本報告では,実例数に制限を加えることなく,文脈内学習を実現するためのモデルであるEXnetを提案する。 テキスト内学習はタスクの精度を高めるための効果的な手法であり,実例を提供することでタスク間の一般化が促進される,と我々は主張する。 大規模な実験により、我々の最小のモデル(15Mパラメータ)でさえ、いくつかの目に見えない分類タスクや領域に一般化できることが示される。
  論文  参考訳（メタデータ） (2023-05-24T01:40:57Z)
• MaPLe: Multi-modal Prompt Learning [54.96069171726668]
  本稿では,視覚と言語分岐の両方を対象としたマルチモーダル・プロンプト・ラーニング(MaPLe)を提案し,視覚と言語表現の整合性を改善する。 最先端のCo-CoOpと比較すると、MaPLeは優れた性能を示し、新規クラスでは3.45%の絶対的な向上を達成している。
  論文  参考訳（メタデータ） (2022-10-06T17:59:56Z)
• Contrastive Learning for Prompt-Based Few-Shot Language Learners [14.244787327283335]
  異なる拡張された"ビュー"の下で同じクラスから入力をクラスタリングする対照的な学習フレームワークを提案する。 私たちは、異なる言語プロンプトとコンテキスト実証を付加することで、サンプルの異なる"ビュー"を作成します。 提案手法は15の言語タスクの多種多様なセットにおいて最先端の手法よりも改善できる。
  論文  参考訳（メタデータ） (2022-05-03T04:56:45Z)
• APP: Anytime Progressive Pruning [104.36308667437397]
  本稿では,特にオンライン学習の場合において,ニューラルネットワークをターゲット空間でトレーニングする方法を提案する。 提案手法は,複数のアーキテクチャやデータセットにまたがるベースライン密度とAnytime OSPモデルにおいて,短時間で適度かつ長時間のトレーニングにおいて,大幅に性能が向上する。
  論文  参考訳（メタデータ） (2022-04-04T16:38:55Z)
• A Simple Multi-Modality Transfer Learning Baseline for Sign Language Translation [54.29679610921429]
  既存の手話データセットには、約10K-20Kの手話ビデオ、グロスアノテーション、テキストが含まれています。 したがって、データは効果的な手話翻訳モデルの訓練のボトルネックとなる。 この単純なベースラインは、2つの手話翻訳ベンチマークで過去の最先端の結果を上回っている。
  論文  参考訳（メタデータ） (2022-03-08T18:59:56Z)
• Revisiting Contrastive Methods for Unsupervised Learning of Visual Representations [78.12377360145078]
  対照的な自己教師型学習は、セグメンテーションやオブジェクト検出といった多くの下流タスクにおいて教師付き事前訓練よりも優れています。 本稿では,データセットのバイアスが既存手法にどのように影響するかを最初に検討する。 現在のコントラストアプローチは、(i)オブジェクト中心対シーン中心、(ii)一様対ロングテール、(iii)一般対ドメイン固有データセットなど、驚くほどうまく機能することを示す。
  論文  参考訳（メタデータ） (2021-06-10T17:59:13Z)
• InfoXLM: An Information-Theoretic Framework for Cross-Lingual Language Model Pre-Training [135.12061144759517]
  本稿では,言語間言語モデルの事前学習を定式化する情報理論フレームワークを提案する。 コントラスト学習に基づく新しい事前学習課題を提案する。 単言語コーパスと並列コーパスの両方を活用することで、事前訓練されたモデルの言語間変換性を向上させるために、プレテキストを共同で訓練する。
  論文  参考訳（メタデータ） (2020-07-15T16:58:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。