論文の概要: Dictionary-Assisted Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2210.15172v1
• Date: Thu, 27 Oct 2022 04:57:43 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-28 12:50:46.276237
• Title: Dictionary-Assisted Supervised Contrastive Learning
• Title（参考訳）: 辞書による教師付きコントラスト学習
• Authors: Patrick Y. Wu, Richard Bonneau, Joshua A. Tucker, Jonathan Nagler
• Abstract要約: 本稿では,辞書支援型教師付きコントラスト学習(DASCL)の目的について紹介する。 共通の固定トークンは、関心の概念に関連する辞書(ies)に現れるコーパス内の任意の単語を置き換える。 DASCLとクロスエントロピーは、数ショットの学習設定と社会科学応用における分類性能指標を改善する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Text analysis in the social sciences often involves using specialized dictionaries to reason with abstract concepts, such as perceptions about the economy or abuse on social media. These dictionaries allow researchers to impart domain knowledge and note subtle usages of words relating to a concept(s) of interest. We introduce the dictionary-assisted supervised contrastive learning (DASCL) objective, allowing researchers to leverage specialized dictionaries when fine-tuning pretrained language models. The text is first keyword simplified: a common, fixed token replaces any word in the corpus that appears in the dictionary(ies) relevant to the concept of interest. During fine-tuning, a supervised contrastive objective draws closer the embeddings of the original and keyword-simplified texts of the same class while pushing further apart the embeddings of different classes. The keyword-simplified texts of the same class are more textually similar than their original text counterparts, which additionally draws the embeddings of the same class closer together. Combining DASCL and cross-entropy improves classification performance metrics in few-shot learning settings and social science applications compared to using cross-entropy alone and alternative contrastive and data augmentation methods.
• Abstract（参考訳）: 社会科学におけるテキスト分析は、しばしば、経済に関する認識やソーシャルメディアへの虐待といった抽象概念を推論するために専門辞書を使用する。 これらの辞書により、研究者はドメイン知識を付与し、興味のある概念に関連する単語の微妙な用法を注記することができる。 本稿では,辞書支援型教師付きコントラスト学習(DASCL)の目的について紹介する。 共通の固定トークンは、関心の概念に関連する辞書(ies)に現れるコーパス内の任意の単語を置き換える。 微調整の間、教師付きコントラスト目的は、異なるクラスの埋め込みをさらに分離しながら、同じクラスのオリジナルテキストとキーワードで単純化されたテキストの埋め込みをより近くに引き込む。 同じクラスのキーワードで単純化されたテキストは、元のテキストよりもテキスト的に類似しており、同時に同じクラスの埋め込みも近い。 dasclとcross-entropyの組み合わせは、クロスエントロピー単独と代替のコントラストとデータ拡張法と比較して、マイナショット学習設定と社会科学アプリケーションにおける分類パフォーマンスメトリクスを改善する。

関連論文リスト

• Constructing Vec-tionaries to Extract Message Features from Texts: A Case Study of Moral Appeals [5.336592570916432]
  本稿では,単語埋め込みによる検証辞書を向上するベクタリー測度ツールの構築手法を提案する。 vec-tionaryは、テキストの強みを超えてメッセージ機能のあいまいさを捉えるために、追加のメトリクスを生成することができる。
  論文  参考訳（メタデータ） (2023-12-10T20:37:29Z)
• Textual Entailment Recognition with Semantic Features from Empirical Text Representation [60.31047947815282]
  テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。 本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。 本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
  論文  参考訳（メタデータ） (2022-10-18T10:03:51Z)
• DetCLIP: Dictionary-Enriched Visual-Concept Paralleled Pre-training for Open-world Detection [118.36746273425354]
  本稿では,デザインされた概念辞書から知識の豊かさを生かして,オープンワールド検出のための並列視覚概念事前学習手法を提案する。 概念をそれらの記述で豊かにすることにより、オープンドメイン学習を促進するために、さまざまな概念間の関係を明確に構築する。 提案フレームワークは、例えばLVISデータセット上で、強力なゼロショット検出性能を示し、私たちのDetCLIP-TはGLIP-Tを9.9%向上させ、レアカテゴリで13.5%改善した。
  論文  参考訳（メタデータ） (2022-09-20T02:01:01Z)
• CODER: Coupled Diversity-Sensitive Momentum Contrastive Learning for Image-Text Retrieval [108.48540976175457]
  クロスモーダル表現を改善するために,共用ダイバーシティ・センシティブ・モーメント・コンストラシティブ・ラーニング(CODER)を提案する。 両モードの動的辞書を導入し、画像テキストペアのスケールを拡大し、適応的な負のペア重み付けにより多様性に敏感性を実現する。 MSCOCOとFlicker30Kという2つの人気のあるベンチマークで実施された実験は、CODERが最先端のアプローチを著しく上回っていることを証明している。
  論文  参考訳（メタデータ） (2022-08-21T08:37:50Z)
• Keywords and Instances: A Hierarchical Contrastive Learning Framework Unifying Hybrid Granularities for Text Generation [59.01297461453444]
  入力テキスト中のハイブリッドな粒度意味を統一する階層的コントラスト学習機構を提案する。 実験により,本モデルがパラフレージング,対話生成,ストーリーテリングタスクにおいて,競争ベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2022-05-26T13:26:03Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Understanding Synonymous Referring Expressions via Contrastive Features [105.36814858748285]
  画像とオブジェクトインスタンスレベルでのコントラスト機能を学ぶためのエンドツーエンドのトレーニング可能なフレームワークを開発しています。 提案アルゴリズムをいくつかのベンチマークデータセットで評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2021-04-20T17:56:24Z)
• EDS-MEMBED: Multi-sense embeddings based on enhanced distributional semantic structures via a graph walk over word senses [0.0]
  WordNetの豊富なセマンティック構造を活用して、マルチセンス埋め込みの品質を高めます。 M-SEの新たな分布意味類似度測定法を先行して導出する。 WSDとWordの類似度タスクを含む11のベンチマークデータセットの評価結果を報告します。
  論文  参考訳（メタデータ） (2021-02-27T14:36:55Z)
• Enhanced word embeddings using multi-semantic representation through lexical chains [1.8199326045904998]
  フレキシブル・レキシカル・チェーンIIと固定レキシカル・チェーンIIという2つの新しいアルゴリズムを提案する。 これらのアルゴリズムは、語彙連鎖から派生した意味関係、語彙データベースからの以前の知識、および単一のシステムを形成するビルディングブロックとしての単語埋め込みにおける分布仮説の堅牢性を組み合わせている。 その結果、語彙チェーンと単語埋め込み表現の統合は、より複雑なシステムに対しても、最先端の結果を維持します。
  論文  参考訳（メタデータ） (2021-01-22T09:43:33Z)
• On the Learnability of Concepts: With Applications to Comparing Word Embedding Algorithms [0.0]
  セマンティックコンテンツを共有した単語の一覧として「概念」の概念を導入する。 まず、この概念を用いて、事前訓練された単語埋め込みにおける概念の学習可能性を測定する。 そこで我々は,様々な埋め込みアルゴリズムの相対的メリットを比較するために,仮説テストとROC曲線に基づく概念学習可能性の統計的解析を開発した。
  論文  参考訳（メタデータ） (2020-06-17T14:25:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。