論文の概要: Adapting Pretrained Language Models for Citation Classification via Self-Supervised Contrastive Learning

• arxiv url: http://arxiv.org/abs/2505.14471v1
• Date: Tue, 20 May 2025 15:05:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-21 14:49:53.452407
• Title: Adapting Pretrained Language Models for Citation Classification via Self-Supervised Contrastive Learning
• Title（参考訳）: 自己監督型コントラスト学習による引用分類のための事前学習型言語モデルの適用
• Authors: Tong Li, Jiachuan Wang, Yongqi Zhang, Shuangyin Li, Lei Chen,
• Abstract要約: サイテーション分類は学術的な分析に欠かせない。 先行研究は、引用分類に基づく微調整事前学習言語モデル(PLM)を示唆している。 我々はこれらの課題を克服するためにPLMに適応する新しいフレームワーク、Citssを提案する。
• 参考スコア（独自算出の注目度）: 13.725832389453911
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Citation classification, which identifies the intention behind academic citations, is pivotal for scholarly analysis. Previous works suggest fine-tuning pretrained language models (PLMs) on citation classification datasets, reaping the reward of the linguistic knowledge they gained during pretraining. However, directly fine-tuning for citation classification is challenging due to labeled data scarcity, contextual noise, and spurious keyphrase correlations. In this paper, we present a novel framework, Citss, that adapts the PLMs to overcome these challenges. Citss introduces self-supervised contrastive learning to alleviate data scarcity, and is equipped with two specialized strategies to obtain the contrastive pairs: sentence-level cropping, which enhances focus on target citations within long contexts, and keyphrase perturbation, which mitigates reliance on specific keyphrases. Compared with previous works that are only designed for encoder-based PLMs, Citss is carefully developed to be compatible with both encoder-based PLMs and decoder-based LLMs, to embrace the benefits of enlarged pretraining. Experiments with three benchmark datasets with both encoder-based PLMs and decoder-based LLMs demonstrate our superiority compared to the previous state of the art. Our code is available at: github.com/LITONG99/Citss
• Abstract（参考訳）: 学術的な引用の背後にある意図を識別する引用分類は、学術的な分析において重要である。 これまでの研究は、引用分類データセットに基づく微調整事前学習言語モデル(PLM)を示唆し、事前学習中に得られた言語知識の報酬を享受している。 しかし、引用分類を直接微調整することは、ラベル付きデータ不足、文脈ノイズ、および急激なキーフレーズ相関により困難である。 本稿では,これらの課題を克服するために PLM を適応させる新しいフレームワーク Citss を提案する。 Citssはデータ不足を軽減するために自己指導型コントラスト学習を導入し、コントラストペアを得るための2つの特別な戦略を備えている。 Citss はエンコーダベースの PLM とデコーダベースの LLM の両方と互換性を持ち、拡張事前学習の利点を受け入れるために、エンコーダベースの PLM とデコーダベースの LLM の両方と互換性を持つように慎重に開発されている。 エンコーダベースのPLMとデコーダベースのLSMの両方を用いた3つのベンチマークデータセットによる実験は、これまでの最先端技術と比較して、我々の優位性を示している。 私たちのコードは、github.com/LITONG99/Citssで利用可能です。

関連論文リスト

• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキスト上に既存のテキスト埋め込みモデルを微調整することで、優れた分類精度が得られることが判明した。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• Topic Modeling with Fine-tuning LLMs and Bag of Sentences [1.8592384822257952]
  FT-Topicはトピックモデリングのための教師なしの微調整手法である。 SenCluは1つのトピックに対する文群の高速な推測とハードな割り当てを実現する、最先端のトピックモデリング手法である。
  論文  参考訳（メタデータ） (2024-08-06T11:04:07Z)
• Reconsidering Degeneration of Token Embeddings with Definitions for Encoder-based Pre-trained Language Models [20.107727903240065]
  本研究では,エンコーダに基づく言語モデルのための等方的および意味論的トークン埋め込みを再構築するために,DefindEMBを提案する。 本実験は,Wiktionaryの定義を応用し,そのような埋め込みを再構築する効果を実証する。
  論文  参考訳（メタデータ） (2024-08-02T15:00:05Z)
• Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
  遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。 予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。 提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
  論文  参考訳（メタデータ） (2024-06-20T18:35:47Z)
• Data Alignment for Zero-Shot Concept Generation in Dermatology AI [0.6906005491572401]
  ゼロショット機能を提供するCLIPのようなファンデーションモデルは、この課題を軽減するのに役立つ。 CLIPは、ドメイン固有のイメージキャプチャペアを使用して微調整することで、分類性能を改善することができる。 私たちのゴールは、これらのモデルを使用して、臨床辞書とCLIPの事前学習データに使用される自然言語の両方に適合するキャプションテキストを生成することです。
  論文  参考訳（メタデータ） (2024-04-19T17:57:29Z)
• Pre-trained Language Models for Keyphrase Generation: A Thorough Empirical Study [76.52997424694767]
  事前学習言語モデルを用いて,キーフレーズ抽出とキーフレーズ生成の詳細な実験を行った。 PLMは、競争力のある高リソース性能と最先端の低リソース性能を持つことを示す。 さらに,領域内のBERTライクなPLMを用いて,強大かつデータ効率のよいキーフレーズ生成モデルを構築できることが示唆された。
  論文  参考訳（メタデータ） (2022-12-20T13:20:21Z)
• SLICER: Learning universal audio representations using low-resource self-supervised pre-training [53.06337011259031]
  ラベルなし音声データに事前学習エンコーダを組み込むための自己指導型学習手法を提案する。 我々の主な目的は、多種多様な音声および非音声タスクにまたがる一般化が可能な音声表現を学習することである。
  論文  参考訳（メタデータ） (2022-11-02T23:45:33Z)
• COCO-LM: Correcting and Contrasting Text Sequences for Language Model Pretraining [59.169836983883656]
  COCO-LMは、チャレンジングなエラーとテキストシーケンスの変換によって言語モデルを事前学習する新しい自己監視学習フレームワークです。 COCO-LMは、オリジナルのテキストシーケンスでマスク&予測トークンに補助言語モデルを採用しています。 分析の結果,coco-lmのアドバンテージは,困難なトレーニング信号,よりコンテキスト化されたトークン表現,正規化されたシーケンス表現であることがわかった。
  論文  参考訳（メタデータ） (2021-02-16T22:24:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。