論文の概要: Intermediate-Task Transfer Learning: Leveraging Sarcasm Detection for Stance Detection

• arxiv url: http://arxiv.org/abs/2503.03172v1
• Date: Wed, 05 Mar 2025 04:30:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:53:43.584399
• Title: Intermediate-Task Transfer Learning: Leveraging Sarcasm Detection for Stance Detection
• Title（参考訳）: 中間タスク間伝達学習:ステンス検出のためのサルカスム検出の活用
• Authors: Gibson Nkhata, Susan Gauch,
• Abstract要約: ソーシャルメディア上のスタンス検出は、社会的ビジネスや政治的応用に影響を及ぼす顕著な関心領域として浮上している。 サーカディック言語とフィギュラティブ言語が組み込まれていることは、SDモデルの性能に大きな影響を及ぼす。 本論文は,SDに適したSarcasm Detection Inter-task Transfer Learningを用いてこの問題に対処する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Stance Detection (SD) on social media has emerged as a prominent area of interest with implications for social business and political applications thereby garnering escalating research attention within NLP. The inherent subtlety and complexity of texts procured from online platforms pose challenges for SD algorithms in accurately discerning the authors stance. Mostly the inclusion of sarcastic and figurative language drastically impacts the performance of SD models. This paper addresses this by employing sarcasm detection intermediate-task transfer learning tailored for SD. The proposed methodology involves the finetuning of BERT and RoBERTa and the concatenation of convolutional BiLSTM and dense layers. Rigorous experiments are conducted on publicly available datasets to evaluate our transfer-learning framework. The performance of the approach is assessed against various State-Of-The-Art baselines for SD providing empirical evidence of its effectiveness. Notably our model outperforms the best SOTA models even prior to sarcasm-detection pretraining. The integration of sarcasm knowledge into the model proves instrumental in mitigating misclassifications of sarcastic textual elements in SD. Our model accurately predicts 85% of texts that were previously misclassified by the model without sarcasm-detection pretraining thereby amplifying the average F1-score of the model. Our experiments also revealed that the success of the transfer-learning framework is contingent upon the correlation of lexical attributes between the intermediate task and the target task. This study represents the first exploration of sarcasm detection as an intermediate transfer-learning task in the context of SD and simultaneously uses the concatenation of BERT or RoBERTa with other deep-learning techniques establishing the proposed approach as a foundational baseline for future research endeavors in this domain.
• Abstract（参考訳）: ソーシャルメディア上でのスタンス検出(SD)は、社会的ビジネスや政治的応用に影響を及ぼす重要な分野として現れており、NLP内の研究の注目を集めている。 オンラインプラットフォームから得られたテキストの本質的な微妙さと複雑さは、著者のスタンスを正確に識別する上で、SDアルゴリズムの課題を引き起こしている。 サーカディック言語とフィギュラティブ言語が組み込まれていることは、SDモデルの性能に大きな影響を及ぼす。 本論文は,SDに適したSarcasm Detection Inter-task Transfer Learningを用いてこの問題に対処する。 提案手法は、BERTとRoBERTaの微調整と、畳み込みBiLSTMと高密度層との結合を含む。 移動学習フレームワークを評価するために、公開データセット上で厳密な実験を行う。 本手法の有効性を実証的証拠として, SD の様々な State-Of-The-Art ベースラインに対して評価した。 我々のモデルは、サルカズム検出事前学習の前でさえ、最高のSOTAモデルより優れています。 sarcasmの知識をモデルに統合することは、SDにおけるsarcasticのテキスト要素の誤分類を緩和するのに役立つ。 本モデルでは, 従来, 肉腫検出事前学習を行わずに誤分類されていたテキストの85%を精度良く予測し, 平均F1スコアを増幅する。 また,中間課題と対象課題との語彙的属性の相関関係から,移動学習フレームワークの成功が示唆された。 本研究は,Sarcasm検出をSDにおける中間的伝達学習タスクとして初めて探求し,BERTやRoBERTaの連携と,本領域における今後の研究活動の基盤となるアプローチを確立するための深層学習技術とを併用したものである。

関連論文リスト

• Semantic Consistency Regularization with Large Language Models for Semi-supervised Sentiment Analysis [20.503153899462323]
  本稿では,半教師付き感情分析のためのフレームワークを提案する。 テキストを意味的に拡張する2つのプロンプト戦略を導入する。 実験により,従来の半教師付き手法よりも優れた性能が得られた。
  論文  参考訳（メタデータ） (2025-01-29T12:03:11Z)
• High-Performance Few-Shot Segmentation with Foundation Models: An Empirical Study [64.06777376676513]
  基礎モデルに基づく数ショットセグメンテーション(FSS)フレームワークを開発した。 具体的には、基礎モデルから暗黙的な知識を抽出し、粗い対応を構築するための簡単なアプローチを提案する。 2つの広く使われているデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2024-09-10T08:04:11Z)
• Embedding And Clustering Your Data Can Improve Contrastive Pretraining [0.0]
  我々は、事前訓練されたテキスト埋め込みモデルと古典的なk-meansクラスタリングアルゴリズムを活用することにより、ソースの粒度を超えてトレーニングデータ層を拡大することを検討する。 MSMARCOトランジッション検索データセットからBERTベースのテキスト埋め込みモデルをクエリパスペア上で事前学習する場合,NDCG@10の顕著な増加が観察された。
  論文  参考訳（メタデータ） (2024-07-26T17:36:40Z)
• Downstream-Pretext Domain Knowledge Traceback for Active Learning [138.02530777915362]
  本稿では、下流知識と事前学習指導のデータ相互作用をトレースするダウンストリーム・プレテキスト・ドメイン知識トレース(DOKT)手法を提案する。 DOKTは、トレースバックの多様性指標とドメインベースの不確実性推定器から構成される。 10のデータセットで行った実験は、我々のモデルが他の最先端の手法よりも優れていることを示している。
  論文  参考訳（メタデータ） (2024-07-20T01:34:13Z)
• Uncovering the Handwritten Text in the Margins: End-to-end Handwritten Text Detection and Recognition [0.840835093659811]
  本研究は,手書きペラリアの自動検出と認識のためのエンドツーエンドフレームワークを提案する。 データ拡張と転送学習を使用して、トレーニングデータの不足を克服する。 このフレームワークの有効性はスウェーデンのウプサラ大学図書館で発見された初期の書籍コレクションのデータから実証的に評価されている。
  論文  参考訳（メタデータ） (2023-03-10T14:00:53Z)
• Cross-Modal Fine-Tuning: Align then Refine [83.37294254884446]
  ORCAはクロスモーダルな微調整フレームワークであり、単一の大規模事前訓練モデルの適用範囲を様々に拡張する。 ORCAは12のモダリティから60以上のデータセットを含む3つのベンチマークで最先端の結果を得る。
  論文  参考訳（メタデータ） (2023-02-11T16:32:28Z)
• Benchmark for Uncertainty & Robustness in Self-Supervised Learning [0.0]
  セルフ・スーパーバイザード・ラーニングは現実世界のアプリケーション、特に医療や自動運転車のようなデータ・ハングリーな分野に不可欠である。 本稿では Jigsaw Puzzles, Context, Rotation, Geometric Transformations Prediction for vision や BERT や GPT for Language Task など,SSL メソッドの変種について検討する。 我々のゴールは、実験から出力されたベンチマークを作成し、信頼性のある機械学習で新しいSSLメソッドの出発点を提供することです。
  論文  参考訳（メタデータ） (2022-12-23T15:46:23Z)
• An Explanation of In-context Learning as Implicit Bayesian Inference [117.19809377740188]
  In-context Learning の出現における事前学習分布の役割について検討した。 本研究では,潜在概念のベイズ的推論を通じて,文脈内学習が暗黙的に起こることを証明した。 我々は,事前学習損失が同じであっても,スケーリングモデルのサイズがコンテキスト内精度を向上させることを実証的に見出した。
  論文  参考訳（メタデータ） (2021-11-03T09:12:33Z)
• Trash to Treasure: Harvesting OOD Data with Cross-Modal Matching for Open-Set Semi-Supervised Learning [101.28281124670647]
  オープンセット半教師付き学習(Open-set SSL)では、ラベルなしデータにOOD(Out-of-distribution)サンプルを含む、難しいが実用的なシナリオを調査する。 我々は、OODデータの存在を効果的に活用し、特徴学習を増強する新しいトレーニングメカニズムを提案する。 我々のアプローチは、オープンセットSSLのパフォーマンスを大幅に向上させ、最先端技術よりも大きなマージンで性能を向上します。
  論文  参考訳（メタデータ） (2021-08-12T09:14:44Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。