論文の概要: Constrained Multi-Layer Contrastive Learning for Implicit Discourse Relationship Recognition

• arxiv url: http://arxiv.org/abs/2409.13716v1
• Date: Sat, 7 Sep 2024 17:55:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 05:46:28.412609
• Title: Constrained Multi-Layer Contrastive Learning for Implicit Discourse Relationship Recognition
• Title（参考訳）: 意図的談話関係認識のための制約付き多層コントラスト学習
• Authors: Yiheng Wu, Junhui Li, Muhua Zhu,
• Abstract要約: 我々は,教師付きコントラスト学習(CL)手法,ラベルとインスタンス中心のCLを適用し,表現学習を強化する。 PDTB 2.0 と PDTB 3.0 の実験結果から,本手法は多クラス分類とバイナリ分類の両方において,性能を著しく向上させることができることがわかった。
• 参考スコア（独自算出の注目度）: 9.644808110078833
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Previous approaches to the task of implicit discourse relation recognition (IDRR) generally view it as a classification task. Even with pre-trained language models, like BERT and RoBERTa, IDRR still relies on complicated neural networks with multiple intermediate layers to proper capture the interaction between two discourse units. As a result, the outputs of these intermediate layers may have different capability in discriminating instances of different classes. To this end, we propose to adapt a supervised contrastive learning (CL) method, label- and instance-centered CL, to enhance representation learning. Moreover, we propose a novel constrained multi-layer CL approach to properly impose a constraint that the contrastive loss of higher layers should be smaller than that of lower layers. Experimental results on PDTB 2.0 and PDTB 3.0 show that our approach can significantly improve the performance on both multi-class classification and binary classification.
• Abstract（参考訳）: 暗黙的談話関係認識(IDRR)の課題に対する従来のアプローチは、一般にそれを分類タスクとみなしている。 BERTやRoBERTaのような事前訓練された言語モデルであっても、IDRRは2つの談話ユニット間の相互作用を適切に捉えるために、複数の中間層を持つ複雑なニューラルネットワークに依存している。 その結果、これらの中間層の出力は、異なるクラスのインスタンスを識別する能力が異なる可能性がある。 そこで本研究では,教師付きコントラスト学習(CL)手法,ラベルとインスタンス中心のCLを適応させ,表現学習を強化することを提案する。 さらに,低層に比べて高層の相対損失が小さくなければならないという制約を適切に課すために,新しい制約付き多層CL手法を提案する。 PDTB 2.0 と PDTB 3.0 の実験結果から,本手法は多クラス分類とバイナリ分類の両方において,性能を著しく向上させることができることがわかった。

関連論文リスト

• Bayesian Learning-driven Prototypical Contrastive Loss for Class-Incremental Learning [42.14439854721613]
  本稿では,クラス増分学習シナリオに特化して,ベイズ学習駆動型コントラスト損失(BLCL)を持つプロトタイプネットワークを提案する。 提案手法は,ベイズ学習手法を用いて,クロスエントロピーとコントラスト損失関数のバランスを動的に適用する。
  論文  参考訳（メタデータ） (2024-05-17T19:49:02Z)
• RankCLIP: Ranking-Consistent Language-Image Pretraining [7.92247304974314]
  RANKCLIPは、CLIPの厳格な1対1マッチングフレームワークを超えて拡張される、新しい事前トレーニング手法である。 従来のペアワイズ損失をリストワイズに拡張することで、RANKCLIPはアライメントプロセスを改善し、各モダリティ内および各モダリティ間のニュアンス付き多対多の関係をキャプチャする。
  論文  参考訳（メタデータ） (2024-04-15T00:12:27Z)
• Progressive Multi-scale Consistent Network for Multi-class Fundus Lesion Segmentation [28.58972084293778]
  提案するプログレッシブ・フィーチャー・フュージョン(PFF)ブロックと動的アテンション・ブロック(DAB)を統合した,プログレッシブ・マルチスケール・一貫性ネットワーク(PMCNet)を提案する。 PFFブロックは、隣接するエンコーディング層からのマルチスケール機能を段階的に統合し、きめ細かい詳細と高レベルのセマンティクスを集約することで、各層の特徴学習を容易にする。 DABは、異なるスケールで融合した特徴から注意深い手がかりを動的に学習するように設計されているため、マルチスケール機能に存在する本質的な矛盾を円滑にすることを目的としている。
  論文  参考訳（メタデータ） (2022-05-31T12:10:01Z)
• A Multi-level Supervised Contrastive Learning Framework for Low-Resource Natural Language Inference [54.678516076366506]
  自然言語推論(NLI)は、自然言語理解において、ますます重要な課題である。 本稿では,低リソースな自然言語推論のためのマルチSCLという,マルチレベルの教師付きコントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-31T05:54:18Z)
• Fine-grained Temporal Contrastive Learning for Weakly-supervised Temporal Action Localization [87.47977407022492]
  本稿では,シーケンス・ツー・シーケンスの区別を文脈的に比較することで学習が,弱い教師付き行動の局所化に不可欠な帰納的バイアスをもたらすことを論じる。 微分可能な動的プログラミングの定式化の下では、FSD(Fen-fine Sequence Distance)とLCS(Longest Common Subsequence)の2つの相補的コントラストが設計されている。 提案手法は,2つのベンチマークにおいて最先端の性能を実現する。
  論文  参考訳（メタデータ） (2022-03-31T05:13:50Z)
• Dense Contrastive Visual-Linguistic Pretraining [53.61233531733243]
  画像とテキストを共同で表現するマルチモーダル表現学習手法が提案されている。 これらの手法は,大規模マルチモーダル事前学習から高レベルな意味情報を取得することにより,優れた性能を実現する。 そこで本稿では,非バイアスのDense Contrastive Visual-Linguistic Pretrainingを提案する。
  論文  参考訳（メタデータ） (2021-09-24T07:20:13Z)
• MCDAL: Maximum Classifier Discrepancy for Active Learning [74.73133545019877]
  近年の最先端のアクティブラーニング手法は, 主にGAN(Generative Adversarial Networks)をサンプル取得に活用している。 本稿では,MCDAL(Maximum Discrepancy for Active Learning)と呼ぶ新しいアクティブラーニングフレームワークを提案する。 特に,両者の差分を最大化することにより,より厳密な決定境界を学習する2つの補助的分類層を利用する。
  論文  参考訳（メタデータ） (2021-07-23T06:57:08Z)
• Deep Clustering by Semantic Contrastive Learning [67.28140787010447]
  Semantic Contrastive Learning (SCL) と呼ばれる新しい変種を紹介します。 従来のコントラスト学習とディープクラスタリングの両方の特徴を探求する。 コントラスト学習と深層クラスタリングの強みを統一的なアプローチで増幅することができる。
  論文  参考訳（メタデータ） (2021-03-03T20:20:48Z)
• Few-shot Action Recognition with Prototype-centered Attentive Learning [88.10852114988829]
  2つの新しい構成要素からなるプロトタイプ中心型注意学習(pal)モデル。 まず,従来のクエリ中心学習目標を補完するために,プロトタイプ中心のコントラスト学習損失を導入する。 第二に、PALは注意深いハイブリッド学習機構を統合しており、アウトレーヤの負の影響を最小限に抑えることができる。
  論文  参考訳（メタデータ） (2021-01-20T11:48:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。