論文の概要: GLS-CSC: A Simple but Effective Strategy to Mitigate Chinese STM Models'
Over-Reliance on Superficial Clue
- arxiv url: http://arxiv.org/abs/2309.04162v1
- Date: Fri, 8 Sep 2023 07:10:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-11 15:43:18.729107
- Title: GLS-CSC: A Simple but Effective Strategy to Mitigate Chinese STM Models'
Over-Reliance on Superficial Clue
- Title(参考訳): GLS-CSC:中国のSTMモデルの表面クレーンへの過度信頼を緩和する簡易かつ効果的な戦略
- Authors: Yanrui Du, Sendong Zhao, Yuhan Chen, Rai Bai, Jing Liu, Hua Wu,
Haifeng Wang, Bing Qin
- Abstract要約: STMモデルにおける表面的手がかりの影響を解析・緩和する。
本稿では,GLS-CSC (Superficial Clue) を含む学習サンプルをトレーニング戦略として提案する。
GLS-CSCは,中国のSTMモデルの堅牢性と一般化性の向上の観点から,既存の手法よりも優れていることを示す。
- 参考スコア(独自算出の注目度): 51.713301130055065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Pre-trained models have achieved success in Chinese Short Text Matching (STM)
tasks, but they often rely on superficial clues, leading to a lack of robust
predictions. To address this issue, it is crucial to analyze and mitigate the
influence of superficial clues on STM models. Our study aims to investigate
their over-reliance on the edit distance feature, commonly used to measure the
semantic similarity of Chinese text pairs, which can be considered a
superficial clue. To mitigate STM models' over-reliance on superficial clues,
we propose a novel resampling training strategy called Gradually Learn Samples
Containing Superficial Clue (GLS-CSC). Through comprehensive evaluations of
In-Domain (I.D.), Robustness (Rob.), and Out-Of-Domain (O.O.D.) test sets, we
demonstrate that GLS-CSC outperforms existing methods in terms of enhancing the
robustness and generalization of Chinese STM models. Moreover, we conduct a
detailed analysis of existing methods and reveal their commonality.
- Abstract(参考訳): 事前訓練されたモデルは中国のショートテキストマッチング(STM)タスクで成功したが、しばしば表面的な手がかりに依存しており、堅牢な予測が欠如している。
この問題に対処するためには,STMモデルにおける表面的手がかりの影響を分析し緩和することが重要である。
本研究は,中国語テキストペアの意味的類似性を測定するために一般的に用いられる編集距離特徴の過度な信頼度について検討することを目的としている。
本研究では,STMモデルの表面的手がかりへの過度依存を軽減するために,GLS-CSC (Gradually Learn Samples Containing Superficial Clue) と呼ばれる新しい再サンプリングトレーニング戦略を提案する。
In-Domain (I.D.), Robustness (Rob.), Out-Of-Domain (O.O.D.) テストセットの総合的な評価を通じて,GLS-CSCが中国のSTMモデルの堅牢性と一般化を向上する上で,既存の手法より優れていることを示す。
さらに,既存手法の詳細な分析を行い,その共通性を明らかにする。
関連論文リスト
- Improving Representation Learning for Histopathologic Images with
Cluster Constraints [31.426157660880673]
自己教師型学習(SSL)事前学習戦略が,現実的な代替手段として浮上している。
転送可能な表現学習と意味的に意味のあるクラスタリングのためのSSLフレームワークを導入する。
我々の手法は、下流の分類やクラスタリングタスクにおいて一般的なSSLメソッドよりも優れています。
論文 参考訳(メタデータ) (2023-10-18T21:20:44Z) - Simultaneous Machine Translation with Large Language Models [51.470478122113356]
我々は,SimulMTタスクに大規模言語モデルを適用する可能性を検討する。
MUST-Cデータセットと異なる9言語でtextttLlama2-7b-chatモデルを用いて実験を行った。
その結果,LLM は BLEU と LAAL の指標で専用MT モデルよりも優れていた。
論文 参考訳(メタデータ) (2023-09-13T04:06:47Z) - Adversarial Capsule Networks for Romanian Satire Detection and Sentiment
Analysis [0.13048920509133807]
サファイア検出と感情分析は、自然言語処理タスクを集中的に探求している。
研究資源が少ない言語では、文字レベルの逆数過程に基づく人工的な例を生成する方法がある。
本研究では, よく知られたNLPモデルの改良を行い, 対角訓練とカプセルネットワークについて検討する。
提案したフレームワークは2つのタスクの既存の手法より優れており、99.08%の精度が達成されている。
論文 参考訳(メタデータ) (2023-06-13T15:23:44Z) - Meta-learning an Intermediate Representation for Few-shot Block-wise
Prediction of Landslide Susceptibility [12.299036699550374]
現在の手法では, 対象地域全体に対する地すべり感受性マップ(LSM)の予測に, 単一の大域的モデルを適用するのが一般的である。
複雑な状況下では、各地域は異なる地すべり発生環境を有しており、したがって各モデルで個別に予測されるべきである。
我々はメタラーニングパラダイムによる中間表現を学習し、LSMタスクから情報を取り出すのに優れている。
論文 参考訳(メタデータ) (2021-10-03T05:40:50Z) - Exploration and Exploitation: Two Ways to Improve Chinese Spelling
Correction Models [51.744357472072416]
本稿では,モデルの弱点を継続的に識別し,より価値の高いトレーニングインスタンスを生成する手法を提案する。
実験結果から, 事前学習戦略と組み合わさって, 複数のCSCモデルの一般化とロバスト性を改善することができることがわかった。
論文 参考訳(メタデータ) (2021-05-31T09:17:33Z) - On Data-Augmentation and Consistency-Based Semi-Supervised Learning [77.57285768500225]
最近提案された整合性に基づく半教師付き学習(SSL)手法は,複数のSSLタスクにおいて最先端技術である。
これらの進歩にもかかわらず、これらの手法の理解はまだ比較的限られている。
論文 参考訳(メタデータ) (2021-01-18T10:12:31Z) - Revisiting LSTM Networks for Semi-Supervised Text Classification via
Mixed Objective Function [106.69643619725652]
我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。
いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
論文 参考訳(メタデータ) (2020-09-08T21:55:22Z) - Reparameterized Variational Divergence Minimization for Stable Imitation [57.06909373038396]
確率的発散の選択における変動が、より高性能なILOアルゴリズムをもたらす可能性について検討する。
本稿では,提案する$f$-divergence最小化フレームワークの課題を軽減するために,逆模倣学習のための再パラメータ化手法を提案する。
経験的に、我々の設計選択は、ベースラインアプローチより優れ、低次元連続制御タスクにおける専門家のパフォーマンスとより密に適合するIOOアルゴリズムを許容することを示した。
論文 参考訳(メタデータ) (2020-06-18T19:04:09Z) - ColdGANs: Taming Language GANs with Cautious Sampling Strategies [29.943949944682196]
GAN(Generative Adversarial Networks)は制約を緩和するが、テキストの離散性によって言語生成への応用が妨げられている。
古典的なサンプリングが不安定なトレーニングにどのように影響するかを示す。
我々は,サンプルを分散モードに近づけることで,よりスムーズな学習ダイナミックスを実現するGANフレームワークにおいて,代替的な探索戦略を検討することを提案する。
我々の知る限りでは、提案言語 GAN は MLE と好意的に比較され、3つの生成タスクにおける最先端技術の改善が得られた。
論文 参考訳(メタデータ) (2020-06-08T14:48:14Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。