論文の概要: Contradiction Detection in Persian Text

• arxiv url: http://arxiv.org/abs/2107.01987v1
• Date: Mon, 5 Jul 2021 12:51:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-06 15:03:08.487014
• Title: Contradiction Detection in Persian Text
• Title（参考訳）: ペルシア語テキストにおける矛盾検出
• Authors: Zeinab Rahimi and Mehrnoush ShamsFard
• Abstract要約: 本研究は、対立や反逆など、異なるタイプの意味的対立を含む。 ペルシャ語のテキストに対するバートベースの深い矛盾検出システムとともに、意味矛盾を識別する新しいルールベースシステムが導入されている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Detection of semantic contradictory sentences is one of the most challenging and fundamental issues for NLP applications such as recognition of textual entailments. Contradiction in this study includes different types of semantic confrontation, such as conflict and antonymy. Due to lack of sufficient data to apply precise machine learning and specifically deep learning methods to Persian and other low resource languages, rule-based approaches that can function similarly to these systems will be of a great interest. Also recently, emergence of new methods such as transfer learning, has opened up the possibility of deep learning for low-resource languages. Considering two above points, in this study, along with a simple rule-base baseline, a novel rule-base system for identifying semantic contradiction along with a Bert base deep contradiction detection system for Persian texts have been introduced. The rule base system has used frequent rule mining method to extract appropriate contradiction rules using a development set. Extracted rules are tested for different categories of contradictory sentences. In this system the maximum f-measure among contradiction categories is obtained for negation about 90% and the average F-measure of system for all classes is about 76% which outperforms other algorithms on Persian texts. On the other hand, because of medium performance of rule base system for some categories of contradiction, we use a Bert base deep learning system using our translated dataset; with average F-measure of 73. Our hybrid system has f-measure of about 80.
• Abstract（参考訳）: 意味的矛盾文の検出は、テキスト・エンターメントの認識など、NLPアプリケーションにとって最も困難で基本的な問題の一つである。 本研究の対比には、対立や反逆など、異なるタイプの意味的対立が含まれる。 正確な機械学習と特にディープラーニングの手法をペルシャや他の低リソース言語に適用するための十分なデータが不足しているため、これらのシステムと同じような機能を持つルールベースのアプローチは大きな関心事となるだろう。 また、近年、トランスファーラーニングなどの新しい手法が出現し、低リソース言語におけるディープラーニングの可能性が高まっている。 以上の2点を考慮し,単純なルールベースベースベースとともに,ペルシア語のテキストに対するbertベースの深い矛盾検出システムとともに,意味的矛盾を識別する新しいルールベースシステムを導入した。 ルールベースシステムは、頻繁なルールマイニング手法を用いて、開発セットを用いて適切な矛盾ルールを抽出する。 抽出された規則は、矛盾する文の異なるカテゴリでテストされる。 このシステムでは、矛盾するカテゴリ間の最大f-測定値が約90%で、全てのクラスにおけるシステムの平均f-測定値は約76%であり、ペルシャのテキストで他のアルゴリズムよりも優れている。 一方で、いくつかの矛盾のカテゴリに対するルールベースシステムの中間性能のため、翻訳データセットを用いたbertベースディープラーニングシステムを用いて、平均f-測定値は73。 我々のハイブリッドシステムはF値が約80である。

関連論文リスト

• Learning with Complementary Labels Revisited: The Selected-Completely-at-Random Setting Is More Practical [66.57396042747706]
  補完ラベル学習は、弱教師付き学習問題である。 均一分布仮定に依存しない一貫したアプローチを提案する。 相補的なラベル学習は、負のラベル付きバイナリ分類問題の集合として表現できる。
  論文  参考訳（メタデータ） (2023-11-27T02:59:17Z)
• DebCSE: Rethinking Unsupervised Contrastive Sentence Embedding Learning in the Debiasing Perspective [1.351603931922027]
  様々なバイアスの影響を効果的に排除することは、高品質な文の埋め込みを学習するために重要であると論じる。 本稿では,これらのバイアスの影響を排除できる文埋め込みフレームワークDebCSEを提案する。
  論文  参考訳（メタデータ） (2023-09-14T02:43:34Z)
• RankCSE: Unsupervised Sentence Representations Learning via Learning to Rank [54.854714257687334]
  本稿では,教師なし文表現学習のための新しい手法であるRangCSEを提案する。 コントラスト学習を伴うランキング一貫性とランキング蒸留を統一された枠組みに組み込む。 セマンティックテキスト類似性(STS)と転送タスク(TR)の両方について、広範な実験が実施されている。
  論文  参考訳（メタデータ） (2023-05-26T08:27:07Z)
• Textual Entailment Recognition with Semantic Features from Empirical Text Representation [60.31047947815282]
  テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。 本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。 本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
  論文  参考訳（メタデータ） (2022-10-18T10:03:51Z)
• Contextualized Semantic Distance between Highly Overlapped Texts [85.1541170468617]
  テキスト編集や意味的類似性評価といった自然言語処理タスクにおいて、ペア化されたテキストに重複が頻繁に発生する。 本稿では,マスク・アンド・予測戦略を用いてこの問題に対処することを目的とする。 本稿では,最も長い単語列の単語を隣接する単語とみなし,その位置の分布を予測するためにマスク付き言語モデリング(MLM)を用いる。 セマンティックテキスト類似性の実験では、NDDは様々な意味的差異、特に高い重なり合うペアテキストに対してより敏感であることが示されている。
  論文  参考訳（メタデータ） (2021-10-04T03:59:15Z)
• Toward the Understanding of Deep Text Matching Models for Information Retrieval [72.72380690535766]
  本稿では,既存の深層テキストマッチング手法が情報検索の基本的な勾配を満たすかどうかを検証することを目的とする。 具体的には, 項周波数制約, 項識別制約, 長さ正規化制約, TF長制約の4つの属性を用いる。 LETOR 4.0 と MS Marco の実験結果から,研究対象の深層テキストマッチング手法はすべて,統計学において高い確率で上記の制約を満たすことが示された。
  論文  参考訳（メタデータ） (2021-08-16T13:33:15Z)
• On Extending NLP Techniques from the Categorical to the Latent Space: KL Divergence, Zipf's Law, and Similarity Search [13.039919885862798]
  単語埋め込みを用いて,エントロピーとKulback-Leiblerの発散を効率的に推定できることを示す。 次に、分類空間から潜在空間へ頻繁に観測されるZipfの法則として知られる重み付き分布をリキャストする。 最後に, 類似文を識別する新しい手法を導入することにより, 文章提案のためのジャカード類似度尺度の改善を図る。
  論文  参考訳（メタデータ） (2020-12-02T17:35:49Z)
• Predicting the Humorousness of Tweets Using Gaussian Process Preference Learning [56.18809963342249]
  本稿では,人間の嗜好判断と言語アノテーションの自動生成を利用して,短文のユーモラスさのランク付けと評価を学習する確率論的アプローチを提案する。 本研究は, HAHA@IberLEF 2019データにおける数値スコアの変換と, 提案手法に必要な判定アノテーションの相互変換から生じる問題点について報告する。
  論文  参考訳（メタデータ） (2020-08-03T13:05:42Z)
• Research on multi-dimensional end-to-end phrase recognition algorithm based on background knowledge [4.020059842004492]
  CPWDデータセットの実験では、背景知識を導入することにより、エンドツーエンドの手法の精度を1ポイント以上向上する。 この手法はCCL 2018の競技に応用され、中国のユーモア型認識において第一位を獲得した。
  論文  参考訳（メタデータ） (2020-07-08T02:30:00Z)
• Research on Annotation Rules and Recognition Algorithm Based on Phrase Window [4.334276223622026]
  フレーズウィンドウに基づくラベリングルールを提案し,それに対応するフレーズ認識アルゴリズムを設計する。 ラベル付けルールでは、フレーズを最小単位とし、文を7種類のネスト可能なフレーズタイプに分割し、フレーズ間の文法的依存関係を示す。 対応するアルゴリズムは、画像中の対象領域を識別するアイデアに基づいて、文中の様々なフレーズの開始位置と終了位置を見つけることができる。
  論文  参考訳（メタデータ） (2020-07-07T00:19:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。