論文の概要: Enhancing Plagiarism Detection in Marathi with a Weighted Ensemble of TF-IDF and BERT Embeddings for Low-Resource Language Processing

• arxiv url: http://arxiv.org/abs/2501.05260v1
• Date: Thu, 09 Jan 2025 14:14:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-10 14:00:55.190737
• Title: Enhancing Plagiarism Detection in Marathi with a Weighted Ensemble of TF-IDF and BERT Embeddings for Low-Resource Language Processing
• Title（参考訳）: 低リソース言語処理のためのTF-IDFおよびBERT埋め込みの軽量化によるマラタイにおけるプラジャリズム検出の強化
• Authors: Atharva Mutsaddi, Aditya Choudhary,
• Abstract要約: 低リソース言語に適した堅牢な盗作検知システムを設計することが重要である。 本稿では,マラタイ文字の盗作検出精度を高める手法を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Plagiarism involves using another person's work or concepts without proper attribution, presenting them as original creations. With the growing amount of data communicated in regional languages such as Marathi -- one of India's regional languages -- it is crucial to design robust plagiarism detection systems tailored for low-resource languages. Language models like Bidirectional Encoder Representations from Transformers (BERT) have demonstrated exceptional capability in text representation and feature extraction, making them essential tools for semantic analysis and plagiarism detection. However, the application of BERT for low-resource languages remains under-explored, particularly in the context of plagiarism detection. This paper presents a method to enhance the accuracy of plagiarism detection for Marathi texts using BERT sentence embeddings in conjunction with Term Frequency-Inverse Document Frequency (TF-IDF) feature representation. This approach effectively captures statistical, semantic, and syntactic aspects of text features through a weighted voting ensemble of machine learning models.
• Abstract（参考訳）: プラジャリズムは、他人の作品や概念を適切な帰属なしに使用し、それらをオリジナルな創造物として提示する。 インドの地域言語のひとつであるマラティなどの地域言語で通信されるデータ量の増加に伴い、低リソース言語に適した堅牢な盗作検知システムを設計することが不可欠である。 Bidirectional Encoder Representations from Transformers (BERT)のような言語モデルは、テキスト表現や特徴抽出において例外的な能力を示しており、セマンティック分析や盗作検出に欠かせないツールとなっている。 しかし、低リソース言語へのBERTの適用は、特に盗作検出の文脈において、未調査のままである。 本稿では,BERT文の埋め込みとTF-IDF特徴表現の併用によるマラタイ文字の盗聴検出精度を向上させる手法を提案する。 このアプローチは、機械学習モデルの重み付けされた投票アンサンブルを通じて、テキスト特徴の統計的、意味的、および構文的側面を効果的にキャプチャする。

関連論文リスト

• Detecting Document-level Paraphrased Machine Generated Content: Mimicking Human Writing Style and Involving Discourse Features [57.34477506004105]
  機械生成コンテンツは、学術プラジャリズムや誤報の拡散といった課題を提起する。 これらの課題を克服するために、新しい方法論とデータセットを導入します。 人間の筆記スタイルをエミュレートするエンコーダデコーダモデルであるMhBARTを提案する。 また,PDTB前処理による談話解析を統合し,構造的特徴を符号化するモデルであるDTransformerを提案する。
  論文  参考訳（メタデータ） (2024-12-17T08:47:41Z)
• MMCFND: Multimodal Multilingual Caption-aware Fake News Detection for Low-resource Indic Languages [0.4062349563818079]
  Indic Fake News Detection (MMIFND) のためのマルチモーダル多言語データセットを提案する。 この厳密にキュレートされたデータセットは、ヒンディー語、ベンガル語、マラタイ語、マラヤラム語、タミル語、グジャラート語、パンジャービ語にまたがる28,085のインスタンスで構成されている。 フェイクニュース検出(MMCFND)のためのマルチモーダルキャプション対応フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-14T11:59:33Z)
• Chain-of-Translation Prompting (CoTR): A Novel Prompting Technique for Low Resource Languages [0.4499833362998489]
  Chain of Translation Prompting (CoTR)は、低リソース言語における言語モデルの性能を高めるために設計された新しい戦略である。 CoTR再構成は、まず入力コンテキストを低リソース言語から高リソース言語に翻訳する。 本稿では,この手法の有効性を低リソースのインディア言語であるMarathiのケーススタディを通じて実証する。
  論文  参考訳（メタデータ） (2024-09-06T17:15:17Z)
• BERT-Enhanced Retrieval Tool for Homework Plagiarism Detection System [0.0]
  GPT-3.5をベースとして,32,927対のテキストプラギアリズム検出データセットを生成する,プラギアライズされたテキストデータ生成手法を提案する。 また,BERT を用いた Faiss に基づく盗作識別手法を提案する。 このモデルの性能は, 98.86%, 98.90%, 98.86%, 0.9888, 精度, 精度, リコール, F1スコアなど, 様々な指標において他のモデルよりも優れていた。
  論文  参考訳（メタデータ） (2024-04-01T12:20:34Z)
• Paraphrase Identification with Deep Learning: A Review of Datasets and Methods [1.4325734372991794]
  一般的なデータセットにおける特定のパラフレーズ型の表現不足が,盗作を検知する能力にどのように影響するかを検討する。 パラフレーズのための新しいタイポロジーを導入し、検証する。 我々は、AIに基づくパラフレーズ検出を強化するために、将来の研究とデータセット開発のための新しい方向を提案する。
  論文  参考訳（メタデータ） (2022-12-13T23:06:20Z)
• Multilingual Extraction and Categorization of Lexical Collocations with Graph-aware Transformers [86.64972552583941]
  我々は,グラフ対応トランスフォーマアーキテクチャにより拡張されたBERTに基づくシーケンスタグ付けモデルを提案し,コンテキストにおけるコロケーション認識の課題について評価した。 以上の結果から, モデルアーキテクチャにおける構文的依存関係を明示的に符号化することは有用であり, 英語, スペイン語, フランス語におけるコロケーションのタイプ化の差異について考察する。
  論文  参考訳（メタデータ） (2022-05-23T16:47:37Z)
• Detecting Text Formality: A Study of Text Classification Approaches [78.11745751651708]
  本研究は,統計的,ニューラルベース,トランスフォーマーベースの機械学習手法に基づく形式性検出手法の体系的研究を初めて行う。 単言語,多言語,言語横断の3種類の実験を行った。 本研究は,モノリンガルおよび多言語形式分類タスクのためのトランスフォーマーベースモデルに対するChar BiLSTMモデルの克服を示す。
  論文  参考訳（メタデータ） (2022-04-19T16:23:07Z)
• A Simple and Efficient Probabilistic Language model for Code-Mixed Text [0.0]
  コード混合テキストに対する効率的な単語埋め込みを構築するための単純な確率的アプローチを提案する。 双方向LSTMとSVMを用いた分類作業の有効性を検討した。
  論文  参考訳（メタデータ） (2021-06-29T05:37:57Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• Intrinsic Probing through Dimension Selection [69.52439198455438]
  現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。 このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。 本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
  論文  参考訳（メタデータ） (2020-10-06T15:21:08Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。