論文の概要: A Comprehensive Framework for Semantic Similarity Detection Using Transformer Architectures and Enhanced Ensemble Techniques

• arxiv url: http://arxiv.org/abs/2501.14288v1
• Date: Fri, 24 Jan 2025 07:07:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-27 14:58:26.481253
• Title: A Comprehensive Framework for Semantic Similarity Detection Using Transformer Architectures and Enhanced Ensemble Techniques
• Title（参考訳）: トランスフォーマアーキテクチャと拡張アンサンブル技術を用いた意味的類似性検出のための総合的フレームワーク
• Authors: Lifu Gao, Qi Zhang, Ziwei Liu,
• Abstract要約: 本稿では,これらの問題を解決するために,ドメイン適応とデータ拡張を用いた教師学生モデルを提案する。 DeBERTa-v3-largeとMamba-790mを組み合わせた教師モデルは、ドメイン固有の微調整を通じて意味知識を学ぶ。 学生モデルは、短文テキストをより効率的に処理する。
• 参考スコア（独自算出の注目度）: 40.704014941800594
• License:
• Abstract: Detecting AI-generated text, especially in short-context documents, is difficult because there is not enough context for accurate classification. This paper presents a new teacher-student model that uses domain adaptation and data augmentation to solve these problems. The teacher model, which combines DeBERTa-v3-large and Mamba-790m, learns semantic knowledge through domain-specific fine-tuning. The student model handles short-context text more efficiently. The system uses a Mean Squared Error (MSE) loss function to guide the student's learning, improving both accuracy and efficiency. Also, data augmentation methods like spelling correction and error injection make the model more robust. Experimental results show that this approach works better than baseline methods, proving its usefulness for real-time AI-generated text detection and other text classification tasks.
• Abstract（参考訳）: AI生成テキストの検出は、特に短文文書では、正確な分類に十分なコンテキストがないため困難である。 本稿では,これらの問題を解決するために,ドメイン適応とデータ拡張を用いた教師学生モデルを提案する。 DeBERTa-v3-largeとMamba-790mを組み合わせた教師モデルは、ドメイン固有の微調整を通じて意味知識を学ぶ。 学生モデルは、短文テキストをより効率的に処理する。 このシステムは、平均二乗誤差(MSE)損失関数を使用して、生徒の学習をガイドし、精度と効率の両方を改善する。 また、スペル補正やエラーインジェクションのようなデータ拡張手法により、モデルはより堅牢になる。 実験の結果,本手法はベースライン法よりも有効であり,リアルタイムなAI生成テキスト検出やテキスト分類タスクに有用であることが示された。

関連論文リスト

• DeTeCtive: Detecting AI-generated Text via Multi-Level Contrastive Learning [24.99797253885887]
  このタスクを達成するための鍵は、異なる著者のスタイルを区別することにある、と我々は主張する。 DeTeCtiveは,マルチタスクの補助的,マルチレベルのコントラスト学習フレームワークである。 我々の手法はテキストエンコーダと互換性がある。
  論文  参考訳（メタデータ） (2024-10-28T12:34:49Z)
• Communication Efficient and Provable Federated Unlearning [43.178460522012934]
  我々は、フェデレーション・アンラーニング(フェデレーション・アンラーニング)という、特定のクライアントやデータポイントが、フェデレーション・ラーニング(FL)を通じて学習したグローバルモデルに与える影響をなくすための新しい問題について研究する。 この問題は、忘れられる権利とFLのプライバシー問題によって引き起こされる。 我々は,テキストコミュニケーション効率とテキストテキサクト・アンラーニング性という2つの重要な基準を満たす,正確な非ラーニングのための新しいフレームワークを導入する。
  論文  参考訳（メタデータ） (2024-01-19T20:35:02Z)
• Incremental Online Learning Algorithms Comparison for Gesture and Visual Smart Sensors [68.8204255655161]
  本稿では,加速度センサデータに基づくジェスチャー認識と画像分類の2つの実例として,最先端の4つのアルゴリズムを比較した。 以上の結果から,これらのシステムの信頼性と小型メモリMCUへのデプロイの可能性が確認された。
  論文  参考訳（メタデータ） (2022-09-01T17:05:20Z)
• Automatic tagging of knowledge points for K12 math problems [3.703920945313331]
  数学問題に対する知識点の自動タグ付けに関する研究はほとんどない。 数学のテキストは一般的なテキストよりも複雑な構造と意味を持っている。 このモデルは、一般的なドメインにおけるテキスト分類技術と、数学テキストのユニークな特徴を組み合わせたものである。
  論文  参考訳（メタデータ） (2022-08-21T11:11:30Z)
• Adapting the Mean Teacher for keypoint-based lung registration under geometric domain shifts [75.51482952586773]
  ディープニューラルネットワークは一般的に、ラベル付きトレーニングデータが多く必要であり、トレーニングデータとテストデータの間のドメインシフトに弱い。 本稿では,ラベル付きソースからラベル付きターゲットドメインへのモデルの適用により,画像登録のための幾何学的領域適応手法を提案する。 本手法は,ベースラインモデルの精度を目標データに適合させながら,ベースラインモデルの50%/47%を継続的に改善する。
  論文  参考訳（メタデータ） (2022-07-01T12:16:42Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• Automatic Short Math Answer Grading via In-context Meta-learning [2.0263791972068628]
  本研究では,数学質問に対する児童生徒の回答に対する自動短解格付けの問題について検討する。 我々は、数学的な内容に適応した人気のある言語モデルBERTの変種である MathBERT をベースモデルとして使用しています。 第二に、言語モデルへの入力としてスコアリングサンプルを提供する、コンテキスト内学習アプローチを用いる。
  論文  参考訳（メタデータ） (2022-05-30T16:26:02Z)
• Evaluating BERT-based Pre-training Language Models for Detecting Misinformation [2.1915057426589746]
  オンラインに投稿された全ての情報に対する監督が欠如しているため、オンライン情報の質を制御することは困難である。 誤報の拡散による悪影響を抑えるために, 自動的噂検出技術が必要である。 本研究では、BERTに基づく事前学習言語モデルを用いて、テキストデータをベクトルにエンコードし、ニューラルネットワークモデルを用いてこれらのベクトルを分類し、誤情報を検出する。
  論文  参考訳（メタデータ） (2022-03-15T08:54:36Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Toward the Understanding of Deep Text Matching Models for Information Retrieval [72.72380690535766]
  本稿では,既存の深層テキストマッチング手法が情報検索の基本的な勾配を満たすかどうかを検証することを目的とする。 具体的には, 項周波数制約, 項識別制約, 長さ正規化制約, TF長制約の4つの属性を用いる。 LETOR 4.0 と MS Marco の実験結果から,研究対象の深層テキストマッチング手法はすべて,統計学において高い確率で上記の制約を満たすことが示された。
  論文  参考訳（メタデータ） (2021-08-16T13:33:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。