論文の概要: A Classification System Approach in Predicting Chinese Censorship
- arxiv url: http://arxiv.org/abs/2502.04234v1
- Date: Thu, 06 Feb 2025 17:19:14 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-07 14:33:23.383020
- Title: A Classification System Approach in Predicting Chinese Censorship
- Title(参考訳): 中国の検閲予測における分類システムアプローチ
- Authors: Matt Prodani, Tianchu Ze, Yushen Hu,
- Abstract要約: バイナリ検閲マーク付き中国語句のクリーン化データセットを構築した。
分類のための4つのロジスティック回帰モデルを導出することができた。
我々は、Fined-Tuned BERTモデルが他の性能戦略を上回っていると結論づけた。
- 参考スコア(独自算出の注目度): 0.0
- License:
- Abstract: This paper is dedicated to using a classifier to predict whether a Weibo post would be censored under the Chinese internet. Through randomized sampling from \citeauthor{Fu2021} and Chinese tokenizing strategies, we constructed a cleaned Chinese phrase dataset with binary censorship markings. Utilizing various probability-based information retrieval methods on the data, we were able to derive 4 logistic regression models for classification. Furthermore, we experimented with pre-trained transformers to perform similar classification tasks. After evaluating both the macro-F1 and ROC-AUC metrics, we concluded that the Fined-Tuned BERT model exceeds other strategies in performance.
- Abstract(参考訳): 本論文は、Weiboポストが中国インターネット下で検閲されるかどうかを予測するために、分類器の使用に特化している。
引用著者{Fu2021}と中国のトークン化戦略からランダムにサンプリングし、二項検閲マーク付きクリーンな中国語句データセットを構築した。
データに様々な確率に基づく情報検索手法を用いることで、分類のためのロジスティック回帰モデル4つを導出することができた。
さらに,類似の分類タスクを実行するために,事前学習したトランスフォーマーを実験した。
マクロF1とROC-AUCの両方の評価を行った結果,Fined-Tuned BERTモデルが他の手法よりも性能が優れていることがわかった。
関連論文リスト
- Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method [108.56493934296687]
本研究では,乱数から発散する概念に触発された偏差に基づくキャリブレーション手法を導入し,プリトレーニングデータ検出のためのトークン確率のキャリブレーションを行う。
我々は,中国語テキスト上でのLLMの検出手法の性能を評価するために,中国語のベンチマークであるPatentMIAを開発した。
論文 参考訳(メタデータ) (2024-09-23T07:55:35Z) - System Report for CCL24-Eval Task 7: Multi-Error Modeling and Fluency-Targeted Pre-training for Chinese Essay Evaluation [1.8856984887896766]
我々は,中国語学習者4Wコーパス上で,二分分類モデルと訓練された粗粒度モデルを用いて,細粒度エラーの予測を最適化した。
トラック2では、文毎に複数のエラー型を持つ擬似データセットを構築することにより、性能を向上した。
1位となったトラック3では,事前学習のための逆翻訳によって流速評価の擬似データを生成し,NSPベースの戦略を用いた。
論文 参考訳(メタデータ) (2024-07-11T06:17:08Z) - Co-training for Low Resource Scientific Natural Language Inference [65.37685198688538]
遠隔教師付きラベルに分類器のトレーニング力学に基づいて重みを割り当てる新しいコトレーニング手法を提案する。
予測された信頼度に対する任意のしきい値に基づいてサンプルをフィルタリングするのではなく、重要重みを割り当てることにより、自動ラベル付きデータの使用を最大化する。
提案手法は、遠隔監視ベースラインに対するマクロF1の1.5%の改善と、他の強力なSSLベースラインよりも大幅に改善されている。
論文 参考訳(メタデータ) (2024-06-20T18:35:47Z) - Training BERT Models to Carry Over a Coding System Developed on One Corpus to Another [0.0]
本稿では,ハンガリーの文芸雑誌の段落で開発されたコーディングシステムを通じて,BERTモデルを学習する方法について述べる。
コーディングシステムの目的は、1989年のハンガリーにおける政治変革に関する文学翻訳の認識の傾向を追跡することである。
論文 参考訳(メタデータ) (2023-08-07T17:46:49Z) - Enhancing Pashto Text Classification using Language Processing
Techniques for Single And Multi-Label Analysis [0.0]
本研究では,Pashtoテキストの自動分類システムの構築を目的とする。
平均テスト精度は94%だった。
DistilBERTのような事前訓練された言語表現モデルの使用は、有望な結果を示した。
論文 参考訳(メタデータ) (2023-05-04T23:11:31Z) - Tuning Traditional Language Processing Approaches for Pashto Text
Classification [0.0]
本研究の目的は,Pashto自動テキスト分類システムの構築である。
本研究は、統計的およびニューラルネットワーク機械学習技術の両方を含む複数のモデルを比較する。
本研究では,分類アルゴリズムとTFIDF特徴抽出法を用いて,平均試験精度94%を得た。
論文 参考訳(メタデータ) (2023-05-04T22:57:45Z) - Alibaba-Translate China's Submission for WMT 2022 Metrics Shared Task [61.34108034582074]
私たちはUNITE(Unified Translation Evaluation)のコアアイデアに基づいてシステムを構築します。
モデル事前学習の段階では、まず擬似ラベル付きデータ例をUNITEの継続事前訓練に適用する。
微調整の段階では、過去のWMTコンペティションの直接評価(DA)と多次元品質メトリクス(MQM)のデータの両方を使用します。
論文 参考訳(メタデータ) (2022-10-18T08:51:25Z) - FRMT: A Benchmark for Few-Shot Region-Aware Machine Translation [64.9546787488337]
本稿では、Few-shot Region-aware Machine Translationのための新しいデータセットと評価ベンチマークFRMTを提案する。
このデータセットは、英語からポルトガル語と中国語の2つの地域変種へのプロの翻訳で構成されている。
論文 参考訳(メタデータ) (2022-10-01T05:02:04Z) - Conditional Bilingual Mutual Information Based Adaptive Training for
Neural Machine Translation [66.23055784400475]
トークンレベルの適応トレーニングアプローチはトークンの不均衡問題を緩和することができる。
条件付きバイリンガル相互情報(CBMI)という目標コンテキスト対応メトリックを提案する。
CBMIは、事前の統計計算なしで、モデルトレーニング中に効率的に計算することができる。
論文 参考訳(メタデータ) (2022-03-06T12:34:10Z) - Revisiting Self-Training for Few-Shot Learning of Language Model [61.173976954360334]
ラベル付きデータにはタスク関連情報が豊富に含まれており、言語モデルの素早い学習に有用であることが証明されている。
本研究では,言語モデルファインチューニングのための自己学習手法を再検討し,最先端のプロンプトベースの少ショット学習者,SFLMを提案する。
論文 参考訳(メタデータ) (2021-10-04T08:51:36Z) - Recognition and Processing of NATOM [0.0]
本稿では,民間航空分野におけるNOTAM(Notice to Airmen)データの処理方法について述べる。
NOTAMのオリジナルのデータには、中国語と英語の混合があり、構造は貧弱です。
グローブワードベクターメソッドを使用して、カスタムマッピング語彙を使用するデータを表現する。
論文 参考訳(メタデータ) (2021-04-29T10:12:00Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。