Fugu-MT 論文翻訳(概要): Chinese grammatical error correction based on knowledge distillation

論文の概要: Chinese grammatical error correction based on knowledge distillation

arxiv url: http://arxiv.org/abs/2208.00351v1
Date: Sun, 31 Jul 2022 03:16:29 GMT
ステータス: 処理完了
システム内更新日: 2022-08-02 12:46:45.058669
Title: Chinese grammatical error correction based on knowledge distillation
Title（参考訳）: 知識蒸留に基づく中国語文法の誤り訂正
Authors: Peng Xia, Yuechi Zhou, Ziyan Zhang, Zecheng Tang, Juntao Li
Abstract要約: 本稿では,知識蒸留法を用いてモデルパラメータを圧縮し,モデルのアンチアタック能力を向上させる。実験結果から, 蒸留した小型モデルは性能を保証し, トレーニング速度を向上できることがわかった。
参考スコア（独自算出の注目度）: 7.869583575028384
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: In view of the poor robustness of existing Chinese grammatical error correction models on attack test sets and large model parameters, this paper uses the method of knowledge distillation to compress model parameters and improve the anti-attack ability of the model. In terms of data, the attack test set is constructed by integrating the disturbance into the standard evaluation data set, and the model robustness is evaluated by the attack test set. The experimental results show that the distilled small model can ensure the performance and improve the training speed under the condition of reducing the number of model parameters, and achieve the optimal effect on the attack test set, and the robustness is significantly improved.
Abstract（参考訳）: 本稿では,既存の中国語文法的誤り訂正モデルの攻撃試験セットと大規模モデルパラメータに対するロバストさを考慮し,知識蒸留法を用いてモデルパラメータを圧縮し,モデルのアンチアタック能力を向上させる。データの観点からは、標準評価データセットに外乱を統合して攻撃テストセットを構築し、攻撃テストセットによってモデルロバスト性を評価する。実験結果から, 蒸留した小型モデルでは, モデルパラメータの削減条件下での性能向上とトレーニング速度の向上が図られ, 攻撃試験セットに対する最適効果が得られ, 堅牢性が著しく向上することがわかった。

関連論文リスト

QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
論文参考訳（メタデータ） (2023-11-06T00:21:44Z)
High Precision Causal Model Evaluation with Conditional Randomization [10.23470075454725]
因果誤差を推定するための新しい低分散推定器(ペア推定器)を提案する。モデルと真の実験効果の両方に同じIPW推定器を適用することにより、IPWによる分散を効果的にキャンセルし、より小さな分散を実現する。提案手法は,IPW推定器自体の複雑な変更を伴わずに,条件付きランダム化設定における因果推論モデルを評価するための,単純かつ強力な解を提供する。
論文参考訳（メタデータ） (2023-11-03T13:22:27Z)
Towards Calibrated Robust Fine-Tuning of Vision-Language Models [97.19901765814431]
本研究は、視覚言語モデルにおいて、OOD精度と信頼性校正の両方を同時に改善する頑健な微調整法を提案する。 OOD分類とOOD校正誤差は2つのIDデータからなる共有上限を持つことを示す。この知見に基づいて,最小の特異値を持つ制約付きマルチモーダルコントラスト損失を用いて微調整を行う新しいフレームワークを設計する。
論文参考訳（メタデータ） (2023-11-03T05:41:25Z)
A Comprehensive Evaluation and Analysis Study for Chinese Spelling Check [53.152011258252315]
音声とグラフィックの情報を合理的に使用することは,中国語のスペルチェックに有効であることを示す。モデルはテストセットのエラー分布に敏感であり、モデルの欠点を反映している。一般的なベンチマークであるSIGHANは、モデルの性能を確実に評価できない。
論文参考訳（メタデータ） (2023-07-25T17:02:38Z)
Boosting Model Inversion Attacks with Adversarial Examples [26.904051413441316]
ブラックボックス設定において、より高い攻撃精度を達成できる学習ベースモデル反転攻撃のための新しい訓練パラダイムを提案する。まず,攻撃モデルの学習過程を,意味的損失関数を追加して規則化する。第2に、学習データに逆例を注入し、クラス関連部の多様性を高める。
論文参考訳（メタデータ） (2023-06-24T13:40:58Z)
From Static Benchmarks to Adaptive Testing: Psychometrics in AI Evaluation [60.14902811624433]
本稿では,静的評価手法から適応テストへのパラダイムシフトについて論じる。これには、ベンチマークで各テスト項目の特性と価値を推定し、リアルタイムでアイテムを動的に調整することが含まれる。我々は、AI評価にサイコメトリックを採用する現在のアプローチ、アドバンテージ、そして根底にある理由を分析します。
論文参考訳（メタデータ） (2023-06-18T09:54:33Z)
Evaluating Deception Detection Model Robustness To Linguistic Variation [10.131671217810581]
認知ニュース検出の設定における言語的変化に対するモデル堅牢性の解析を提案する。 2つの予測タスクを検討し,3つの最先端組込みを比較して,モデル性能の一貫した傾向を強調する。キャラクタあるいは混合アンサンブルモデルが最も効果的な防御であり,キャラクタ摂動に基づく攻撃戦術がより成功していることがわかった。
論文参考訳（メタデータ） (2021-04-23T17:25:38Z)
Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
論文参考訳（メタデータ） (2020-12-17T15:19:29Z)
Voting based ensemble improves robustness of defensive models [82.70303474487105]
我々は、より堅牢性を高めるためのアンサンブルを作ることができるかどうか研究する。最先端の先制防衛モデルを複数組み合わせることで,59.8%の堅牢な精度を達成できる。
論文参考訳（メタデータ） (2020-11-28T00:08:45Z)
Evaluating Neural Machine Comprehension Model Robustness to Noisy Inputs and Adversarial Attacks [9.36331571226256]
我々は,文字,単語,文レベルで新しい摂動を実行することで,機械理解モデルによる雑音や敵対攻撃に対する頑健さを評価する。敵攻撃時のモデル誤差を予測するモデルを開発した。
論文参考訳（メタデータ） (2020-05-01T03:05:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。