論文の概要: Enhancing Security and Strengthening Defenses in Automated Short-Answer Grading Systems

• arxiv url: http://arxiv.org/abs/2505.00061v1
• Date: Wed, 30 Apr 2025 14:53:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.129559
• Title: Enhancing Security and Strengthening Defenses in Automated Short-Answer Grading Systems
• Title（参考訳）: 自動探触子研削システムにおけるセキュリティ強化と防御強化
• Authors: Sahar Yarmohammadtoosky, Yiyun Zhou, Victoria Yaneva, Peter Baldwin, Saed Rezayi, Brian Clauser, Polina Harikeo,
• Abstract要約: 本研究は,変圧器を用いた医学教育における短期回答自動評価システムにおける脆弱性について検討する。 3種類のゲーム戦略がシステムの弱点を悪用し、偽陽性につながる可能性がある。 これらの脆弱性に対処するため、システムの堅牢性を高めるために、いくつかの敵の訓練手法を実装した。
• 参考スコア（独自算出の注目度）: 4.765176919779996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This study examines vulnerabilities in transformer-based automated short-answer grading systems used in medical education, with a focus on how these systems can be manipulated through adversarial gaming strategies. Our research identifies three main types of gaming strategies that exploit the system's weaknesses, potentially leading to false positives. To counteract these vulnerabilities, we implement several adversarial training methods designed to enhance the systems' robustness. Our results indicate that these methods significantly reduce the susceptibility of grading systems to such manipulations, especially when combined with ensemble techniques like majority voting and ridge regression, which further improve the system's defense against sophisticated adversarial inputs. Additionally, employing large language models such as GPT-4 with varied prompting techniques has shown promise in recognizing and scoring gaming strategies effectively. The findings underscore the importance of continuous improvements in AI-driven educational tools to ensure their reliability and fairness in high-stakes settings.
• Abstract（参考訳）: 本研究は, 医療教育で使用されるトランスフォーマーを用いた自動短解答システムにおける脆弱性について検討し, 対戦型ゲーミング戦略によってこれらのシステムをどう操作するかに着目した。 我々の研究は、システムの弱点を悪用する3つの主要なゲーム戦略を特定し、偽陽性につながる可能性がある。 これらの脆弱性に対処するため、システムの堅牢性を高めるために、いくつかの敵の訓練手法を実装した。 以上の結果から,これらの手法は,特に多数決やリッジ回帰といったアンサンブル手法と組み合わせることで,高度な対向入力に対するシステム防御を一層向上させる場合において,グレーディングシステムのこのような操作に対する感受性を著しく低下させることが示唆された。 さらに, GPT-4のような多種多様なプロンプト技術を用いた大規模言語モデルを採用することで, ゲーム戦略の認識と評価を効果的に行うことが可能となった。 この調査結果は、AI駆動型教育ツールの継続的な改善の重要性を強調し、ハイテイク環境での信頼性と公平性を保証する。

関連論文リスト

• In-Context Experience Replay Facilitates Safety Red-Teaming of Text-to-Image Diffusion Models [104.94706600050557]
  テキスト・ツー・イメージ(T2I)モデルは目覚ましい進歩を見せているが、有害なコンテンツを生成する可能性はまだMLコミュニティにとって重要な関心事である。 ICERは,解釈可能かつ意味論的に意味のある重要なプロンプトを生成する新しい赤チームフレームワークである。 我々の研究は、より堅牢な安全メカニズムをT2Iシステムで開発するための重要な洞察を提供する。
  論文  参考訳（メタデータ） (2024-11-25T04:17:24Z)
• Robust Image Classification: Defensive Strategies against FGSM and PGD Adversarial Attacks [0.0]
  敵対的攻撃は、画像分類におけるディープラーニングモデルの堅牢性に重大な脅威をもたらす。 本稿では,ニューラルネットワークのレジリエンスを高めるために,これらの攻撃に対する防御機構を探索し,洗練する。
  論文  参考訳（メタデータ） (2024-08-20T02:00:02Z)
• PenHeal: A Two-Stage LLM Framework for Automated Pentesting and Optimal Remediation [18.432274815853116]
  PenHealは2段階のLSMベースのフレームワークで、自律的に脆弱性を特定してセキュリティを確保する。 本稿では,LLMベースの2段階フレームワークであるPenHealについて紹介する。
  論文  参考訳（メタデータ） (2024-07-25T05:42:14Z)
• Multi-agent Reinforcement Learning-based Network Intrusion Detection System [3.4636217357968904]
  侵入検知システム(IDS)は,コンピュータネットワークのセキュリティ確保において重要な役割を担っている。 本稿では,自動,効率的,堅牢なネットワーク侵入検出が可能な,新しいマルチエージェント強化学習(RL)アーキテクチャを提案する。 我々のソリューションは、新しい攻撃の追加に対応し、既存の攻撃パターンの変更に効果的に適応するように設計されたレジリエントなアーキテクチャを導入します。
  論文  参考訳（メタデータ） (2024-07-08T09:18:59Z)
• CANEDERLI: On The Impact of Adversarial Training and Transferability on CAN Intrusion Detection Systems [17.351539765989433]
  車両と外部ネットワークの統合が拡大し、コントロールエリアネットワーク(CAN)の内部バスをターゲットにした攻撃が急増した。 対策として,様々な侵入検知システム(IDS)が文献で提案されている。 これらのシステムのほとんどは、機械学習(ML)やディープラーニング(DL)モデルのような、データ駆動のアプローチに依存しています。 本稿では,CANベースのIDSをセキュアにするための新しいフレームワークであるCANEDERLIを提案する。
  論文  参考訳（メタデータ） (2024-04-06T14:54:11Z)
• FaultGuard: A Generative Approach to Resilient Fault Prediction in Smart Electrical Grids [53.2306792009435]
  FaultGuardは、障害タイプとゾーン分類のための最初のフレームワークであり、敵攻撃に耐性がある。 本稿では,ロバスト性を高めるために,低複雑性故障予測モデルとオンライン逆行訓練手法を提案する。 本モデルでは,耐故障予測ベンチマークの最先端を最大0.958の精度で上回っている。
  論文  参考訳（メタデータ） (2024-03-26T08:51:23Z)
• Adversarial Attacks and Defenses in Fault Detection and Diagnosis: A Comprehensive Benchmark on the Tennessee Eastman Process [39.677420930301736]
  機械学習をACS(Automated Control Systems)に統合することで、産業プロセス管理における意思決定が促進される。 これらの技術を広く採用する際の制限の1つは、敵の攻撃に対するニューラルネットワークの脆弱性である。 本研究では、テネシー・イーストマン・プロセス・データセットを用いて、ACSにおける障害診断のためのディープラーニングモデルをデプロイする際の脅威について検討する。
  論文  参考訳（メタデータ） (2024-03-20T10:59:06Z)
• On the Vulnerability of LLM/VLM-Controlled Robotics [54.57914943017522]
  大規模言語モデル(LLM)と視覚言語モデル(VLM)を統合するロボットシステムの脆弱性を,入力モダリティの感度によって強調する。 LLM/VLM制御型2つのロボットシステムにおいて,単純な入力摂動がタスク実行の成功率を22.2%,14.6%減少させることを示す。
  論文  参考訳（メタデータ） (2024-02-15T22:01:45Z)
• Adversarial Attacks and Defenses in Machine Learning-Powered Networks: A Contemporary Survey [114.17568992164303]
  機械学習とディープニューラルネットワークにおけるアドリアックと防御が注目されている。 本調査は、敵攻撃・防衛技術分野における最近の進歩を包括的に概観する。 検索ベース、意思決定ベース、ドロップベース、物理世界攻撃など、新たな攻撃方法も検討されている。
  論文  参考訳（メタデータ） (2023-03-11T04:19:31Z)
• Dos and Don'ts of Machine Learning in Computer Security [74.1816306998445]
  大きな可能性にもかかわらず、セキュリティにおける機械学習は、パフォーマンスを損なう微妙な落とし穴を引き起こす傾向がある。 我々は,学習ベースのセキュリティシステムの設計,実装,評価において共通の落とし穴を特定する。 我々は,落とし穴の回避や軽減を支援するために,研究者を支援するための実用的な勧告を提案する。
  論文  参考訳（メタデータ） (2020-10-19T13:09:31Z)
• Enhanced Adversarial Strategically-Timed Attacks against Deep Reinforcement Learning [91.13113161754022]
  本稿では,DRLに基づくナビゲーションシステムに対して,選択した時間フレーム上の物理ノイズパターンを妨害することにより,タイミングに基づく逆方向戦略を導入する。 実験結果から, 対向タイミング攻撃は性能低下を引き起こす可能性が示唆された。
  論文  参考訳（メタデータ） (2020-02-20T21:39:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。