論文の概要: The Compliance Paradox: Semantic-Instruction Decoupling in Automated Academic Code Evaluation

• arxiv url: http://arxiv.org/abs/2601.21360v1
• Date: Thu, 29 Jan 2026 07:40:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.651939
• Title: The Compliance Paradox: Semantic-Instruction Decoupling in Automated Academic Code Evaluation
• Title（参考訳）: コンプライアンスパラドックス: 自動アカデミックコード評価におけるセマンティックインストラクションデカップリング
• Authors: Devanshu Sahoo, Manish Prasad, Vasudev Majhi, Arjun Neekhra, Yash Sinha, Murari Mandal, Vinay Chamola, Dhruv Kumar,
• Abstract要約: SPACI(Semantic-Preserving Adrial Code Injection)フレームワークとAST-ASIP(Abstract Syntax Tree-Aware Semantic Injection Protocol)を紹介する。 これらの方法は、抽象構文木(英語版)の構文的に不活性な領域(トリヴィアノード)に逆方向の指示を埋め込むことにより、構文解析ギャップを利用する。 Python、C、C++、Javaの25,000のサブミッションにまたがる9つのSOTAモデルの大規模な評価を通じて、DeepSeek-V3のような高容量オープンウェイトモデルにおいて、破滅的な失敗率(>95%)を明らかにします。
• 参考スコア（独自算出の注目度）: 11.984098021215878
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid integration of Large Language Models (LLMs) into educational assessment rests on the unverified assumption that instruction following capability translates directly to objective adjudication. We demonstrate that this assumption is fundamentally flawed. Instead of evaluating code quality, models frequently decouple from the submission's logic to satisfy hidden directives, a systemic vulnerability we term the Compliance Paradox, where models fine-tuned for extreme helpfulness are vulnerable to adversarial manipulation. To expose this, we introduce the Semantic-Preserving Adversarial Code Injection (SPACI) Framework and the Abstract Syntax Tree-Aware Semantic Injection Protocol (AST-ASIP). These methods exploit the Syntax-Semantics Gap by embedding adversarial directives into syntactically inert regions (trivia nodes) of the Abstract Syntax Tree. Through a large-scale evaluation of 9 SOTA models across 25,000 submissions in Python, C, C++, and Java, we reveal catastrophic failure rates (>95%) in high-capacity open-weights models like DeepSeek-V3, which systematically prioritize hidden formatting constraints over code correctness. We quantify this failure using our novel tripartite framework measuring Decoupling Probability, Score Divergence, and Pedagogical Severity to demonstrate the widespread "False Certification" of functionally broken code. Our findings suggest that current alignment paradigms create a "Trojan" vulnerability in automated grading, necessitating a shift from standard RLHF toward domain-specific Adjudicative Robustness, where models are conditioned to prioritize evidence over instruction compliance. We release our complete dataset and injection framework to facilitate further research on the topic.
• Abstract（参考訳）: LLM(Large Language Models)の教育的評価への迅速な統合は、命令に従う能力が直接客観的な判断に変換されるという不確実な仮定に依存している。 この仮定が根本的に欠陥があることを実証する。 コード品質を評価する代わりに、隠れディレクティブを満たすために、モデルが出願のロジックから分離されることが頻繁にあります。 これを公開するために、SPACIフレームワークとAST-ASIP(Abstract Syntax Tree-Aware Semantic Injection Protocol)を紹介する。 これらの方法は、抽象構文木(英語版)の構文的に不活性な領域(トリヴィアノード)に逆方向の指示を埋め込むことにより、構文解析ギャップを利用する。 Python、C、C++、Javaの25,000のサブミッションにまたがる9つのSOTAモデルの大規模な評価を通じて、DeepSeek-V3のような高容量オープンウェイトモデルにおいて、コード正しさよりも隠れフォーマット制約を体系的に優先順位付けする破滅的な失敗率(>95%)を明らかにします。 この失敗を、Decoupling Probability、Score Divergence、Pedagogical Severityを測定する新しい三部作のフレームワークを使って定量化し、機能的に壊れたコードの広範な"偽証明"を実証します。 我々の研究結果は、現在のアライメントパラダイムが、標準のRLHFからドメイン固有の適応ロバストネスへのシフトを必要とする自動グレーディングにおいて、"トロイジャン"の脆弱性を生み出していることを示唆している。 私たちは、このトピックに関するさらなる研究を容易にするために、完全なデータセットとインジェクションフレームワークをリリースします。

関連論文リスト

• The Trojan Knowledge: Bypassing Commercial LLM Guardrails via Harmless Prompt Weaving and Adaptive Tree Search [58.8834056209347]
  大規模言語モデル(LLM)は、有害な出力を誘導するために安全ガードレールをバイパスするジェイルブレイク攻撃に弱いままである。 CKA-Agent(Correlated Knowledge Attack Agent)は、ターゲットモデルの知識基盤の適応的木構造探索としてジェイルブレイクを再構成する動的フレームワークである。
  論文  参考訳（メタデータ） (2025-12-01T07:05:23Z)
• Exploring Semantic-constrained Adversarial Example with Instruction Uncertainty Reduction [51.50282796099369]
  本稿では,多次元命令の不確実性低減フレームワークを開発し,意味論的に制約された逆の例を生成する。 言語誘導サンプリングプロセスの予測により、設計したResAdv-DDIMサンプルにより最適化プロセスが安定化される。 セマンティック制約付き3次元逆数例の参照フリー生成を初めて実現した。
  論文  参考訳（メタデータ） (2025-10-27T04:02:52Z)
• D-REX: A Benchmark for Detecting Deceptive Reasoning in Large Language Models [62.83226685925107]
  Deceptive Reasoning Exposure Suite (D-REX)は、モデルの内部推論プロセスと最終的な出力との相違を評価するために設計された、新しいデータセットである。 D-REXの各サンプルには、敵システムプロンプト、エンドユーザーのテストクエリ、モデルの一見無害な応答、そして重要なことに、モデルの内部チェーンが含まれている。 我々は、D-REXが既存のモデルと安全メカニズムに重大な課題をもたらすことを実証した。
  論文  参考訳（メタデータ） (2025-09-22T15:59:40Z)
• Explicit Vulnerability Generation with LLMs: An Investigation Beyond Adversarial Attacks [0.5218155982819203]
  大規模言語モデル(LLM)は、コードアシスタントとしてますます使われている。 本研究は、より直接的な脅威について検討する。オープンソースのLLMは、トリガー時に脆弱性のあるコードを生成する。
  論文  参考訳（メタデータ） (2025-07-14T08:36:26Z)
• $φ^{\infty}$: Clause Purification, Embedding Realignment, and the Total Suppression of the Em Dash in Autoregressive Language Models [0.0]
  自動回帰変換言語モデルにおいて,エムダッシュトークンがセマンティックドリフトを引き起こす重大な脆弱性を同定する。 本稿では,フィインフィニティ演算子とターゲット埋め込み行列を併用した記号節の浄化法を提案する。
  論文  参考訳（メタデータ） (2025-06-22T18:27:39Z)
• Benchmarking Unified Face Attack Detection via Hierarchical Prompt Tuning [58.16354555208417]
  PADとFFDはそれぞれ物理メディアベースのプレゼンテーションアタックとデジタル編集ベースのDeepFakeから顔データを保護するために提案されている。 これら2つのカテゴリの攻撃を同時に処理する統一顔攻撃検出モデルがないことは、主に2つの要因に起因する。 本稿では,異なる意味空間から複数の分類基準を適応的に探索する,視覚言語モデルに基づく階層型プロンプトチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-19T16:35:45Z)
• A Few Large Shifts: Layer-Inconsistency Based Minimal Overhead Adversarial Example Detection [13.109309606764754]
  我々は、ターゲットモデル自体の内部の階層的不整合を利用するプラグイン検出フレームワークを導入する。 本手法は計算オーバーヘッドを無視して最先端検出性能を実現する。
  論文  参考訳（メタデータ） (2025-05-19T00:48:53Z)
• Reformulation is All You Need: Addressing Malicious Text Features in DNNs [53.45564571192014]
  本稿では,敵攻撃とバックドア攻撃の両方に対して有効な,統一的かつ適応的な防御フレームワークを提案する。 我々のフレームワークは、様々な悪意あるテキスト機能において、既存のサンプル指向の防御基準よりも優れています。
  論文  参考訳（メタデータ） (2025-02-02T03:39:43Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Multi-context Attention Fusion Neural Network for Software Vulnerability Identification [4.05739885420409]
  ソースコードのセキュリティ脆弱性の共通カテゴリのいくつかを効率的に検出することを学ぶディープラーニングモデルを提案する。 モデルは、学習可能なパラメータの少ないコードセマンティクスの正確な理解を構築します。 提案したAIは、ベンチマークされたNIST SARDデータセットから特定のCWEに対して98.40%のF1スコアを達成する。
  論文  参考訳（メタデータ） (2021-04-19T11:50:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。