論文の概要: Do Machines Struggle Where Humans Do? LLM and Human Comprehension of Obfuscated Code
- arxiv url: http://arxiv.org/abs/2606.31725v1
- Date: Tue, 30 Jun 2026 14:26:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.268338
- Title: Do Machines Struggle Where Humans Do? LLM and Human Comprehension of Obfuscated Code
- Title(参考訳): 機械は人間がどこで何をするのか? : LLMと難読コードの人間の理解
- Abstract要約: 我々は,大規模な言語モデルが,難読化が人間プログラマにもたらす障害モードを共有しているかどうかを評価する。
推論調整モデルでは、経験レベルを越えた人間の難易度パターンと顕著に一致していることが分かる。
その結果,制御フロー平滑化時の性能は状態空間の複雑さに比例して低下することがわかった。
- 参考スコア(独自算出の注目度): 9.04223924791364
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While code obfuscation impairs human code comprehension, it remains unclear if large language models share these failure modes. Building directly on a recent human study of program comprehension under code obfuscation, we evaluate whether large language models share the failure modes that obfuscation induces in human programmers. Evaluating several LLMs with five obfuscation tiers using the Block Model, we localize comprehension failures at the atom, block, relational, and macro levels. We find that reasoning-tuned models demonstrate significant alignment with human difficulty patterns across experience levels, whereas instruction and coder-tuned models show near-zero correlation. Chain-of-Thought trace length tracks task difficulty across tasks. Results indicate that performance under control-flow flattening degrades in proportion to state-space complexity, while adversarial identifier renaming disrupts comprehension through the interaction of semantic displacement and identifier-level interference. These findings suggest that reasoning-tuned LLMs approximate human sensitivity to code complexity more effectively than instruction-tuned variants.
- Abstract(参考訳): コードの難読化は人間のコードの理解を損なうが、大きな言語モデルがこれらの障害モードを共有しているかどうかは不明だ。
コード難読化下でのプログラム理解に関する最近の人間の研究に基づいて、大言語モデルが人間のプログラマにとって難読化が引き起こす障害モードを共有しているかどうかを評価する。
ブロックモデルを用いて, 5つの難解層を持つ複数のLSMを評価し, 原子, ブロック, リレーショナル, マクロレベルでの理解障害を局所化する。
推論調整モデルでは、経験レベルの人間の難易度パターンと有意な整合性を示すのに対し、命令およびコーダ調整モデルは、ほぼゼロの相関性を示す。
Chain-of-Thoughtトレース長はタスク間のタスクの難しさを追跡する。
その結果,制御フロー平滑化時の性能は状態空間の複雑さに比例して低下し,対角的識別子リネームは意味的変位と識別子レベルの干渉の相互作用によって理解を阻害することがわかった。
これらの結果から, 推論調整型LPMは, 命令調整型よりも, コード複雑性に対する人間の感度を効果的に近似することが示唆された。
関連論文リスト
- How LLMs Fail and Generalize in RTL Coding for Hardware Design? [56.361436215029045]
我々は,認知理論に触発された問題解決性に基づく新しい誤り分類法を導入する。
我々の分類学は、障害を構文、意味、解決可能な機能、解決不可能な機能タイプに分類する。
論文 参考訳(メタデータ) (2026-04-26T14:34:49Z) - Can LLMs Deobfuscate Binary Code? A Systematic Analysis of Large Language Models into Pseudocode Deobfuscation [27.576617126549294]
BinDeObfBenchは、LLMベースのバイナリ難読化を評価するための最初の包括的なベンチマークである。
推論モデルは、激しい難読化の下で堅牢性を維持することができる。
コンテキスト内学習は標準モデルにはメリットがあるが、推論モデルには限界がある。
論文 参考訳(メタデータ) (2026-04-09T10:56:06Z) - STEAD: Robust Provably Secure Linguistic Steganography with Diffusion Language Model [71.35577462669856]
拡散言語モデル(DLM)を用いた頑健で確実な言語ステガノグラフィーを提案する。
ステガノグラフ抽出中に擬似ランダム誤り訂正や近傍探索補正を含む誤り訂正戦略を導入する。
論文 参考訳(メタデータ) (2026-01-21T08:58:12Z) - Readability-Robust Code Summarization via Meta Curriculum Learning [53.44612630063336]
現実の世界では、コードが貧弱な構造や難読化され、モデルのパフォーマンスが著しく低下することが多い。
本稿では,可読性の低いコードに対するコード要約の堅牢性を向上する,新しい微調整手法であるRoFTCodeSumを提案する。
論文 参考訳(メタデータ) (2026-01-09T02:38:24Z) - "Digital Camouflage": The LLVM Challenge in LLM-Based Malware Detection [0.0]
大規模言語モデル(LLM)がマルウェア検出のための有望なツールとして登場した。
しかし、逆コンパイラレベルの難読化の下での信頼性はまだ発見されていない。
本研究は,コンパイラレベルの難読化技術に対する3つの最先端LCMのロバスト性を実証的に評価する。
論文 参考訳(メタデータ) (2025-09-20T12:47:36Z) - Adversarial Attack Classification and Robustness Testing for Large Language Models for Code [19.47426054151291]
本研究では,自然言語入力における逆方向の摂動がLarge Language Models for Code(LLM4Code)に与える影響について検討する。
文字、単語、文レベルにおける摂動の影響を調べ、最も影響の大きい脆弱性を特定する。
論文 参考訳(メタデータ) (2025-06-09T17:02:29Z) - Deconstructing Obfuscation: A four-dimensional framework for evaluating Large Language Models assembly code deobfuscation capabilities [0.49157446832511503]
大規模言語モデル (LLM) はソフトウェア工学において有望であるが、バイナリ解析の有効性は未定である。
組立コードの難読化のための商用LCMの総合評価を行った。
論文 参考訳(メタデータ) (2025-05-26T12:16:44Z) - The Code Barrier: What LLMs Actually Understand? [7.407441962359689]
本研究では,言語モデルの意味理解能力を評価するために,コード難読化を構造化テストフレームワークとして利用する。
難読化の複雑さが増加するにつれて、統計的に顕著な性能低下が見られる。
本研究では,言語モデルにおけるコード理解を評価するための新しい評価手法を提案する。
論文 参考訳(メタデータ) (2025-04-14T14:11:26Z) - ObscuraCoder: Powering Efficient Code LM Pre-Training Via Obfuscation Grounding [60.37988508851391]
言語モデル(LM)は、コード記述ツールボックスのベースとなっている。
Code-LMの事前学習目標の変更を探求する研究は、データ効率の向上と構文とセマンティクスの相互接続性の向上を目的としており、顕著に不十分である。
本研究では,Code-LMが表面的な構文を超越し,事前学習したサンプルの効率を高めるために,難読化コードの基盤について検討する。
論文 参考訳(メタデータ) (2025-03-27T23:08:53Z) - Memorize or Generalize? Evaluating LLM Code Generation with Code Rewriting [54.48306552577881]
大規模な言語モデル(LLM)は、主にメモリ化(トレーニングデータの大きな部分を複製または再利用する)と一般化(Generalization)を併用している、と我々は主張する。
既存の評価は、表面/構造的類似性を無視し、繰り返しコードの良質な再利用を有害なリコールと記憶タスクの正しさで混同する。
そこで我々は,2つの信号を組み合わせた正規化スコアである覚書リスク指標(MRI)を提案する。 (i) モデルが元の地平解とどのように類似しているか, (ii) 元のタスクから書き換えされたタスクにどの程度の性能が低下するか。
論文 参考訳(メタデータ) (2025-03-04T05:39:24Z) - Contrastive Decoding Improves Reasoning in Large Language Models [55.16503283583076]
コントラストデコーディングは,様々な推論タスクにおいて,グリージーデコーディングよりもアウト・オブ・ボックスの大幅な改善を実現することを示す。
本稿では,LLaMA-65BがHellaSwag Commonsense reasoning benchmark上でLLaMA 2, GPT-3.5, PaLM 2-Lより優れていることを示す。
論文 参考訳(メタデータ) (2023-09-17T00:29:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。