論文の概要: Break-The-Chain: Reasoning Failures in LLMs via Adversarial Prompting in Code Generation

• arxiv url: http://arxiv.org/abs/2506.06971v1
• Date: Sun, 08 Jun 2025 02:43:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.592578
• Title: Break-The-Chain: Reasoning Failures in LLMs via Adversarial Prompting in Code Generation
• Title（参考訳）: break-the-Chain: コード生成における逆プロンプトによるLDMの失敗の推論
• Authors: Jaechul Roh, Varun Gandhi, Shivani Anilkumar, Arin Garg,
• Abstract要約: セマンティックに忠実だが逆向きに構造化された急激な摂動のスイートを導入する。 特定の修正は性能を著しく低下させるが、他の修正は驚くほどモデル精度を35.3%向上させる。 これらの結果から,現在の推論システムの脆弱性と予測不能性が示唆された。
• 参考スコア（独自算出の注目度）: 0.3495246564946556
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have achieved remarkable success in tasks requiring complex reasoning, such as code generation, mathematical problem solving, and algorithmic synthesis -- especially when aided by reasoning tokens and Chain-of-Thought prompting. Yet, a core question remains: do these models truly reason, or do they merely exploit shallow statistical patterns? In this paper, we systematically investigate the robustness of reasoning LLMs by introducing a suite of semantically faithful yet adversarially structured prompt perturbations. Our evaluation -- spanning 700 perturbed code generations derived from LeetCode-style problems -- applies transformations such as storytelling reframing, irrelevant constraint injection, example reordering, and numeric perturbation. We observe that while certain modifications severely degrade performance (with accuracy drops up to -42.1%), others surprisingly improve model accuracy by up to 35.3%, suggesting sensitivity not only to semantics but also to surface-level prompt dynamics. These findings expose the fragility and unpredictability of current reasoning systems, underscoring the need for more principles approaches to reasoning alignments and prompting robustness. We release our perturbation datasets and evaluation framework to promote further research in trustworthy and resilient LLM reasoning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、コード生成、数学的問題解決、アルゴリズム合成といった複雑な推論を必要とするタスクにおいて、特に推論トークンやチェーン・オブ・ライトのプロンプトによって助けられた場合、顕著な成功を収めている。 しかし、重要な疑問が残る:これらのモデルは本当に理由があるのか、それとも浅い統計パターンを単に利用しているだけなのか? 本稿では, 意味論的に忠実であるが, 逆向きに構成された急激な摂動の組を導入することで, LLMを推論する頑健さを体系的に検討する。 私たちの評価は、LeetCodeスタイルの問題から派生した700の摂動コード世代にまたがって、ストーリーテリングのリフレーミング、無関係な制約注入、サンプルのリオーダー、数値摂動といった変換を適用しています。 特定の修正は性能を著しく低下させるが(精度は-42.1%まで低下する)、他の修正はモデル精度を最大35.3%向上させ、セマンティクスだけでなく、表面レベルのプロンプトダイナミックスにも感受性を示唆している。 これらの発見は、現在の推論システムの脆弱さと予測不可能さを明らかにし、アライメントの推論と堅牢性を促進するためのさらなる原則アプローチの必要性を強調している。 我々は摂動データセットと評価フレームワークを公開し、信頼性と弾力性のあるLCM推論のさらなる研究を促進する。

関連論文リスト

• CodeCrash: Stress Testing LLM Reasoning under Structural and Semantic Perturbations [36.60702578561009]
  大規模言語モデル(LLM)は、最近、コード関連のタスクにおいて強力な能力を示したが、コード理解と推論の堅牢性はまだ十分に調査されていない。 既存の2つのデータセットから1,279の質問をまとめた総合的なストレステストベンチマークであるCodeCrashを紹介する。 我々は,直接的および連鎖的プロンプト手法を用いて,入力および出力予測タスクにまたがる17個のLLMを体系的に評価した。
  論文  参考訳（メタデータ） (2025-04-19T00:40:28Z)
• Exploring LLM Reasoning Through Controlled Prompt Variations [0.9217021281095907]
  我々は,4種類の急激な摂動に直面する場合,最先端モデルが論理的整合性と正当性を維持するかを評価する。 13個のオープンソースおよびクローズドソース LLM を用いて実験を行った結果,モデルコンテキストウィンドウ内に無関係なコンテキストを導入することで,性能が著しく低下することが判明した。 ある摂動は、明示的なプロンプトなしでも、必然的にチェーンオブ思考のような推論行動を引き起こす。
  論文  参考訳（メタデータ） (2025-04-02T20:18:50Z)
• Process or Result? Manipulated Ending Tokens Can Mislead Reasoning LLMs to Ignore the Correct Reasoning Steps [39.759594479826454]
  入力推論チェーンの微妙なエラーに対するモデル推論の脆弱性について検討する。 この脆弱性は、操作された計算結果を含む推論トークンが提示されたモデルが正しい推論ステップを無視し、その代わりに誤った結果を採用する傾向がある。 我々の研究は、推論の堅牢性を理解することを強化し、推論集約アプリケーションに対するセキュリティ上の配慮を強調します。
  論文  参考訳（メタデータ） (2025-03-25T03:43:11Z)
• Sketch-of-Thought: Efficient LLM Reasoning with Adaptive Cognitive-Inspired Sketching [60.04718679054704]
  Chain-of-Thoughtはステップバイステップの問題解決を促すが、中間出力の過剰な冗長性を犠牲にすることが多い。 我々は,認知にインスパイアされた推論パラダイムを言語制約と統合する促進フレームワークであるSketch-of-Thought(SoT)を提案する。 SoTはトークンを最大78%削減し、15の推論データセットで最小限の精度損失を発生させる。
  論文  参考訳（メタデータ） (2025-03-07T06:57:17Z)
• LINGOLY-TOO: Disentangling Reasoning from Knowledge with Templatised Orthographic Obfuscation [1.2576388595811496]
  自然言語を基盤とした挑戦的推論ベンチマークであるlingOLY-TOOを紹介する。 実言語で記述された推論問題をパーミュレートして、多数の質問のバリエーションを生成する。 実験と分析は、モデルが推論を回避し、事前の知識から回答できることを示している。
  論文  参考訳（メタデータ） (2025-03-04T19:57:47Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Decomposing Uncertainty for Large Language Models through Input Clarification Ensembling [69.83976050879318]
  大規模言語モデル(LLM)では、不確実性の原因を特定することが、信頼性、信頼性、解釈可能性を改善するための重要なステップである。 本稿では,LLMのための不確実性分解フレームワークについて述べる。 提案手法は,入力に対する一連の明確化を生成し,それらをLLMに入力し,対応する予測をアンサンブルする。
  論文  参考訳（メタデータ） (2023-11-15T05:58:35Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。