論文の概要: LineBreaker: Finding Token-Inconsistency Bugs with Large Language Models

• arxiv url: http://arxiv.org/abs/2405.01668v2
• Date: Sun, 12 Oct 2025 19:36:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-14 18:06:29.479429
• Title: LineBreaker: Finding Token-Inconsistency Bugs with Large Language Models
• Title（参考訳）: LineBreaker: 大規模言語モデルによるToken-Inconsistency Bugの検索
• Authors: Hongbo Chen, Yifan Zhang, Xing Han, Tianhao Mao, Huanyao Rong, Yuheng Zhang, XiaoFeng Wang, Luyi Xing, Xun Chen, Hang Zhang,
• Abstract要約: Token-Inconsistency bugs (TIB) は、構文的に有効だが正しくないコードトークンの誤用を伴う。 静的解析や動的テストのような従来の検出手法は、その汎用性と文脈に依存した性質のため、しばしばTIBと競合する。 我々は,新しいTIB検出システムであるnameを導入する。
• 参考スコア（独自算出の注目度）: 37.995370535587575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Token-inconsistency bugs (TIBs) involve the misuse of syntactically valid yet incorrect code tokens, such as misused variables and erroneous function invocations, which can often lead to software bugs. Unlike simple syntactic bugs, TIBs occur at the semantic level and are subtle - sometimes they remain undetected for years. Traditional detection methods, such as static analysis and dynamic testing, often struggle with TIBs due to their versatile and context-dependent nature. However, advancements in large language models (LLMs) like GPT-4 present new opportunities for automating TIB detection by leveraging these models' semantic understanding capabilities. This paper reports the first systematic measurement of LLMs' capabilities in detecting TIBs, revealing that while GPT-4 shows promise, it exhibits limitations in precision and scalability. Specifically, its detection capability is undermined by the model's tendency to focus on the code snippets that do not contain TIBs; its scalability concern arises from GPT-4's high cost and the massive amount of code requiring inspection. To address these challenges, we introduce \name, a novel and cascaded TIB detection system. \name leverages smaller, code-specific, and highly efficient language models to filter out large numbers of code snippets unlikely to contain TIBs, thereby significantly enhancing the system's performance in terms of precision, recall, and scalability. We evaluated \name on 154 Python and C GitHub repositories, each with over 1,000 stars, uncovering 123 new flaws, 45\% of which could be exploited to disrupt program functionalities. Out of our 69 submitted fixes, 41 have already been confirmed or merged.
• Abstract（参考訳）: Token-Inconsistency bugs (TIBs) は、誤用された変数や誤った関数呼び出しなど、構文的に妥当で不正なコードトークンを誤用することがあり、しばしばソフトウェアバグにつながる。 単純な構文上のバグとは異なり、TIBは意味レベルで発生し、微妙である。 静的解析や動的テストのような従来の検出手法は、その汎用性と文脈に依存した性質のため、しばしばTIBと競合する。 しかし、GPT-4のような大規模言語モデル(LLM)の進歩は、これらのモデルのセマンティック理解機能を活用することにより、TIB検出を自動化する新たな機会を提供する。 本稿では,TIB検出におけるLCMの能力を初めて体系的に測定した結果,GPT-4が有望であるのに対して,精度と拡張性に限界があることが判明した。 特に、その検出能力は、TIBを含まないコードスニペットにフォーカスする傾向によって損なわれ、スケーラビリティに関する懸念は、GPT-4の高コストと検査を必要とする大量のコードから生じる。 これらの課題に対処するために,新規かつカスケードなTIB検出システムである \name を導入する。 \nameは、より小さく、コード固有で、非常に効率的な言語モデルを利用して、TIBを含まない多数のコードスニペットをフィルタリングし、精度、リコール、スケーラビリティの観点からシステムの性能を大幅に向上させる。 私たちは154のPythonとCのGitHubリポジトリで \nameを評価し、それぞれ1000以上のスターがいて、123の新たな欠陥を発見しました。 69件の修正案のうち41件はすでに確認済みか合併済みだ。

関連論文リスト

• BugScope: Learn to Find Bugs Like Human [9.05553442116139]
  BugScopeは、人間の監査人が代表例から新しいバグパターンを学習し、コード監査中にその知識を適用する方法をエミュレートする。 BugScopeが87.04%の精度を達成したことを示す。 Linuxカーネルを含む大規模なオープンソースシステムのさらなるテストにより、これまで不明だった141のバグが明らかになった。
  論文  参考訳（メタデータ） (2025-07-21T14:34:01Z)
• Are Sparse Autoencoders Useful for Java Function Bug Detection? [5.119371135458389]
  ソフトウェア脆弱性はセキュリティ侵害の主な原因である。 従来の脆弱性検出方法は、高い偽陽性率、スケーラビリティの問題、手作業への依存によって制限されている。 Sparse Autoencoderはこの問題に対して有望な解決策を提供する。
  論文  参考訳（メタデータ） (2025-05-15T14:59:17Z)
• Discovering Knowledge Deficiencies of Language Models on Massive Knowledge Base [30.705524808195268]
  大きな言語モデル(LLM)は印象的な言語能力を持っているが、しばしば事実の知識を忠実に保持することができない。 本稿では,LLMにおける知識不足(エラー)を発見するための,スケーラブルで効率的なフレームワークであるSEAを提案する。 SEAは自動能力発見の40.7倍、AutoBencherの26.7%以上の知識エラーを明らかにしている。
  論文  参考訳（メタデータ） (2025-03-30T08:33:56Z)
• Identifying and Mitigating API Misuse in Large Language Models [26.4403427473915]
  大規模言語モデル(LLM)が生成するコードのAPI誤用は、ソフトウェア開発において深刻な課題となっている。 本稿では LLM 生成コードにおける API の誤用パターンについて,Python および Java 間でのメソッド選択とパラメータ使用法の両方を解析し,総合的研究を行った。 上記の分類に基づくAPI誤用に対する新しいLCMベースの自動プログラム修復手法であるDr.Fixを提案する。
  論文  参考訳（メタデータ） (2025-03-28T18:43:12Z)
• Where's the Bug? Attention Probing for Scalable Fault Localization [18.699014321422023]
  本稿では, 直接的位置付けラベルを使わずに, 最先端の故障位置付けを学習するBug Attention Probe(BAP)を提案する。 BAPは計算コストのごく一部で大きなオープンウェイトモデルよりもはるかに効率的である。
  論文  参考訳（メタデータ） (2025-02-19T18:59:32Z)
• Automated Software Vulnerability Static Code Analysis Using Generative Pre-Trained Transformer Models [0.8192907805418583]
  生成事前学習トランスフォーマーモデルは、様々な自然言語処理タスクにおいて驚くほど効果的であることが示されている。 我々は,脆弱なコード構文の存在を自動的に識別するタスクにおいて,オープンソースのGPTモデルの有効性を評価する。
  論文  参考訳（メタデータ） (2024-07-31T23:33:26Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• Anomaly Detection of Tabular Data Using LLMs [54.470648484612866]
  我々は,事前訓練された大規模言語モデル (LLM) がゼロショットバッチレベルの異常検出器であることを示す。 本稿では,実異常検出におけるLCMの潜在性を明らかにするために,エンドツーエンドの微調整手法を提案する。
  論文  参考訳（メタデータ） (2024-06-24T04:17:03Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
  安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。 まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。 第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• Advancing Anomaly Detection: Non-Semantic Financial Data Encoding with LLMs [49.57641083688934]
  本稿では,Large Language Models (LLM) 埋め込みを用いた財務データにおける異常検出の新しい手法を提案する。 実験により,LLMが異常検出に有用な情報をもたらし,モデルがベースラインを上回っていることが確認された。
  論文  参考訳（メタデータ） (2024-06-05T20:19:09Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Do Neutral Prompts Produce Insecure Code? FormAI-v2 Dataset: Labelling Vulnerabilities in Code Generated by Large Language Models [3.4887856546295333]
  この研究は、最先端の大規模言語モデル(LLM)の比較分析を提供する。 中立なゼロショットプロンプトを使って単純なCプログラムを書く際に、脆弱性が発生する可能性を分析する。
  論文  参考訳（メタデータ） (2024-04-29T01:24:14Z)
• A Comprehensive Study of the Capabilities of Large Language Models for Vulnerability Detection [9.422811525274675]
  大規模言語モデル(LLM)は、コード生成やその他のソフトウェアエンジニアリングタスクに大きな可能性を実証しています。 脆弱性検出は、ソフトウェアシステムのセキュリティ、完全性、信頼性を維持する上で非常に重要である。 最近の研究は、ジェネリックプロンプト技術を用いた脆弱性検出にLLMを適用しているが、このタスクの能力とそれらが犯すエラーの種類は未だ不明である。
  論文  参考訳（メタデータ） (2024-03-25T21:47:36Z)
• The Hitchhiker's Guide to Program Analysis: A Journey with Large Language Models [18.026567399243]
  大規模言語モデル(LLM)は静的解析に代わる有望な選択肢を提供する。 本稿では,LLM支援静的解析のオープン空間を深く掘り下げる。 LLiftは,静的解析ツールとLLMの両方を併用した,完全に自動化されたフレームワークである。
  論文  参考訳（メタデータ） (2023-08-01T02:57:43Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。