論文の概要: AIJon: Automated Generation of Annotations for Fuzzing

• arxiv url: http://arxiv.org/abs/2609.18457v1
• Date: Wed, 16 Sep 2026 10:50:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.761872
• Title: AIJon: Automated Generation of Annotations for Fuzzing
• Title（参考訳）: AIJon:ファジィのためのアノテーションの自動生成
• Abstract要約: 我々は,IJONスタイルのアノテーションを自動的に生成するシステムであるAIJONを開発した。 我々は LLM が人間に匹敵する結果をもたらすアノテーションを生成できることを観察する。 本研究は, ファジィキャンペーンにおけるアノテーションの影響について, 結果の原因を特定し, 重要な知見を明らかにするために, いくつかの実験を行った。
• 参考スコア（独自算出の注目度）: 23.051467062366086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern fuzzers use code coverage as feedback to guide their exploration which has proven to be an effective strategy for driving exploration. However, this strategy overlooks inputs that may be interesting to the target program even without uncovering new code paths. Fortunately, prior research has shown that annotations generated by human domain experts can provide additional feedback, guiding the fuzzer towards interesting parts of the program. In this paper, we replicate experiments presented in IJON and extend them to real-world vulnerability detection at scale. To mitigate the scalability challenge, imposed by the need for human domain expertise, we propose utilizing LLMs to automatically generate annotations. We demonstrate the applicability of LLMs for this purpose and observe that LLMs can generate annotations that perform comparably to human-generated annotations. Motivated by this finding, we design AIJON, a system that leverages LLMs to automatically generate IJON-style annotations. We evaluate AIJON on the Magma benchmark and surprisingly observe that annotation-based fuzzing does not perform strictly better than AFL++. We conduct several experiments to identify the cause of our results and identify key insights regarding the impact of annotations on fuzzing campaigns, including their effect on the energy distribution of the fuzzer. Notably, we observe that LLMs can generate annotations that achieve comparable results to human generated ones, thus opening the door for future research to perform further studies on the impact of annotations at scale.
• Abstract（参考訳）: 現代のファジィザは、コードカバレッジを彼らの探索をガイドするフィードバックとして使用しており、探索を駆動するための効果的な戦略であることが証明されている。 しかし、この戦略は、新しいコードパスを明らかにすることなく、ターゲットプログラムにとって興味深いインプットを見落としている。 幸いなことに、以前の研究では、人間のドメインの専門家によって生成されたアノテーションが、プログラムの興味深い部分に向けてファザーを誘導する追加のフィードバックを提供する可能性があることが示されている。 本稿では,IJONで提示された実験を再現し,実世界の脆弱性検出に拡張する。 ヒューマンドメインの専門知識を必要とするスケーラビリティの課題を軽減するため,アノテーションの自動生成にLLMを活用することを提案する。 この目的のためにLLMの適用性を実証し、LLMが人為的なアノテーションと互換性のあるアノテーションを生成できることを観察する。 この発見に触発されたAIJONは,ILMを利用してIJONスタイルのアノテーションを自動的に生成するシステムである。 我々は、MagmaベンチマークでAIJONを評価し、アノテーションベースのファジィがAFL++より厳密にパフォーマンスが良くないことを驚くほど観察した。 本研究は, ファジィングキャンペーンにおけるアノテーションの影響について, ファジィザーのエネルギー分布に対する影響を含む重要な知見を明らかにするために, 実験を行った。 特に,LLMが人間の生成したアノテーションに匹敵する結果をもたらすアノテーションを生成できることから,アノテーションの大規模化による影響についてさらなる研究を行うための扉を開く。

関連論文リスト

• LLM Detection as an Intervention: Downstream Impact under Strategic User Behavior [53.63441578662801]
  インタクタは、検出された属性自身だけでなく、LLM使用率や出力品質などの下流メトリクスを操縦する介入として動作する。 我々は,LLMの使用量を戦略的に選択し,コンテンツ後処理によって検出された属性を減らし,その特性を定量的に把握するスタイリングモデルを開発した。 検出された属性を低減しても出力品質は向上するが,LDM検出器を導入することで,ユーザは低品質の出力が得られる。
  論文  参考訳（メタデータ） (2026-07-21T17:11:02Z)
• Just Put a Human in the Loop? Investigating LLM-Assisted Annotation for Subjective Tasks [18.695435335031355]
  複数のもっともらしい回答を持つ主観的アノテーションタスクでは、LCM出力のレビューはラベルの分布を変えることができる。 410種類のアノテーションと7000以上のアノテーションを用いた事前登録実験を行った。 その結果, LLM によるアノテーション提案をクラウドワーカーに提示することは, より迅速ではなく, 自己報告によるタスクへの信頼感を向上させることができた。
  論文  参考訳（メタデータ） (2025-07-21T17:29:21Z)
• Utility-Focused LLM Annotation for Retrieval and Retrieval-Augmented Generation [96.18720164390699]
  本稿では,大規模言語モデル (LLM) を用いた検索・検索・拡張生成システム (RAG) の訓練における文書ユーティリティのアノテートについて検討する。 以上の結果から,LLM生成アノテーションは,人間のアノテーションや下流QAメトリクスのみを訓練したモデルと比較して,ドメイン外検索性能の向上とRAG結果の改善を図っている。
  論文  参考訳（メタデータ） (2025-04-07T16:05:52Z)
• Assessing the Zero-Shot Capabilities of LLMs for Action Evaluation in RL [14.091146805312636]
  信用割当問題は強化学習(RL)における中心的な課題である クレジット・アサインメント・ウィズ・ランゲージ・モデル(CALM)は、報酬形成とオプション発見を通じてクレジット・アサインメントを自動化する新しいアプローチである。 予備的な結果は、大規模言語モデルの知識が、RLにおける信用代入の有望な先行であることを示している。
  論文  参考訳（メタデータ） (2024-09-19T14:08:09Z)
• Large Language Models for Data Annotation and Synthesis: A Survey [49.8318827245266]
  本調査は,データアノテーションと合成のための大規模言語モデルの有用性に焦点を当てる。 LLMがアノテートできるデータタイプの詳細な分類、LLM生成アノテーションを利用したモデルの学習戦略のレビュー、データアノテーションと合成にLLMを使用する際の主な課題と制限に関する詳細な議論を含む。
  論文  参考訳（メタデータ） (2024-02-21T00:44:04Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。