論文の概要: IssueLighter: An Issue Type-Aware LLM Agent for Issue Report Validity Assessment

• arxiv url: http://arxiv.org/abs/2611.02721v1
• Date: Mon, 02 Nov 2026 08:13:51 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:15:23.543005
• Title: IssueLighter: An Issue Type-Aware LLM Agent for Issue Report Validity Assessment
• Title（参考訳）: issueLighter: Issue Report Validity AssessmentのためのIssue Type-Aware LLM Agent
• Abstract要約: これまでの研究は主に、特定の問題カテゴリの無効なレポートの特定に重点を置いてきた。 そこで我々は,動的にコマンドを実行するエージェントベースの妥当性評価戦略である IssueLighter を提案する。
• 参考スコア（独自算出の注目度）: 6.174922020088862
• License:
• Abstract: Invalid issue reports are prevalent in open source software (OSS) projects, imposing substantial burdens on maintainers who already face a high risk of burnout. Prior research has primarily focused on identifying invalid reports for specific issue categories (e.g., bug and wontfix), leaving the broader landscape of OSS issue types largely unexplored and limiting the generalizability of existing approaches. Moreover, existing methods provide little support for explaining or validating their predictions, reducing their practical usefulness for maintainers. With the rise of LLM-based agents, it remains unclear whether a comprehensive understanding of the causes of invalidity across all issue types can improve validity assessment performance while producing well-grounded rationales. To this end, we first manually annotated the validity status of 520 issue reports from three OSS projects, i.e., pandas, scikit-learn, and mypy, resulting in 257 invalid reports and 263 valid ones. Then, we conducted a thematic analysis on these invalid reports and identified 13 causes of invalidity that are closely specific to issue types. Based on these insights, we propose IssueLighter, an agent-based framework with a type-aware validity assessment strategy that dynamically executes commands. Experimental results show that IssueLighter consistently and substantially outperforms all baseline methods, with an average F1 improvement of over 20 percentage points. Ablation studies confirm that both the type-aware strategy and the taxonomy of causes of invalidity contribute to the performance gains. Qualitative analysis further demonstrates that IssueLighter generates rationales grounded in accurately identified causes of invalidity and supported by evidence. Moreover, leveraging these rationales, we challenged maintainers' original decisions in four disputed cases, and all received approval.
• Abstract（参考訳）: Invalidのイシューレポートはオープンソースソフトウェア(OSS)プロジェクトで普及しており、すでに燃え尽きるリスクに直面しているメンテナにかなりの負担を課している。 これまでの研究は、特定の問題カテゴリ(例えば、バグや修正)の無効なレポートの特定に重点を置いてきた。 さらに、既存の手法は、予測の説明や検証をほとんどサポートしておらず、メンテナにとって実用性が低下している。 LLMをベースとしたエージェントの出現に伴い、全ての問題種にわたる不確実性の原因の包括的理解が、十分な根拠を導きながら、妥当性評価性能を向上させることができるかどうかは不明である。 そこで我々はまず,3つのOSSプロジェクト(パンダ,シキトラーン,マイピー)からの520件の報告を手動でアノテートし,その結果,257件の無効報告と263件の有効報告を得た。 そこで本研究では,これらの無効報告のテーマ分析を行い,課題タイプに密接に関連している13の障害原因を同定した。 これらの知見に基づいて,動的にコマンドを実行する型認識妥当性評価戦略を備えたエージェントベースのフレームワークである IssueLighter を提案する。 実験結果から,IssueLighterは,平均F1改善率20パーセント以上で,すべてのベースライン手法を一貫して,実質的に上回っていることがわかった。 アブレーション研究は、タイプアウェア戦略と無効の原因の分類の両方がパフォーマンス向上に寄与していることを確認した。 質的な分析により、IssueLighterは、正確に特定された無効性の原因と証拠によって支持された有理性を生成することが示される。 さらに, これらの根拠を活かして, 4件の紛争事例において, メンテナの当初の判断に異議を唱え, 全員の承認を得た。

関連論文リスト

• NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
  大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。 既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。 本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
  論文  参考訳（メタデータ） (2026-09-10T08:34:56Z)
• When Passing Tests Hides Vulnerabilities: An Empirical Study of Silent Failures in Agentic Systems [4.495819148271923]
  サイレント障害の3つの主要なカテゴリは、許可、導入、不適切である。 10のきめ細かい障害コードはこれらの3つのカテゴリに分類され、どのようにエージェントがセキュリティ制御を省略するかを示している。 同様の安全でないソリューションは、さまざまなフレームワークにまたがって現れ、モデル、プロンプト、タスクレベルの影響を共有できる可能性が示唆された。
  論文  参考訳（メタデータ） (2026-06-25T10:37:21Z)
• Three Heads Are Better Than One: A Multi-perspective Reasoning Framework for Enhanced Vulnerability Detection [17.33447267029733]
  本稿では,3種類のLLMエージェントの認知シナジーを利用した多視点推論フレームワークReasonVulを提案する。 フレームワークはソースコードの独立した分析から始まり、続いてコンフリクトを解決するための構造化された議論メカニズムが続く。 我々は542のコンフリクトケースを分析し、389が正しく解決されたことを発見し、隠れた脆弱性を明らかにするフレームワークの能力を強調した。
  論文  参考訳（メタデータ） (2026-05-18T09:57:22Z)
• Characterizing the Failure Modes of LLMs in Resolving Real-World GitHub Issues [10.34693262597204]
  大きな言語モデル(LLM)は、現実のGitHub問題を解決するために、ますます多くデプロイされている。 本稿では,SWE-bench検証データセット上で,Claude 4.5 Sonnet,Gemini 3 Pro,GPT-5の3つの最先端モデルを評価する。 全治験900回にわたる243回の失敗試験の根本原因と症状の厳密な手作業による分析を行った。
  論文  参考訳（メタデータ） (2026-05-12T15:34:57Z)
• Evaluating LLMs in Finance Requires Explicit Bias Consideration [88.38155218924999]
  ファイナンス固有のバイアスは、パフォーマンスを低下させ、バックテストを汚染し、報告された結果をデプロイメントのクレームに役に立たないものにする。 一つのバイアスが28%以上の研究で議論されることはない。 本稿では,バイアス診断と将来のシステム設計のための最小限の要件を満たす構造的妥当性フレームワークと評価チェックリストを提案する。
  論文  参考訳（メタデータ） (2026-02-15T17:02:01Z)
• VulnRepairEval: An Exploit-Based Evaluation Framework for Assessing Large Language Model Vulnerability Repair Capabilities [41.85494398578654]
  VulnRepairEvalは、関数型Proof-of-Conceptエクスプロイトに固定された評価フレームワークである。 我々のフレームワークは、再現可能な微分評価を可能にする包括的でコンテナ化された評価パイプラインを提供する。
  論文  参考訳（メタデータ） (2025-09-03T14:06:10Z)
• Everything You Wanted to Know About LLM-based Vulnerability Detection But Were Afraid to Ask [30.819697001992154]
  大規模言語モデルは、自動脆弱性検出のための有望なツールである。 LLMは現実世界の脆弱性を検出するのに本当に効果的か? 本稿では, LLM は (i) 信頼できないこと, (ii) コードパッチに敏感であること, (iii) モデルスケールにまたがる性能評価の3つを, 広く支持されているコミュニティの信念に異議を唱える。
  論文  参考訳（メタデータ） (2025-04-18T05:32:47Z)
• MR-GSM8K: A Meta-Reasoning Benchmark for Large Language Model Evaluation [60.65820977963331]
  大規模言語モデル(LLM)のための新しい評価パラダイムを導入する。 このパラダイムは、しばしば推論プロセスを無視する結果指向の評価から、より包括的な評価へと重点を移す。 GSM8Kデータセットにこのパラダイムを適用し,MR-GSM8Kベンチマークを開発した。
  論文  参考訳（メタデータ） (2023-12-28T15:49:43Z)
• Competition-Level Problems are Effective LLM Evaluators [121.15880285283116]
  本稿では,Codeforcesにおける最近のプログラミング問題の解決において,大規模言語モデル(LLM)の推論能力を評価することを目的とする。 まず,問題の発生時間,難易度,遭遇したエラーの種類など,様々な側面を考慮して,GPT-4の望ましくないゼロショット性能を総合的に評価する。 驚くべきことに、GPT-4のTheThoughtivedのパフォーマンスは、2021年9月以降、あらゆる困難と種類の問題に対して一貫して問題が減少するような崖を経験している。
  論文  参考訳（メタデータ） (2023-12-04T18:58:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。