論文の概要: Evaluating the Impact of Explainable AI on Trust in AI-Assisted Code Review
- arxiv url: http://arxiv.org/abs/2607.24601v1
- Date: Mon, 27 Jul 2026 16:04:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-28 22:34:15.504172
- Title: Evaluating the Impact of Explainable AI on Trust in AI-Assisted Code Review
- Title（参考訳）: AI支援コードレビューにおける説明可能なAIの信頼への影響評価
- Abstract要約: 我々は,説明可能なAI(XAI)がAI支援コードレビューの開発者信頼に与える影響について検討した。
信頼感、AIレコメンデーションとの合意、各決定に対する推論、時間を測定しました。
- 参考スコア（独自算出の注目度）: 3.08933193053743
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Background: Large language models (LLMs) are increasingly used to automate code review, but the reasoning behind their decisions remains hard to understand. Developers struggle to assess the validity of LLM-generated reviews, making it difficult to gauge how much trust to place in them. The role of Explainable AI (XAI) in code review and its impact on trust remain underexplored. Objective: We study the influence of XAI on developer trust in AI-assisted code reviews. Method: We conducted a within-subjects user study with 34 participants, comparing three LLM-based code review systems with varying levels of XAI support: Condition A (detailed explanation and review feedback), Condition B (review feedback only), and Condition C (no explanations). Participants reviewed real-world code change requests alongside the AI-generated reviews. We measured trust perceptions, agreement with the AI recommendation, the reasoning given for each decision, and the time taken. Results: The level of explanation significantly influences both trust and agreement with AI recommendations, but in different ways. Full explanations (A) yield the highest perceived trust (M = 3.99/5) but not the highest agreement, whereas moderate explanations (B) achieve the highest agreement (89.22%). This could suggest that more explanation prompts developers to question AI recommendations more frequently. No explanations (C) results in the lowest trust and agreement. Explanation level did not significantly affect review time. The most commonly cited reasons for decisions were code readability and correctness. Conclusion: Incorporating XAI into code review significantly changes trust perceptions and agreement with AI recommendations. These results inform the design and evaluation of trustworthy AI-based code review systems, as well as studies on the human factors of AI-assisted software development.
- Abstract（参考訳）: 背景: 大規模な言語モデル(LLM)はコードレビューを自動化するためにますます使われていますが、意思決定の背後にある理由を理解するのは難しいです。
開発者はLCMが生成したレビューの有効性を評価するのに苦労し、そのレビューにどれだけの信頼を置くかを評価するのが難しい。
コードレビューにおける説明可能なAI(XAI)の役割と信頼への影響は、いまだ過小評価されている。
目的:XAIがAI支援コードレビューの開発者信頼に与える影響について検討する。
方法:34名の被験者を対象に,条件A(詳細な説明とレビューのフィードバック),条件B(レビューのフィードバックのみ),条件C(説明なし)の3つのLCMベースのコードレビューシステムと,XAIサポートのレベルを比較した。
参加者は、AI生成レビューと並行して、現実世界のコード変更要求をレビューした。
我々は、信頼感、AIレコメンデーションとの合意、各決定に対する推論、時間を測定した。
結果: 説明のレベルは、信頼とAIレコメンデーションとの合意の両方に大きく影響しますが、異なる方法で。
完全な説明(A)は最高信頼(M = 3.99/5)を得るが、最高合意(B)は最高信頼(89.22%)を得る。
このことは、より多くの説明が、開発者がAIレコメンデーションにもっと頻繁に疑問を呈することを示唆している。
最低限の信頼と合意をもたらす説明(C)はない。
説明のレベルはレビュー時間に大きく影響しなかった。
最もよく引用される決定の理由は、コードの可読性と正確性である。
結論:XAIをコードレビューに組み込むことで、信頼の認識とAIレコメンデーションとの合意を大きく変えます。
これらの結果は、信頼できるAIベースのコードレビューシステムの設計と評価、およびAI支援ソフトウェア開発の人的要因に関する研究を知らせる。
関連論文リスト
- Code Review is a Conversation: Toward Conversational AI Review Assistants [7.335667281862373]
我々は、静的コメントジェネレータではなく、対話的なパートナーとしてコードレビューに参加する会話型AIレビューアシスタントについて議論する。
このようなアシスタントは、会話がいつ必要かを特定し、根拠のある質問をし、開発者説明に答え、未解決の問題を要約し、合理性を捉え、いつ人間レビュアーを棄却するか、エスカレートすべきかを知る必要がある。
論文 参考訳（メタデータ） (2026-07-24T08:44:05Z) - From Human-Centric to Agentic Code Review: The Impact of Different Generations of Generative AI Technology on Review Quality [3.7086626614863984]
私たちは、3つのコードレビュー期間に移行した207のGitHubプロジェクトからの1億200万のレビューされたプルリクエストを調査します。
エージェント関連のコラボレーションパターンは、Gradual AI AdoptionとRapid AI Agent Adoptionの下でのレビュー決定の迅速化に関連している。
これらの知見は、レビュー品質を弱めることなく効率を向上するAI支援のコードレビュープロセスを設計するための実証的なガイダンスを提供する。
論文 参考訳（メタデータ） (2026-07-14T18:48:20Z) - Rethinking Code Review in the Age of AI: A Vision for Agentic Code Review [2.2807488730605296]
本稿では,AIを利用したコードレビューワークフローの構想について述べる。
信頼性、バイアス、プライバシー、自動化バイアス、透明性、評価など、責任ある採用に対する大きなオープンな課題を特定します。
論文 参考訳（メタデータ） (2026-05-17T17:04:21Z) - Stop Automating Peer Review Without Rigorous Evaluation [51.53099943385505]
このポジションペーパーは、今日のAIシステムは、論文レビューの作成に使用すべきではない、と論じている。
1)AIレビュアーは、視点の多様性を低下させる論文内および新聞内における過剰な合意の隠れた効果を示す。
ピアレビューの危機に対処するには、ピアレビューの自動化の科学が必要です。
論文 参考訳（メタデータ） (2026-05-04T22:41:04Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - Human-AI Synergy in Agentic Code Review [3.7086626614863984]
我々は、人間レビュアーとAIエージェントによるフィードバックの違いを比較した。
人間のレビュアーは、人間が書いたコードよりもAI生成コードをレビューする場合、11.8%のラウンドを交換する。
AIエージェントからの未確認の提案の半数以上が間違っているか、開発者による代替修正によって対処されている。
論文 参考訳（メタデータ） (2026-03-16T20:56:18Z) - CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。
また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
論文 参考訳（メタデータ） (2025-08-28T06:03:11Z) - Code Review as Decision-Making -- Building a Cognitive Model from the Questions Asked During Code Review [2.8299846354183953]
コードレビューの認知モデルを構築し、翻訳された資料の主題的、統計的、時間的、シーケンシャルな分析を通じてボトムアップする。
まず、コンテキストと合理性を確立するための配向フェーズ、次に、レビューの残りの部分を理解し、評価し、計画するための分析フェーズです。
論文 参考訳（メタデータ） (2025-07-13T14:04:16Z) - Combining AI Control Systems and Human Decision Support via Robustness and Criticality [53.10194953873209]
我々は、逆説(AE)の方法論を最先端の強化学習フレームワークに拡張する。
学習したAI制御システムは、敵のタンパリングに対する堅牢性を示す。
トレーニング/学習フレームワークでは、この技術は人間のインタラクションを通じてAIの決定と説明の両方を改善することができる。
論文 参考訳（メタデータ） (2024-07-03T15:38:57Z) - Cybertrust: From Explainable to Actionable and Interpretable AI (AI2) [58.981120701284816]
Actionable and Interpretable AI (AI2)は、AIレコメンデーションにユーザの信頼度を明確に定量化し視覚化する。
これにより、AIシステムの予測を調べてテストすることで、システムの意思決定に対する信頼の基盤を確立することができる。
論文 参考訳（メタデータ） (2022-01-26T18:53:09Z) - The Who in XAI: How AI Background Shapes Perceptions of AI Explanations [61.49776160925216]
私たちは、2つの異なるグループ、つまりAIのバックグラウンドを持つ人々といない人たちの、異なるタイプのAI説明に対する理解について、混合手法による研究を行います。
その結果,(1) 両群は異なる理由から不合理な数に対する信頼を示し,(2) それぞれの群は意図した設計以上の異なる説明に価値を見出した。
論文 参考訳（メタデータ） (2021-07-28T17:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。