論文の概要: Beyond Lexical Metrics: Sentence-Embedding Detection of Reviewer Habituation in AI Code Review
- arxiv url: http://arxiv.org/abs/2609.06213v1
- Date: Sat, 05 Sep 2026 18:15:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-12 06:28:22.938908
- Title: Beyond Lexical Metrics: Sentence-Embedding Detection of Reviewer Habituation in AI Code Review
- Title（参考訳）: AIコードレビューにおけるレビュアビヘイビアの文埋め込み検出
- Abstract要約: 我々は11,429件のレビューと10,104件のAIによる人間によるインラインコメントを比較した。
審査員の早期の承認率は30.5%から後期の36.6%に上昇した。
語彙多様性、シャノンエントロピー、技術的特異性、建設的行動可能性の4つの手作り言語的特徴は、露光の奇形全体で単調な減少を示さない。
- 参考スコア（独自算出の注目度）: 2.9152186617858304
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Code review is a key quality checkpoint between AI-generated code and production. As AI coding agents submit pull requests at scale, it is unclear whether reviewers reduce scrutiny with repeated exposure and whether review comments reveal this change. We study 11,429 reviews from 400 repeat reviewers over 207 days, paired with 10,104 human-authored inline comments from AIDev. Approval rates rise from 30.5% in reviewers' early periods to 36.6% in late periods (Wilcoxon p = 8.6 x 10^-8; Cohen's d = 0.25). However, four hand-crafted linguistic features - lexical diversity, Shannon entropy, technical specificity, and constructive actionability - show no monotonic decline across exposure deciles (all Spearman absolute rho <= 0.53, p >= 0.11; Bonferroni-corrected Mann-Whitney p >= 0.36). A logistic-regression classifier based on these features reaches F1 = 0.485, below the majority-class baseline. Sentence-embedding structure does carry signal: reviewers' late-period comment centroids shift farther from their early-period centroids than under within-reviewer random permutations (Wilcoxon p < 0.001), and a small MLP using three embedding statistics reaches F1 = 0.74 under 5-fold reviewer-stratified cross-validation. Granger analysis shows that approval-rate changes predict later shifts in technical specificity at all tested lags (p < 0.001), while the reverse direction is significant at only one of four lags. Reviewer adaptation is therefore detectable in latent distributional structure rather than in classical lexical metrics, and language shifts follow rather than precede changes in approval behavior.
- Abstract（参考訳）: コードレビューは、AI生成コードとプロダクションの間の重要な品質チェックポイントである。
AIコーディングエージェントが大規模にプルリクエストを送信しているため、レビュアーが繰り返し露出することで精査を減らし、レビューコメントがこの変更を明らかにしているかどうかは不明だ。
AIDevからの10,104人の人間によるインラインコメントと組み合わせて、207日間に400人のリピートレビュアーによる11,429のレビューを調査した。
審査員の早期の承認率は30.5%から後期の36.6%に上昇する(ウィルコクソンp = 8.6 x 10^-8; コーエンd = 0.25)。
しかし, 4つの手作り言語的特徴(語彙多様性, シャノンエントロピー, 技術的特異性, 建設的動作性)は, 露光点における単調的な減少を示さない(全てのスピアマン絶対rho <= 0.53, p >= 0.11, Bonferroni-corrected Mann-Whitney p >= 0.36)。
これらの特徴に基づくロジスティック回帰分類器は、マジョリティクラスベースラインより下のF1 = 0.485に達する。
文埋め込み構造は信号を運ぶ: レビューアーの後期のコメントセントロイドは、レビューアー内乱数置換 (Wilcoxon p < 0.001) よりも早期のセントロイドより遠くに移動し、3つの埋め込み統計を用いた小さなMLPは5倍のレビューアー層によるクロスバリデーションの下でF1 = 0.74に達する。
グラガー分析により、承認率の変化は、すべての試験ラグ(p < 0.001)において、後続の技術的特異性の変化を予測し、逆方向は4ラグのうちの1つで有意であることが示された。
したがって、レビュアー適応は古典的な語彙の指標よりも遅延分布構造において検出可能であり、言語シフトは承認行動の変化に先立って従うことができる。
関連論文リスト
- From Code Review to Code Critique: Intent, Drift, and Spotlight for AI-Generated Diffs at Scale [2.8980676513012846]
ARCTICはAIを利用したCode Critiqueシステムで、インテント予測、ドリフト検出、コードスポットライトという3つの機能に関するコードレビューを再構築する。
実験的なロールアウトでは、ドリフトスコアは追加で5.76ポイント(p = 0.026)のコードアライメントを減少させ、インテント予測は90.2%の承認を受け、ゼロの欠陥はローンチ以来自己レビューによる差によるものである。
論文 参考訳（メタデータ） (2026-07-31T15:17:25Z) - Habituation at the Gate: Rising Approval and Declining Scrutiny in Human Review of AI Agent Code [7.362328661065831]
観察期間を7ヶ月に分けて再検討した再検討者について検討した。
住民レベルの承認率は30.1%から36.8%に変化している。
このシフトは、経験駆動(カレンダー時間制御後のパーソナリティ)、エージェント固有のレイテンシ(人間のPR承認率が同じ期間で減少する)、PRの難しさ(中間PRサイズは平坦)によって説明されない。
承認の上昇、コメントの努力の減少、待ち時間の増加の組合せは、合理的な信頼のキャリブレーション単独ではなく、作業負荷の増加下での反射的習慣と最も一致している。
論文 参考訳（メタデータ） (2026-06-21T23:38:33Z) - Anticipating the Optimism Gap: Predicting Distribution-Shift Degradation of RF-Impairment Detectors from In-Distribution Statistics [0.0]
電波障害の検知器は、通常、調整された分布で測定された単一のAUCで報告される。
アウト・オブ・ディストリビューション・データを見る前に、この楽観主義が予測できるかどうかを問う。
論文 参考訳（メタデータ） (2026-06-20T14:10:59Z) - FirstPass: Grounding AI Scientific Judgment in Multi-Round Editorial Outcomes [0.27998963147546146]
我々は、ピアレビューのためにAIの3つの側面すべてに対処するデータセットの微調整モデルであるFirstPassを紹介した。
我々は、強制的透明なピアレビュー(2022年11月設置)を活用し、自動監査により100%のコンテンツ完全性を検証する。
FirstPassは生成時に平均1,187ワードのレビューを生成し、ベースラインよりも人間の参照(2,155ワード)に近い。
論文 参考訳（メタデータ） (2026-06-18T15:06:36Z) - Quickest Detection of Hallucination Onset: Delay Bounds and Learned CUSUM Statistics [0.0]
幻覚のオンセット検出は 最も急激な変化検出問題です
因果リカレントラベル装置は、学習インクリメントを伴うCUSUMとして機能する。
低速アラームオンセット検出は困難である。
論文 参考訳（メタデータ） (2026-06-10T06:10:02Z) - Catching One in Five: LLM-as-Judge Blind Spots in Production Multi-Turn Transaction Agents [45.148328075418156]
デプロイされた多ターン食品・飲料注文エージェントについて検討し,実際の品質問題の数を測定した。
私たちの盲点分類は、失敗はランダムではなく構造化されていることを示している。
プロダクションマルチターンエージェントでは、自動判断はリグレッションフロアであり、人間のレビューの代わりにはならない。
論文 参考訳（メタデータ） (2026-06-09T02:11:01Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - Can Humans Tell? A Dual-Axis Study of Human Perception of LLM-Generated News [47.03825808787752]
人間は、ニュース記事が人によって書かれたか、あるいは大きな言語モデル(LLM)によって書かれたかを知ることができますか?
本稿では,人間対機械(人間対機械)と正当性判定(正当性対偽判定)を連続的なスケールで測定する研究プラットフォームであるJiceGPTを用いて,この問題を考察する。
筆者らは,(1) 被験者が人文テキストから機械生成物を確実に識別できないこと,(2) 認知疲労による約30回の連続的な評価の後,その精度が低下すること,の5つを報告した。
論文 参考訳（メタデータ） (2026-04-04T15:03:42Z) - ORCA: Open-ended Response Correctness Assessment for Audio Question Answering [41.72231074041232]
本研究では,予測精度と不確実性の両方を予測するために,ベータ分布を用いた人的判断の変動をモデル化するフレームワークORCAを提案する。
我々は15のLALMから11,721のアノテーションを収集し,0.82(クリッペンドルフのα)のアノテータ間契約を達成した。
論文 参考訳（メタデータ） (2025-11-28T14:41:48Z) - TARG: Training-Free Adaptive Retrieval Gating for Efficient RAG [46.122203287541005]
トレーニングフリーのAdaptive Retrieval Gating (TARG) は、ベースモデルからの短い非遅延ドラフトのみを使用していつ取得するかを決定する、単発のポリシーである。
NQ-Open、TriviaQA、PopQAでは、TARGは一貫して精度と効率のフロンティアをシフトさせる。
論文 参考訳（メタデータ） (2025-11-12T23:09:52Z) - Group-Adaptive Threshold Optimization for Robust AI-Generated Text Detection [58.419940585826744]
本稿では,確率的AIテキスト検出のためのグループ固有しきい値最適化アルゴリズムであるFairOPTを紹介する。
属性(例えば、テキストの長さと書き込みスタイル)に基づいてデータをサブグループに分割し、FairOPTを実装して、各グループに対する決定しきい値の学習を行い、不一致を低減しました。
我々のフレームワークは、後処理によるAI生成コンテンツ検出において、より堅牢な分類の道を開く。
論文 参考訳（メタデータ） (2025-02-06T21:58:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。