論文の概要: Do AI Coding Assistants Check Before They Install? A Pre-Registered Demand-Side Audit of Trust Signals in the Research Software Supply Chain
- arxiv url: http://arxiv.org/abs/2609.07754v1
- Date: Mon, 07 Sep 2026 16:55:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.487712
- Title: Do AI Coding Assistants Check Before They Install? A Pre-Registered Demand-Side Audit of Trust Signals in the Research Software Supply Chain
- Title（参考訳）: AIのコーディングアシスタントはインストール前にチェックする? 研究ソフトウェアサプライチェーンにおける信頼信号の事前登録された需要側監査
- Abstract要約: 我々は6つのオープンソースプロジェクトに関する制御された研究を行っている。
アシスタントが言ったことではなく、コンテナログから振る舞いをスコアします。
私たちは、裁判所ごとのコスト台帳、プロトコル、そしてすべてのログをリリースします。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI coding assistants now select, install, and configure software, and attackers have exploited that position through invented package names, compromised maintainer accounts, and manipulated repository text. In response, the supply-chain community publishes machine-checkable trust signals: software bills of materials, signed releases, build provenance attestations, and declared official channels. Whether coding assistants read or act on those signals has not been measured for any of these classes on research software. We pre-registered and ran a controlled study on six open-source research software projects (three HPC, three quantum computing) drawn from an 87-project corpus, with protocol, seed, panel, and analysis plan deposited with a DOI before any trial. W created nine modified copies for each project: no signal, one per signal class, two with a signature or attestation from the wrong issuer, one with all four signals, and one reproducing documented conflicts in the project's own metadata. Three models under two ways of operating an assistant, with and without an approval step, gave 1,920 registered trials, plus a supplement on three frontier models. We scored behavior from container logs rather than from what the assistant said, and recorded the cost of every trial. Verification was rare under every condition: in 9 of 1,920 registered trials (0.5%), the assistant opened any provenance signal before installing in 0 of 384 control trials, and no trial ran a verification command, so signal presence had no measurable effect. We drew three conclusions: publishing signals is necessary but not sufficient; price did not buy verification (the model that verified most often costs $0.10 per trial; the most capable, at $1.00, verified nothing); verification must be built into the program that runs the assistant. We release the per-trial cost ledger, the protocol, and every log.
- Abstract（参考訳）: AIコーディングアシスタントがソフトウェアを選択、インストール、設定し、攻撃者は発明されたパッケージ名、メンテナアカウントの漏洩、リポジトリテキストの操作を通じてその位置を利用した。
これに対し、サプライチェーンコミュニティは、資料のソフトウェア請求書、署名されたリリース、証明の立証、公式チャネルの宣言といった、マシンチェック可能な信頼シグナルを公開している。
コーディングアシスタントがこれらの信号を読み取るか行動するかは、研究ソフトウェア上のどのクラスでも測定されていない。
我々は、87のプロジェクトコーパスから引き出された6つのオープンソース研究ソフトウェアプロジェクト(3つのHPC、3つの量子コンピューティング)について、プロトコル、シード、パネル、分析計画を事前登録し、試験前にDOIに預けた。
信号なし、信号クラス1つ、間違った発行者からの署名や証明なしの2つ、すべての4つの信号を持つ1つ、プロジェクト自身のメタデータで文書化されたコンフリクトを再現する1つである。
アシスタントを2つのやり方で運用する3つのモデルには、承認手続きと無許可で、1,920の登録トライアルと3つのフロンティアモデルの補充が与えられた。
私たちは、アシスタントが言ったことではなく、コンテナログから振る舞いを記録し、すべてのトライアルのコストを記録しました。
登録試験1,920件中9件(0.5%)では、384件の制御試験の0件に導入する前に証明信号を開いたが、検証命令は実行されなかったため、信号の存在は測定不可能であった。
我々は3つの結論を導いた: 公開信号は必要だが十分ではない; 価格は検証を買わなかった (最も検証されたモデルは1回のトライアルあたり0.10ドル、最も有能なものは1.00ドル、検証なし) ; 検証はアシスタントを実行するプログラムに組み込まれなければならない。
私たちは、裁判所ごとのコスト台帳、プロトコル、そしてすべてのログをリリースします。
関連論文リスト
- How to Speculate about Uncertainty in Agentic Coding? A Draft-Model Gate Method [4.37919186746582]
ブラックボックスエージェントの予測故障信号を復元する手法である投機的不確実性(SU)を提案する。
我々は、推論とアクションスパンを分離して位相認識の特徴を抽出し、検証対象に対して校正する。
SUは、ルーティング、人間の介入、テストタイムの余分な計算など、ダウンストリームポリシーが直接的に消費できる、障害に似たスコアを生成する。
論文 参考訳（メタデータ） (2026-09-04T15:30:22Z) - Beyond Code Generation: Reliability, Verification, and Cost Economics in the Agentic Software Development Lifecycle [0.0]
AIコーディングシステムは、自動補完とチャットから、リポジトリを検査し、複数のファイルを編集し、ツールを実行し、テストを書き、プルリクエストをオープンし、監督が限定された長時間作業できるエージェントへと移行している。
近年のフィールド研究は、コーディング活動において有意義な利得を示しているが、より新しい証拠は、それらの利得が、コードを書き込むことと、信頼性の高いソフトウェアを出荷するの間に著しく弱まることを示している。
本稿では,ピアレビューされたソフトウェア工学の研究,大学研究,ベンチマーク監査,大手技術企業の生産報告,開発者テレメトリ,コスト管理のエビデンスを合成する。
論文 参考訳（メタデータ） (2026-09-04T03:16:30Z) - Verification-Aware Training for Speculative Decoding [57.84976863792784]
VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。
VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。
VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
論文 参考訳（メタデータ） (2026-08-31T01:42:10Z) - The Software Supply Chain as a Market for Lemons: A Multivocal Review of Trust Signal Collapse [7.528189885472288]
われわれは、Google Searchソース252とRedditスレッド870のマルチボーカルレビューを実施している。
安価な信頼シグナルは、敵の操作、正当な行動と区別できないゲーム技術、非敵のAI駆動インフレーションという3つの同時的な力の下で崩壊する。
論文 参考訳（メタデータ） (2026-08-21T02:23:53Z) - Auditing Generalization in AI-Generated Video Detection: A Six-Control Protocol and the VidAudit Toolkit [8.665845754660458]
AI生成ビデオ検出のGenVidBenchとAIGVDBenchが事実上のリーダーボードだ。
ほとんどの評価プロトコルは、報告された一般化を拡大できる制御されていない欠点を残している。
20紙の調査では、これをキャッチする標準的な6つのコントロールをすべて適用していない。
それらを監査プロトコルに組み合わせて、6つの代表的な特徴源に適用する。
論文 参考訳（メタデータ） (2026-06-30T00:29:53Z) - Inductive Deductive Synthesis: Enabling AI to Generate Formally Verified Systems [100.24694338574402]
本稿では,インダクティブ・デダクティブ・シンセシス(IDS)について述べる。
IDSは約6.8時間で7/7を達成し、1仕様あたり106ドル、専門家の努力の約200倍、SOTAエージェントの約17%を達成している。
IDSはパフォーマンスフィードバックを同じループに組み込んでおり、検証されたシステムよりも最大3倍高速な実装を実現している。
論文 参考訳（メタデータ） (2026-05-22T00:05:36Z) - Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。
各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。
これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
論文 参考訳（メタデータ） (2026-04-20T13:25:40Z) - ElephantBroker: A Knowledge-Grounded Cognitive Runtime for Trustworthy AI Agents [45.88028371034407]
ElephantBrokerはオープンソースの認知ランタイムで、Neo4jナレッジグラフとQdrantベクトルストアを統合する。
このシステムは、ハイブリッド5ソース検索パイプラインからなる完全な認知ループ(ストア、検索、スコア、構成、保護、学習)を実装している。
論文 参考訳（メタデータ） (2026-03-26T07:03:12Z) - One Signature, Multiple Payments: Demystifying and Detecting Signature Replay Vulnerabilities in Smart Contracts [56.94148977064169]
署名の使用状況のチェックが不足すると、繰り返し検証が行われ、許可の不正使用のリスクが増大し、契約資産が脅かされる可能性がある。
我々はこの問題をSignature Replay Vulnerability (SRV) として定義する。
37のブロックチェーンセキュリティ企業を対象とした1,419の監査報告から、詳細なSRV記述と5種類のSRVを分類した108を識別しました。
論文 参考訳（メタデータ） (2025-11-12T09:17:13Z) - $\texttt{Droid}$: A Resource Suite for AI-Generated Code Detection [75.6327970381944]
$textbf$textttDroidCollection$$は、機械生成コード検出器のトレーニングと評価のためのオープンデータスイートである。
これには100万以上のコードサンプル、7つのプログラミング言語、43のコーディングモデルからの出力、3つの実世界のコーディングドメインが含まれている。
また、$textttDroidCollection$$でマルチタスクでトレーニングされたエンコーダのみの検出器も開発しています。
論文 参考訳（メタデータ） (2025-07-11T12:19:06Z) - AI ATAC 1: An Evaluation of Prominent Commercial Malware Detectors [3.0909095595694724]
本研究は,6つの有名な商用エンドポイントマルウェア検出装置,ネットワークマルウェア検出装置,およびサイバー技術ベンダーによるファイル検証アルゴリズムの評価を行う。
この評価は、アメリカ海軍の資金提供を受けたり、完成したりして、AI ATAC(Artificial Intelligence Applications to Autonomous Cybersecurity)賞の1つとして管理された。
論文 参考訳（メタデータ） (2023-08-28T18:46:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。