論文の概要: How Researchers Use and Verify AI Coding Assistants: Tasks and Validation Practices in Scientific Programming
- arxiv url: http://arxiv.org/abs/2609.22049v1
- Date: Fri, 18 Sep 2026 17:41:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-21 18:40:17.226521
- Title: How Researchers Use and Verify AI Coding Assistants: Tasks and Validation Practices in Scientific Programming
- Title（参考訳）: AIコーディングアシスタントの使い方と検証 - 科学プログラミングにおけるタスクと検証の実践
- Abstract要約: コードを書いた研究者の2025年の調査には,527のフリーテキスト応答が提供されている。
それぞれの回答では、研究者は自分の仕事から1つのタスク、AIツールの使い方、結果を評価するために何をしたか、を振り返る。
我々は,タスクと評価戦略をコーディングし,プログラミング経験,研究領域,信頼性評価に関連づけた。
- 参考スコア（独自算出の注目度）: 3.95201597251006
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative AI has entered research programming, yet there is little evidence about which tasks researchers hand to it or how they decide whether its code is correct. We draw on 527 free-text responses to a 2025 survey of researchers who write code, most of them at U.S. universities. In each response, a researcher recounts a single task from their own work, the way they used an AI tool for it, and what they did to assess the result. We coded the task and the evaluation strategies reported, and related both to programming experience, research area, and confidence ratings. Use was concentrated in five tasks: data handling, visualization, debugging, mathematical/scientific computing, and statistical analysis. Evaluation was informal and individual. Over half of accounts described running the generated code, while automated tests and review by another person were rare. Use cases and evaluation strategies varied little with programming experience, but confidence did: Less experienced programmers trusted the AI more than themselves, and experienced programmers the reverse. Evaluation confidence was not associated with the strategies reported. Its strongest correlates were confidence in the tool and in oneself. Validating AI contributions to scientific code rested largely on individual judgment, outside shared infrastructure for testing or review. Interfaces could support task-appropriate evaluation rather than leave it to the user.
- Abstract（参考訳）: ジェネレーティブAIは研究プログラムに参入しているが、研究者がどのタスクを手渡すか、どのようにコードが正しいかを判断するかについての証拠はほとんどない。
われわれは、2025年の調査で527件の無料テキストの回答を引用している。
それぞれの回答では、研究者が自身の作業から1つのタスク、AIツールの使い方、結果を評価するために何をしたのかを振り返る。
我々は,タスクと評価戦略をコーディングし,プログラミング経験,研究領域,信頼性評価に関連づけた。
データ処理、可視化、デバッグ、数学的・科学的計算、統計解析の5つのタスクに集中していた。
評価は非公式で個人的だった。
生成されたコードの実行を記述したアカウントの半分以上は、自動テストと他の人によるレビューはまれでした。
経験の浅いプログラマは、AIを自分自身よりも信頼し、経験の少ないプログラマは、その逆を信じていました。
評価信頼度は, 報告された戦略に関連付けられなかった。
最強の相関関係は、ツールと自分自身への信頼であった。
科学的コードに対するAIコントリビューションの検証は、テストやレビューのための共有インフラストラクチャの外での個々の判断に大きく依存した。
インターフェースはユーザに任せるのではなく、タスクに適した評価をサポートすることができる。
関連論文リスト
- How Do Software Professionals Evaluate AI-Generated Code? (Registered Report) [4.3772632092306045]
生成AIツールの最近の進歩は、ソフトウェアプロフェッショナルがコードを書き、評価し、操作する方法を大きく変えた。
これらのツールの採用の増加と依存にもかかわらず、ソフトウェア専門家が生成したコードをどのように評価するかは、まだ不明である。
この研究は、ソフトウェアプロフェッショナルがAI生成コードを評価する方法の理論を構築することを目的としている。
論文 参考訳（メタデータ） (2026-07-10T14:01:00Z) - AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。
我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。
障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
論文 参考訳（メタデータ） (2026-05-18T17:08:26Z) - More code, less validation: Risk factors for over-reliance on AI coding tools among scientists [3.5398689122254763]
コード生成が可能な生成AIツールは、科学プログラマをサポートする可能性があるが、ユーザリサーチは、過度な信頼のリスクを示している。
採用パターン,ツールの嗜好,生産性の認知に関連する要因をプログラムし,調査した868名の科学者を対象に調査を行った。
論文 参考訳（メタデータ） (2025-12-22T18:17:54Z) - How Students Use Generative AI for Software Testing: An Observational Study [3.2402950370430497]
本研究では、初心者ソフトウェア開発者がエンジニアリングユニットテストのために生成AIとどのように相互作用するかを検討する。
我々は,テストアイデアとテスト実装が生成AIに由来するか,参加者によって定義された4つのインタラクション戦略を特定した。
学生は、時間節約、認知負荷の低減、テスト思考のサポートなどの利点を報告したが、信頼の低下、テスト品質の懸念、所有権の欠如といった欠点も指摘した。
論文 参考訳（メタデータ） (2025-10-12T11:31:41Z) - Code with Me or for Me? How Increasing AI Automation Transforms Developer Workflows [60.04362496037186]
本研究は,コーディングエージェントと開発者インタラクションを制御した最初の研究である。
我々は,2つの主要な協調型およびエージェント型符号化アシスタントの評価を行った。
結果から,エージェントはコピロトを超える方法で開発者を支援することができることがわかった。
論文 参考訳（メタデータ） (2025-07-10T20:12:54Z) - From Reproduction to Replication: Evaluating Research Agents with Progressive Code Masking [48.90371827091671]
AutoExperimentは、AIエージェントの機械学習実験の実装と実行能力を評価するベンチマークである。
我々は最先端のエージェントを評価し、n$が増加するにつれて性能が急速に低下することを発見した。
本研究は、長期コード生成、文脈検索、自律的な実験実行における重要な課題を浮き彫りにした。
論文 参考訳（メタデータ） (2025-06-24T15:39:20Z) - Towards Decoding Developer Cognition in the Age of AI Assistants [9.887133861477233]
本稿では,生理的計測(EEGとアイトラッキング)とインタラクションデータを組み合わせて,AI支援プログラミングツールの開発者による使用状況を調べるための制御された観察的研究を提案する。
私たちは、認知負荷とタスク完了時間を計測しながら、AIアシストの有無に関わらず、プログラムタスクを完了させるために、プロの開発者を募集します。
論文 参考訳（メタデータ） (2025-01-05T23:25:21Z) - Automated Focused Feedback Generation for Scientific Writing Assistance [6.559560602099439]
SWIF$2$T:Scientific WrIting Focused Feedback Tool。
特定の、実行可能な、一貫性のあるコメントを生成し、科学論文の弱点を特定したり、修正案を提案するように設計されている。
科学的論文の弱点を引用し,300件の査読データセットを収集し,人的評価を行う。
その結果, SWIF$2$Tのフィードバックは, 他のアプローチと比較して, 特異性, 読みやすさ, 全体的な有用性を示した。
論文 参考訳（メタデータ） (2024-05-30T20:56:41Z) - Generation Probabilities Are Not Enough: Uncertainty Highlighting in AI Code Completions [54.55334589363247]
本研究では,不確実性に関する情報を伝達することで,プログラマがより迅速かつ正確にコードを生成することができるかどうかを検討する。
トークンのハイライトは、編集される可能性が最も高いので、タスクの完了が早くなり、よりターゲットを絞った編集が可能になることがわかりました。
論文 参考訳（メタデータ） (2023-02-14T18:43:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。