論文の概要: Building AI-Intensive Software with AI: Early Results and a Cautionary Tale on Measuring Development Cost
- arxiv url: http://arxiv.org/abs/2608.13730v1
- Date: Thu, 13 Aug 2026 19:44:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-17 20:14:29.204506
- Title: Building AI-Intensive Software with AI: Early Results and a Cautionary Tale on Measuring Development Cost
- Title（参考訳）: AIによるAI集約ソフトウェアの構築 - 初期の成果と開発コストの測定に関する注意書き
- Abstract要約: 3層モデルで開発を行い、当初19.4倍のコスト比を報告した。
フォローアップパスでは, 約2倍に膨らませる2つの独立した誤差がみられた。
我々は、この補正を、それ自体で早期で一般化可能な発見として提示する。
- 参考スコア（独自算出の注目度）: 0.3779860024918729
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Empirical reports on the true cost of AI-intensive software development remain scarce, and the few that exist are easy to get wrong in ways that never surface in the final number. We report early results from an ongoing case study: a six-person student team built a full conversational onboarding assistant -- RAG-based code chat, guided tours, dependency graphs, technical-debt analysis -- over one academic term using pervasive AI assistance. We instrumented development with a three-layer cost model (real AI spend, self-reported human effort, human counterfactual) and initially reported a 19.4x cost ratio. A follow-up pass revealed two independent errors -- inferring per-token cost under a flat-rate subscription, and pricing the counterfactual with the wrong regional labor rates -- that together had inflated the ratio by roughly 2x; the corrected figure is ~9.9x. We present this correction as an early, generalizable finding in its own right: both errors are easy to make, invisible in the final number, and plausibly common in similar reports. We outline next steps toward a more robust, replicable costing methodology for AI-intensive development.
- Abstract（参考訳）: AI集約型ソフトウェア開発の真のコストに関する実証レポートは、いまだに少なく、最終的な数に現れない方法で、間違いを犯すことは容易である。
6人の学生チームが、RAGベースのコードチャット、ガイド付きツアー、依存性グラフ、技術的負債分析といった完全な会話型オンボーディングアシスタントを、幅広いAIアシストを使用して1つの学術用語で構築しました。
私たちは3層コストモデル(実際のAI支出、自己報告された人的努力、人間の偽物)で開発を行い、当初19.4倍のコスト比を報告しました。
続くパスでは、フラットレートのサブスクリプションで1件当たりのコストを見積もる2つの独立したエラーが明らかになった。
どちらの誤りも容易に作成でき、最終数では見えず、同様の報告でもっとも一般的なものである。
AI集約開発のための、より堅牢でレプリカ可能なコスト方法論に向けた次のステップを概説する。
関連論文リスト
- AI Research Preference Models [87.14303218008381]
研究エージェントは、独自の機械学習実験を提案し、実装し、評価することができる。
フロンティア作業の進行は コストで妨げられています
我々は、複数の候補ソリューションのどれが実行価値が最も高いかを予測するAI Research Preference Models(RPM)を紹介する。
論文 参考訳（メタデータ） (2026-08-14T04:20:37Z) - Faster Completion, Less Learning: Generative AI Reduced Study Time on Math Problems and the Knowledge They Build [0.6524460254566904]
自己報告による調査はほとんど変化を示さないが、小規模の行動研究では、学習結果を測定するための尺度や期間のないAIの利用が広く報告されている。
私たちは、タイム・オン・タスク分析のために、ALEKSの学習インタラクションを320万ドルで10年のパネルで行います。
これらの結果は、生成的AIが学生の学習方法と彼らが構築した知識を変化させた最初の大規模行動と結果の証拠である。
論文 参考訳（メタデータ） (2026-05-20T18:40:53Z) - AI for Auto-Research: Roadmap & User Guide [107.0834449839233]
研究ライフサイクル全体にわたってAIをエンドツーエンドに分析する。
我々は、信頼できる援助と信頼できない自律性の間に、鋭くステージに依存した境界を特定できる。
障害モードを排除するのではなく、より大きな自動化が不明瞭であることが示されています。
論文 参考訳（メタデータ） (2026-05-18T17:08:26Z) - Cost-Aware Learning [72.31444819326795]
本稿では,異なるコンポーネント関数をサンプリングするコスト認識学習の問題点について考察する。
凸関数に対するコスト・アウェア・Descentアルゴリズムを提案し、そのコスト複雑性を導出し誤差を$$$とする。
本稿では,性能を保ちつつポリシー最適化のコストを削減するアルゴリズムであるCost-Aware GRPOを紹介する。
論文 参考訳（メタデータ） (2026-04-30T15:39:09Z) - The Novelty Bottleneck: A Framework for Understanding Human Effort Scaling in AI-Assisted Work [4.726153739634646]
新規性ボトルネックと呼ばれるメカニズムを分離した人間とAIのコラボレーションモデルを提案する。
モデルはタスクが原子的な決定に分解されると仮定する。
私たちの貢献は、人間の努力が線形にスケールしなければならないという証拠ではありません。
論文 参考訳（メタデータ） (2026-03-28T22:50:13Z) - Overcoming the Incentive Collapse Paradox [1.529342790344802]
AIの精度が向上するにつれて、ポジティブな人間の努力を維持するには、無制限の支払いが必要である。
本稿では,人的努力の厳密な肯定的かつコントロール可能なレベルを強制するセンチネル監査方式を提案する。
実験では、標準的なアクティブラーニングや監査のみのベースラインと比較して、コストエラーのトレードオフが改善された。
論文 参考訳（メタデータ） (2026-03-27T23:37:37Z) - Why Are AI Agent Involved Pull Requests (Fix-Related) Remain Unmerged? An Empirical Study [5.127121704630949]
AIDEV POPデータセットから広く使用されている5つのAIコーディングエージェントによって作成された8,106の修正関連PRを分析した。
以上の結果から,他のPRによるテストケース障害や,同じ問題に対する事前解決が,非統合の最も一般的な原因であることが示唆された。
論文 参考訳（メタデータ） (2026-01-29T22:06:58Z) - Holistic Agent Leaderboard: The Missing Infrastructure for AI Agent Evaluation [87.47155146067962]
数百のタスクで並列評価をオーケストレーションする,標準化された評価ハーネスを提供する。
モデル、足場、ベンチマークにまたがる3次元解析を行う。
私たちの分析では、ほとんどのランで精度を低下させる高い推論努力など、驚くべき洞察が示されています。
論文 参考訳（メタデータ） (2025-10-13T22:22:28Z) - Cost-Optimal Active AI Model Evaluation [71.2069549142394]
生成AIシステムの開発には、継続的な評価、データ取得、アノテーションが必要である。
我々は、安価だがしばしば不正確で弱いレーダの使用を積極的にバランスさせる新しいコスト認識手法を開発した。
我々は、弱者と強者の間で所定のアノテーション予算を割り当てるためのコスト最適化政策のファミリーを導出する。
論文 参考訳（メタデータ） (2025-06-09T17:14:41Z) - AI-Assisted Human Evaluation of Machine Translation [51.07772996528965]
我々は、リコール指向の自動品質推定でエラーアノテーションをプリフィルすることでアノテータを支援する。
このAIアシストにより、アノテーションごとの時間を半分に減らしながら、同じ品質レベルでアノテーションを得ることができます。
論文 参考訳（メタデータ） (2024-06-18T09:12:11Z) - Explanations Can Reduce Overreliance on AI Systems During
Decision-Making [12.652229245306671]
我々は、AIの説明に携わるか否かを戦略的に選択し、AIの説明が過信を減少させるシナリオが存在することを示した。
我々は迷路タスクのコストと利益を操作し、参加者は迷路の出口を見つけるためにシミュレーションAIと協力する。
文献で見いだされた無効効果のいくつかは、AIの予測を検証するコストを十分に削減していない説明によるものである可能性が示唆された。
論文 参考訳（メタデータ） (2022-12-13T18:59:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。