論文の概要: AIChilles: Automatically Uncovering Hidden Weaknesses in AI-Evolved Systems
- arxiv url: http://arxiv.org/abs/2606.15834v1
- Date: Sun, 14 Jun 2026 14:24:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.882399
- Title: AIChilles: Automatically Uncovering Hidden Weaknesses in AI-Evolved Systems
- Title（参考訳）: AIが進化するシステムにおける隠れた弱さを自動的に発見するAIChilles
- Abstract要約: AIChillesは、$P'$と$P'$の正しさ、実行時、メモリ使用量、出力品質に比較して、有効なワークロードを検索する。
AIChillesは5つのシステムアプリケーションと30のAI進化プログラムに49の異なる隠れた弱点があることが示される。
AI駆動開発ライフサイクルにAIChillesを明示的に含めることで、これらの弱点を軽減できることも示しています。
- 参考スコア（独自算出の注目度）: 11.940330078142047
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The computer systems community has recently seen growing interest in AI-driven system evolution, where AI agents iteratively rewrite systems. Frameworks such as AdaEvolve and Engram report 12-60% score improvements over human-designed algorithms. While these results are promising, there are practical concerns if these AI-evolved programs can perform worse on unseen workloads and exhibit scalability regressions. Given the speed and scale of AI-generated code, we need automated mechanisms to uncover such identify hidden weaknesses in AI-evolved systems programs. To this end, we develop AIChilles that takes as input a baseline program $P$ and an AI-evolved program $P'$, AIChilles searches for valid workloads where $P'$ regresses relative to $P$ in correctness, runtime, memory usage, or output quality. To tackle the diversity in system applications, weakness types and potential bugs, AIChilles combines deterministic workload-parameter extraction, agent-based constraint inference, differential oracles, and code-frequency coverage to discover diverse failures. Across five system applications and 30 AI-evolved programs, AIChilles finds 49 distinct hidden weaknesses. We also show that explicitly including AIChilles in the AI-driven development lifecycle can mitigate several of these weaknesses.
- Abstract（参考訳）: コンピュータシステムコミュニティは最近、AIエージェントが反復的にシステムを書き換える、AI駆動のシステム進化への関心が高まっている。
AdaEvolveやEngramのようなフレームワークは、人間設計のアルゴリズムよりも12-60%のスコア改善を報告している。
これらの結果は有望だが、これらのAI進化型プログラムが、目に見えないワークロードで悪化し、スケーラビリティのレグレッションを示すことができるのではないか、という現実的な懸念がある。
AIが生成するコードのスピードと規模を考えると、AIが進化するシステムプログラムに隠された弱点を明らかにするための自動メカニズムが必要です。
この目的のために、ベースラインプログラムの$P$とAI進化プログラムの$P’$を入力としてAIChillesを開発する。
システムアプリケーション、弱点タイプ、潜在的なバグに対処するために、AIChillesは決定論的ワークロードパラメータ抽出、エージェントベースの制約推論、微分オラクル、コード頻度カバレッジを組み合わせて、さまざまな障害を発見する。
5つのシステムアプリケーションと30のAI進化プログラムにまたがって、AIChillesは49の異なる隠れた弱点を発見した。
AI駆動開発ライフサイクルにAIChillesを明示的に含めることで、これらの弱点を軽減できることも示しています。
関連論文リスト
- FLARE-AI: Flaw Reporting for AI [51.64618567247884]
デプロイされたAIシステムの欠陥報告は、システムの障害を特定し、AIの安全性を改善するために不可欠である。
しかし、AIレポートのエコシステムは断片化されている。欠陥を特定する研究者は、報告すべきことを知らないことが多く、レポートを受け取るグループは、他の関連するステークホルダーと共有することはめったにない。
私たちは、AI開発者、サイバーセキュリティグループ、AI欠陥アグリゲータによって公表された12のレポートシステムを監査します。
我々は、既存のシステムとの相互運用性のために設計された、オープンソースのAI欠陥報告システムであるFLARE-AIを紹介する。
論文 参考訳（メタデータ） (2026-06-30T12:27:09Z) - AICD Bench: A Challenging Benchmark for AI-Generated Code Detection [91.21422299346199]
AICD Benchは、AI生成コード検出の最も包括的なベンチマークである。
これは$emph2Mサンプル$、$emph77モデル$、$emph11ファミリー$、$emph9プログラミング言語$で、最近の推論モデルを含む。
論文 参考訳（メタデータ） (2026-02-02T13:24:14Z) - Barbarians at the Gate: How AI is Upending Systems Research [58.95406995634148]
システム研究は、新しいパフォーマンス指向アルゴリズムの設計と評価に長年注力してきたが、AI駆動のソリューション発見には特に適している、と私たちは主張する。
このアプローチをAI駆動システム研究(ADRS)と呼び、ソリューションを反復的に生成し、評価し、洗練する。
我々の研究結果は、AI時代のシステム研究の実践に急激な適応の必要性と破壊的な可能性を浮き彫りにしている。
論文 参考訳（メタデータ） (2025-10-07T17:49:24Z) - The Matthew Effect of AI Programming Assistants: A Hidden Bias in Software Evolution [7.753573982185398]
私たちは、AI支援プログラミングがソフトウェアエコシステムとどのように相互作用するかを調べるために、何千ものアルゴリズムプログラミングタスクと何百ものフレームワーク選択タスクで大規模な実験を行います。
プログラミング言語やフレームワークが普及すればするほど、LLM生成コードの成功率が高くなります。
この現象は、AIシステムが既存の人気階層を強化し、多様性とイノベーションを妨げる一方で、支配的なツールへの収束を加速する可能性を示唆している。
論文 参考訳（メタデータ） (2025-09-27T11:30:17Z) - Neurodivergent Influenceability as a Contingent Solution to the AI Alignment Problem [1.3905735045377272]
AIアライメント問題は、人工知能(AI)システムが人間の価値観に従って行動することを保証することに重点を置いている。
狭義のAIからAI(Artificial General Intelligence, AGI)やスーパーインテリジェンス(Superintelligence, 超知能)への進化に伴い、制御に対する恐怖と現実的なリスクがエスカレートした。
ここでは、避けられないAIのミスアライメントを受け入れることが、競合するエージェントの動的なエコシステムを育むための緊急戦略であるかどうかを検討する。
論文 参考訳（メタデータ） (2025-05-05T11:33:18Z) - AI Automatons: AI Systems Intended to Imitate Humans [54.19152688545896]
人々の行動、仕事、能力、類似性、または人間性を模倣するように設計されたAIシステムが増加している。
このようなAIシステムの研究、設計、展開、可用性は、幅広い法的、倫理的、その他の社会的影響に対する懸念を喚起している。
論文 参考訳（メタデータ） (2025-03-04T03:55:38Z) - Evaluating Intelligence via Trial and Error [59.80426744891971]
本研究では,試行錯誤プロセスにおける失敗回数に基づいて知性を評価するためのフレームワークとして,Survival Gameを紹介した。
フェールカウントの期待と分散の両方が有限である場合、新しい課題に対するソリューションを一貫して見つける能力を示す。
我々の結果は、AIシステムは単純なタスクで自律レベルを達成するが、より複雑なタスクではまだまだ遠いことを示している。
論文 参考訳（メタデータ） (2025-02-26T05:59:45Z) - Intelligent Green Efficiency for Intrusion Detection [0.0]
本稿では,AIの性能向上のための異なるプログラミング言語と特徴選択(FS)手法の評価を行う。
実験はRandom Forest、XGBoost、LightGBM、Multi-Layer Perceptron、Long Short-Term Memoryの5つのMLモデルを用いて行われた。
その結果、FSは検出精度を損なうことなくAIモデルの計算効率を向上させる重要な役割を担っていることが示された。
論文 参考訳（メタデータ） (2024-11-11T15:01:55Z) - The Switch, the Ladder, and the Matrix: Models for Classifying AI Systems [0.0]
AI倫理の原則と実践の間にはまだギャップがある。
AI倫理を運用しようとする組織が直面する大きな障害のひとつは、明確に定義された材料スコープの欠如である。
論文 参考訳（メタデータ） (2024-07-07T12:16:01Z) - Fairness in AI and Its Long-Term Implications on Society [68.8204255655161]
AIフェアネスを詳しく見て、AIフェアネスの欠如が、時間の経過とともにバイアスの深化につながるかを分析します。
偏りのあるモデルが特定のグループに対してよりネガティブな現実的な結果をもたらすかについて議論する。
問題が続くと、他のリスクとの相互作用によって強化され、社会不安という形で社会に深刻な影響を及ぼす可能性がある。
論文 参考訳（メタデータ） (2023-04-16T11:22:59Z) - Next Wave Artificial Intelligence: Robust, Explainable, Adaptable,
Ethical, and Accountable [5.4138734778206]
ディープニューラルネットワークはコンピュータビジョン、音声認識、言語処理、ゲームプレイング、ロボット工学において多くの成功と新機能をもたらしている。
関連する制限は、今日のAIシステムの中で最も成功した場合でも脆さに苦しむことです。
AIシステムは、トレーニングデータから性別、人種、その他の要因に基づくバイアスを吸収し、その後の意思決定におけるバイアスをさらに大きくすることができる。
論文 参考訳（メタデータ） (2020-12-11T00:50:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。