論文の概要: Creative and Correct: Requesting Diverse Code Solutions from AI Foundation Models
- arxiv url: http://arxiv.org/abs/2403.13259v1
- Date: Wed, 20 Mar 2024 02:51:46 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-21 18:07:57.679726
- Title: Creative and Correct: Requesting Diverse Code Solutions from AI Foundation Models
- Title（参考訳）: 創造性と正しい:AIファンデーションモデルからさまざまなコードソリューションを要求する
- Authors: Scott Blyth, Markus Wagner, Christoph Treude,
- Abstract要約: ソフトウェアエンジニアリングのタスクでは、多様性はデザインスペースを探索し、創造性を育む上で鍵となる。
本研究では,HumanEval タスクを用いた実験により,このトレードオフを系統的に検討した。
多様性と正しさの最適なバランスを打つパラメータと戦略の組み合わせを特定します。
- 参考スコア（独自算出の注目度）: 8.40868688916685
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: AI foundation models have the capability to produce a wide array of responses to a single prompt, a feature that is highly beneficial in software engineering to generate diverse code solutions. However, this advantage introduces a significant trade-off between diversity and correctness. In software engineering tasks, diversity is key to exploring design spaces and fostering creativity, but the practical value of these solutions is heavily dependent on their correctness. Our study systematically investigates this trade-off using experiments with HumanEval tasks, exploring various parameter settings and prompting strategies. We assess the diversity of code solutions using similarity metrics from the code clone community. The study identifies combinations of parameters and strategies that strike an optimal balance between diversity and correctness, situated on the Pareto front of this trade-off space. These findings offer valuable insights for software engineers on how to effectively use AI foundation models to generate code solutions that are diverse and accurate.
- Abstract（参考訳）: AIファウンデーションモデルは、単一のプロンプトに対する幅広い応答を生成する能力を持っています。
しかし、この利点は多様性と正しさの間に大きなトレードオフをもたらす。
ソフトウェアエンジニアリングのタスクでは、多様性はデザインスペースを探索し、創造性を育む上で重要であるが、これらのソリューションの実践的価値は、その正確性に大きく依存している。
本研究では,HumanEvalタスクを用いた実験,パラメータ設定の探索,戦略の推進などを用いて,このトレードオフを体系的に検討する。
コードクローンコミュニティの類似度指標を用いて、コードソリューションの多様性を評価する。
この研究は、このトレードオフ空間のパレートの正面に位置する多様性と正しさの最適なバランスを打つパラメータと戦略の組み合わせを特定する。
これらの発見は、AIファンデーションモデルを効果的に活用して、多様性と正確性のあるコードソリューションを生成する方法について、ソフトウェアエンジニアに貴重な洞察を与えてくれる。
関連論文リスト
- Illuminating the Diversity-Fitness Trade-Off in Black-Box Optimization [9.838618121102053]
現実世界のアプリケーションでは、ユーザーは1つの高品質なソリューションよりも構造的に多様な設計選択を好むことが多い。
本稿では, この課題に対する新たな視点として, 与えられたしきい値を超えるペア距離の一定数の解を同定する問題を考察する。
論文 参考訳（メタデータ） (2024-08-29T09:55:55Z) - Large Language Models as In-context AI Generators for Quality-Diversity [8.585387103144825]
In-context QDは、QDアーカイブから品質の異なる例をコンテキストとして、少数ショットと多ショットのプロンプトを使って興味深いソリューションを生成することを目的としている。
In-context QD display promising results than both QD baselines and similar strategy developed for single-jective optimization。
論文 参考訳（メタデータ） (2024-04-24T10:35:36Z) - Testing for Fault Diversity in Reinforcement Learning [13.133263651395865]
ポリシテストは可能な限り多くの障害(例えば、同様の自動車事故を引き起こすインプット)を見つけるのではなく、モデルで可能な限り情報的かつ多様な障害を明らかにすることを目的としている、と私たちは主張する。
QDの最適化は概念的には単純であり、一般的に適用可能であるが、決定モデルにおいてより多様な欠点を効果的に発見できることが示される。
論文 参考訳（メタデータ） (2024-03-22T09:46:30Z) - Optimizing Solution-Samplers for Combinatorial Problems: The Landscape
of Policy-Gradient Methods [52.0617030129699]
本稿では,DeepMatching NetworksとReinforcement Learningメソッドの有効性を解析するための新しい理論フレームワークを提案する。
我々の主な貢献は、Max- and Min-Cut、Max-$k$-Bipartite-Bi、Maximum-Weight-Bipartite-Bi、Traveing Salesman Problemを含む幅広い問題である。
本分析の副産物として,バニラ降下による新たな正則化プロセスを導入し,失効する段階的な問題に対処し,悪い静止点から逃れる上で有効であることを示す理論的および実験的証拠を提供する。
論文 参考訳（メタデータ） (2023-10-08T23:39:38Z) - Multi-Agent Reinforcement Learning for Microprocessor Design Space
Exploration [71.95914457415624]
マイクロプロセッサアーキテクトは、高性能でエネルギー効率の追求において、ドメイン固有のカスタマイズにますます頼っている。
この問題に対処するために,Multi-Agent RL (MARL) を利用した別の定式化を提案する。
評価の結果,MARLの定式化は単エージェントRLのベースラインよりも一貫して優れていた。
論文 参考訳（メタデータ） (2022-11-29T17:10:24Z) - Multi-Objective Quality Diversity Optimization [2.4608515808275455]
MOME(Multi-Objective MAP-Elites)の多目的設定におけるMAP-Elitesアルゴリズムの拡張を提案する。
すなわち、MAP-Elitesグリッドアルゴリズムから受け継いだ多様性と、多目的最適化の強みを組み合わせる。
本手法は,標準的な最適化問題からロボットシミュレーションまで,いくつかのタスクで評価する。
論文 参考訳（メタデータ） (2022-02-07T10:48:28Z) - Diversity in Kemeny Rank Aggregation: A Parameterized Approach [3.6603644500568806]
ソリューション多様性と呼ばれる最近の人工知能のトレンドは、最適性の概念の発展に焦点を当てている。
本研究では,この組み合わせがケメニー・ランク・アグリゲーションの分野に与える影響について検討する。
我々の主な成果は、線形に順序付けられた投票よりも伝統的な集計の設定を考えるときと、部分的に投票が順序付けられたより一般的な場合の両方に当てはまる。
論文 参考訳（メタデータ） (2021-05-19T21:50:03Z) - Discovering Diverse Solutions in Deep Reinforcement Learning [84.45686627019408]
強化学習アルゴリズムは通常、特定のタスクの単一のソリューションを学ぶことに限定される。
連続的あるいは離散的な低次元潜在変数に条件付きポリシーを訓練することにより、無限に多くの解を学習できるRL法を提案する。
論文 参考訳（メタデータ） (2021-03-12T04:54:31Z) - Conditional Generative Modeling via Learning the Latent Space [54.620761775441046]
マルチモーダル空間における条件生成のための新しい枠組みを提案する。
潜在変数を使って一般化可能な学習パターンをモデル化する。
推論では、潜伏変数は複数の出力モードに対応する最適解を見つけるために最適化される。
論文 参考訳（メタデータ） (2020-10-07T03:11:34Z) - Discovering Representations for Black-box Optimization [73.59962178534361]
ブラックボックス最適化符号化は手作業で行うのではなく,自動的に学習可能であることを示す。
学習された表現は、標準的なMAP-Elitesよりも桁違いに少ない評価で高次元の問題を解くことができることを示す。
論文 参考訳（メタデータ） (2020-03-09T20:06:20Z) - Pareto Multi-Task Learning [53.90732663046125]
マルチタスク学習は複数の相関タスクを同時に解くための強力な方法である。
異なるタスクが互いに衝突する可能性があるため、すべてのタスクを最適化するひとつのソリューションを見つけることは、しばしば不可能である。
近年,マルチタスク学習を多目的最適化として活用することにより,タスク間のトレードオフが良好である1つのパレート最適解を求める方法が提案されている。
論文 参考訳（メタデータ） (2019-12-30T08:58:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。