論文の概要: How Prompt Style Affects AI Accuracy and Speed in Competitive Programming
- arxiv url: http://arxiv.org/abs/2610.30223v1
- Date: Wed, 21 Oct 2026 17:11:18 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-24 02:08:44.088661
- Title: How Prompt Style Affects AI Accuracy and Speed in Competitive Programming
- Title(参考訳): Promptスタイルが競合プログラミングにおけるAIの正確性と速度に与える影響
- Abstract要約: International Olympiad in Informatics (IOI) の3つの精度タスクに1つのプロンプトはない。
最強のプロンプトは、タスクタイプと結果が平均または中央値で要約されたかどうかに依存した。
この研究は、プロンプトスタイルが競合プログラミングのパフォーマンスにどのように影響するかを示す。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are increasingly used in competitive programming, and their outputs are sensitive to how a prompt is phrased. Prior work has compared prompt strategies for accuracy on competitive programming, but not for runtime speed, and has not situated the results against human performance. In an exploratory study of one prompt in each of nine styles on GPT-5.5 across three accuracy tasks from the International Olympiad in Informatics (IOI) and two NP-hard speed tasks, we found that no single prompt was best: the strongest prompt depended on the task type and on whether results were summarized by the mean or the median, suggesting that, at least for these tasks, prompt style should be matched to the objective rather than treated as universal. Many differences in mean scores came from a few outlier runs, showing that evaluating prompting by a single metric can obscure how much its effectiveness varies. Compared descriptively with human IOI contestants, who worked under different conditions, the AI was neither strictly better nor strictly worse, exceeding the average contestant on one task but falling short on the other two. By extending prompt comparison from accuracy to runtime speed and grounding it against human performance, this study gives a broader picture of how prompt style affects competitive programming performance.
- Abstract(参考訳): 大規模な言語モデルは競争力のあるプログラミングにますます使われており、そのアウトプットはプロンプトがどのように表現されるかに敏感である。
事前の作業では、競合するプログラミングの正確性に関する迅速な戦略を比較してきたが、実行速度については比較されていない。
インフォマティクス国際オリンピック・インフォマティクス(IOI)と2つのNP-ハード・スピード・タスクの3つの精度タスクにおいて, GPT-5.5上の9つのスタイルのそれぞれ1つのプロンプトについて探索研究を行ったところ, 最強のプロンプトはタスクタイプに依存し, 結果が平均あるいは中央値によって要約されているか, そして少なくともこれらのタスクに対しては, プロンプトスタイルは普遍的に扱われるのではなく, 目的と一致すべきであることが示唆された。
平均スコアの多くの違いは、いくつかの外れ値から来ており、単一の測定値による評価は、その効果がどの程度変化するのかを曖昧にすることができることを示している。
異なる条件下で作業した人間のIOI競技者と比較して、AIは厳密には良くも悪くも、一方のタスクでは平均的な競技者を上回っていたが、他方の2つでは不足していた。
本研究は,精度から実行速度への即時比較を拡張し,人間の性能に対して基礎づけることにより,プロンプトスタイルが競合プログラミング性能にどのように影響するかを示す。
関連論文リスト
- A Cross-Domain Evaluation of Prompting Techniques for Large Language Models [0.07646713951724009]
我々は,Zero-Shotプロンプト,Few-Shotプロンプト,Retrieval-Augmented Generation (RAG)を評価し,PE2にインスパイアされたパイプラインに基づく自動プロンプト最適化を行う。
RAGは300のサンプルが検索に利用できる場合に平均78.33%の精度を達成し、Few-Shot Promptingはいくつかの構造化推論タスクで比較的高い精度を達成する。
論文 参考訳(メタデータ) (2026-10-17T23:18:46Z) - AI Research Preference Models [87.14303218008381]
研究エージェントは、独自の機械学習実験を提案し、実装し、評価することができる。
フロンティア作業の進行は コストで妨げられています
我々は、複数の候補ソリューションのどれが実行価値が最も高いかを予測するAI Research Preference Models(RPM)を紹介する。
論文 参考訳(メタデータ) (2026-08-14T04:20:37Z) - Training Prompt Matters: State-Adaptive Optimization for Robust Fine-Tuning [14.317667911880482]
パラフレーズのプロンプトは, 忘れることや一般化に大きく異なる影響をもたらすことを示す。
これらの影響はタスク間で正に相関しており、優れたプロンプトの存在が常により良いパフォーマンスをもたらすことを示している。
静的入力から動的状態適応変数へタスク定式化をシフトする軽量かつ効果的なトレーニング戦略である状態適応型プロンプト最適化(SAPO)を導入する。
論文 参考訳(メタデータ) (2026-06-01T09:31:28Z) - GPS: General Per-Sample Prompter [13.775690509818753]
我々は,最初の汎用型サンプルごとのプロンプト手法であるGPSを提案する。
GPSは、広範囲の最適化やタスク固有のトレーニングセットへのアクセスなしに、適応的で入力固有のプロンプトを生成する。
論文 参考訳(メタデータ) (2025-11-18T18:10:09Z) - Embracing Collaboration Over Competition: Condensing Multiple Prompts for Visual In-Context Learning [82.76635679786732]
Visual In-Context Learning (VICL) は、視覚的タスクを適応的に解くために、ピクセルデモを活用し、アナログを通して人間の様のタスク完了を模倣する。
現在の手法では、候補者のプールに一つの「理想的」プロンプトが存在すると仮定している。
我々は,1つのプロンプトに頼るのではなく,解決を犠牲にすることなく,情報的コンテキストを効率的に統合する,という新しい視点を提案する。
論文 参考訳(メタデータ) (2025-04-30T02:43:03Z) - The language of prompting: What linguistic properties make a prompt
successful? [13.034603322224548]
LLMは、多くのNLPタスクにおいて、印象的なゼロショットまたは少数ショットのパフォーマンスを達成するよう促すことができる。
しかし、プロンプトの言語的特性がタスクのパフォーマンスとどのように関連しているかについての体系的な理解はいまだに欠けている。
モーメント,テンション,アスペクト,モダリティなどの文法的性質と,同義語の使用による語彙・意味の変化について検討する。
論文 参考訳(メタデータ) (2023-11-03T15:03:36Z) - Benchmarking Neural Network Training Algorithms [52.890134877995195]
トレーニングアルゴリズムは、ディープラーニングパイプラインに不可欠な部分です。
コミュニティとして、トレーニングアルゴリズムの改善を確実に特定することはできない。
固定ハードウェア上で実行される複数のワークロードを使用した,新たな,競争力のある,時間と時間のベンチマークを導入する。
論文 参考訳(メタデータ) (2023-06-12T15:21:02Z) - Speed-Oblivious Online Scheduling: Knowing (Precise) Speeds is not
Necessary [71.46673478666631]
我々は、無関係な(異種な)マシン上でのオンラインスケジューリングを、高速な環境で検討する。
透かしアルゴリズムと非透かしアルゴリズムでは,強い可視性を示す。
論文 参考訳(メタデータ) (2023-02-02T10:09:23Z) - Toward Human Readable Prompt Tuning: Kubrick's The Shining is a good
movie, and a good prompt too? [84.91689960190054]
大規模言語モデルは、自然言語のプロンプトが与えられた場合、ゼロショットで新しいタスクを実行することができる。
特にプロンプトが自然言語である場合、どの要因がプロンプトを効果的にするかは明らかにされていない。
論文 参考訳(メタデータ) (2022-12-20T18:47:13Z) - Do Prompts Solve NLP Tasks Using Natural Language? [18.611748762251494]
本研究では,この3種類のプロンプトを,数ショットと全教師付き設定の両方で実証的に比較する。
実験の結果,スキーマプロンプトは一般に最も有効であることがわかった。
論文 参考訳(メタデータ) (2022-03-02T07:20:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。