論文の概要: When Many-Shot Prompting Fails: An Empirical Study of LLM Code Translation

• arxiv url: http://arxiv.org/abs/2510.16809v1
• Date: Sun, 19 Oct 2025 12:29:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 00:56:39.158839
• Title: When Many-Shot Prompting Fails: An Empirical Study of LLM Code Translation
• Title（参考訳）: Many-Shot Promptingが失敗したとき--LLMコード翻訳の実証的研究
• Authors: Amirkia Rafiei Oskooei, Kaan Baturalp Cosdan, Husamettin Isiktas, Mehmet S. Aktas,
• Abstract要約: 広いコンテキストウィンドウを持つ大規模言語モデル(LLM)は、コンテキスト内学習(ICL)のための新しい道を提供する ゼロショットから最大625のマルチショット構成へのコンテキスト内サンプルのスケーリングの影響を系統的に評価した。 静的類似度は、より多くの例で適度に改善されるが、機能的正しさは、ほとんどショットのプロンプトで常にピークとなる。
• 参考スコア（独自算出の注目度）: 0.23332469289621782
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) with vast context windows offer new avenues for in-context learning (ICL), where providing many examples ("many-shot" prompting) is often assumed to enhance performance. We investigate this assumption for the complex task of code translation. Through a large-scale empirical study of over 90,000 translations, we systematically evaluate the impact of scaling in-context examples from zero-shot to many-shot configurations of up to 625 examples, with prompts spanning from approximately 100,000 to 800,000 tokens. Our findings reveal a "many-shot paradox": while static similarity metrics may modestly improve with more examples, functional correctness consistently peaks with few-shot prompting (5-25 examples). Providing substantially more examples often degrades this crucial functional performance. This study highlights that for code translation, the quality of a few well-chosen examples outweighs sheer quantity, challenging the universal efficacy of "more is better" for ICL and underscoring the task-dependent nature of optimal prompting strategies. Our results have significant implications for effectively leveraging LLMs in software engineering.
• Abstract（参考訳）: 広大なコンテキストウィンドウを持つ大規模言語モデル(LLM)は、多くの例("many-shot" prompting")を提供するICL(In-context Learning)の新たな道を提供する。 コード翻訳の複雑なタスクに対するこの仮定について検討する。 90,000以上の翻訳の大規模な実証研究を通じて、約10万から800,000のトークンを含む最大625のサンプルのゼロショットからマルチショット構成へのコンテキスト内サンプルのスケーリングの影響を体系的に評価した。 静的類似度は、より多くの例で適度に改善されるが、機能的正しさは、ほとんどショットプロンプトしない(5-25例)。 はるかに多くの例を提供することで、この重要な機能性能は低下することが多い。 本研究は, コード翻訳において, サンプルの品質は, 高い量よりも優れており, ICLの「より良い」普遍的有効性に挑戦し, 最適なプロンプト戦略のタスク依存的性質を強調している。 ソフトウェア工学においてLLMを効果的に活用する上で,本研究の結果は重要な意味を持つ。

関連論文リスト

• From Few to Many: Self-Improving Many-Shot Reasoners Through Iterative Optimization and Generation [18.988069926846357]
  マルチショット・イン・コンテキスト・ラーニング(ICL)はパフォーマンス上のメリットをもたらす可能性があるが、どのような側面が利点を支配しているのか、さらに多くの例にスケールアップすることがICLを改善する最も効果的な方法なのかは不明だ。 本稿では,この最適化ステップとベイズ最適化とを交互に交互に交互に組み合わせて実例集合を探索するBRIDGEと,この集合を再利用して実例の推論経路をマルチショット方式に自動的に拡張する生成ステップを提案する。 Gemini, Claude および Mistral LLM の異なるサイズでは、BRIDGE は様々なタスクにまたがって大幅に改善されている。
  論文  参考訳（メタデータ） (2025-02-01T06:23:24Z)
• Many-Shot In-Context Learning [58.395589302800566]
  大規模言語モデル (LLMs) は、文脈内学習 (ICL) において優れている 我々は、多種多様な生成的および識別的タスクにおける顕著なパフォーマンス向上を観察する。 少数ショット学習とは異なり、多ショット学習は事前学習されたバイアスをオーバーライドするのに効果的である。
  論文  参考訳（メタデータ） (2024-04-17T02:49:26Z)
• ParaICL: Towards Parallel In-Context Learning [74.38022919598443]
  大規模言語モデル(LLM)が自然言語処理の標準となっている。 インコンテキスト・ラーニング(ICL)は、いくつかの実演例の選択に依存している。 パラレルインコンテキスト学習(ParaICL)という新しい手法を提案する。
  論文  参考訳（メタデータ） (2024-03-31T05:56:15Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• In-context Example Selection with Influences [8.058815264255152]
  In-context Learning(ICL)は、大規模言語モデル(LLM)から生まれた強力なパラダイムである。 この作業では、$textitin-context influences$を使用して、インコンテキストの例から、わずかなショットICLのパフォーマンスを直接分析します。
  論文  参考訳（メタデータ） (2023-02-21T22:47:45Z)
• Structured Prompting: Scaling In-Context Learning to 1,000 Examples [78.41281805608081]
  長さ制限を破り、文脈内学習を数千の例に拡張する構造化プロンプトを導入する。 具体的には、デモ例は、適切に設計された位置埋め込みで別々にエンコードされ、その後、再スケールされた注意機構を使用してテスト例に共同で出席する。
  論文  参考訳（メタデータ） (2022-12-13T16:31:21Z)
• Large Language Models are Zero-Shot Reasoners [28.6899375595088]
  思考の連鎖(CoT)プロンプトは、ステップバイステップの回答例を通して複雑な多段階推論を引き出す手法である。 LLMは、各回答の前に単に「ステップバイステップ」を追加して、まともなゼロショット推論子であることを示す。 実験結果から,同一のプロンプトテンプレートを用いたZero-shot-CoTはゼロショットLLM性能を著しく上回ることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T09:22:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。