論文の概要: Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective

• arxiv url: http://arxiv.org/abs/2506.17930v1
• Date: Sun, 22 Jun 2025 07:53:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 19:06:36.654094
• Title: Evolving Prompts In-Context: An Open-ended, Self-replicating Perspective
• Title（参考訳）: コンテキスト内でプロンプトを進化させる - オープンで自己複製的な視点
• Authors: Jianyu Wang, Zhiqiang Hu, Lidong Bing,
• Abstract要約: ランダムなデモを不整合な "gibberish" にプルーニングすることで,多様なタスクにおけるパフォーマンスが著しく向上することを示す。 本稿では,低データレジームのみを用いてプルーニング戦略を自動的に検索する自己発見プロンプト最適化フレームワークPromptQuineを提案する。
• 参考スコア（独自算出の注目度）: 65.12150411762273
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel prompt design paradigm that challenges conventional wisdom in large language model (LLM) prompting. While conventional wisdom prioritizes well-crafted instructions and demonstrations for in-context learning (ICL), we show that pruning random demonstrations into seemingly incoherent "gibberish" can remarkably improve performance across diverse tasks. Notably, the "gibberish" always matches or surpasses state-of-the-art automatic prompt optimization techniques, achieving substantial gains regardless of LLM alignment. Nevertheless, discovering an effective pruning strategy is non-trivial, as existing attribution methods and prompt compression algorithms fail to deliver robust results, let alone human intuition. In terms of this, we propose a self-discover prompt optimization framework, PromptQuine, an evolutionary search framework that automatically searches for the pruning strategy by itself using only low-data regimes. Much like the emergent complexity in nature--such as symbiosis and self-organization--arising in response to resource constraints, our framework evolves and refines unconventional yet highly effective prompts by leveraging only the tokens present within the context. We demonstrate its effectiveness across classification, multi-choice question answering, generation and math reasoning tasks across LLMs, while achieving decent runtime efficiency. We hope our findings can guide mechanistic studies on in-context learning, and provide a call to action, to pave the way for more open-ended search algorithms for more effective LLM prompting.
• Abstract（参考訳）: 本稿では,大規模言語モデル(LLM)における従来の知恵に挑戦する新しいプロンプト設計パラダイムを提案する。 従来の知恵は、インコンテクスト学習(ICL)のための巧妙な指示や実演を優先するが、ランダムな実演を不整合な「ギベリッシュ(gibberish)」にプルーニングすることで、多種多様なタスクのパフォーマンスを著しく向上させることができることを示す。 特に、"gibberish" は、常に最先端の自動プロンプト最適化技術と一致し、LCM のアライメントによらず実質的なゲインを達成している。 それでも、既存の帰属法や高速な圧縮アルゴリズムは、人間の直感だけでなく、堅牢な結果をもたらすのに失敗するため、効果的な刈り取り戦略を見つけることは簡単ではない。 そこで本稿では,低データレギュレーションのみを用いてプルーニング戦略を自動的に検索する進化的検索フレームワークであるPromptQuineを提案する。 共生(symbiosis)や自己組織化(self-organization)といった自然界の創発的な複雑さと同様に、私たちのフレームワークは、コンテキスト内に存在するトークンのみを活用することによって、従来的でなく、非常に効果的なプロンプトを進化させ、洗練します。 本研究は, LLMの分類, 複数選択質問応答, 生成, 数理推論タスクにまたがって有効性を示し, 実行効率は良好である。 我々の研究成果は、文脈内学習の機械学的な研究をガイドし、より効果的なLLMプロンプトのためのよりオープンな検索アルゴリズムの道を開くために行動を呼び起こすことを願っている。

関連論文リスト

• A Sequential Optimal Learning Approach to Automated Prompt Engineering in Large Language Models [14.483240353801074]
  本稿では,自動プロンプトエンジニアリングのための最適学習フレームワークを提案する。 限られた評価予算を効率的に割り当てつつ、効果的なプロンプト機能を逐次識別するように設計されている。 私たちのフレームワークは、より広い範囲のアプリケーションに自動プロンプトエンジニアリングをデプロイするためのソリューションを提供します。
  論文  参考訳（メタデータ） (2025-01-07T03:51:10Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• Efficient Prompting Methods for Large Language Models: A Survey [50.82812214830023]
  効率的なプロンプティング手法は幅広い注目を集めている。 本稿では,異なるプロンプト成分に対する自動プロンプトエンジニアリングと連続空間および離散空間におけるプロンプト圧縮について論じる。
  論文  参考訳（メタデータ） (2024-04-01T12:19:08Z)
• PhaseEvo: Towards Unified In-Context Prompt Optimization for Large Language Models [9.362082187605356]
  本稿では、LLMの生成能力と進化アルゴリズムのグローバル検索能力を組み合わせた効率的な自動プロンプト最適化フレームワークであるPhaseEvoについて述べる。 PhaseEvoは、優れた効率を維持しながら、最先端のベースライン手法を大きなマージンで大幅に上回っている。
  論文  参考訳（メタデータ） (2024-02-17T17:47:10Z)
• Query-Dependent Prompt Evaluation and Optimization with Offline Inverse RL [62.824464372594576]
  ゼロショットプロンプト最適化により,Large Language Models (LLM) の算術的推論能力を向上させることを目的とする。 このような最適化では、以前見過ごされたクエリ依存の目的を特定します。 本稿では、オフライン逆強化学習を利用して、実演データから洞察を引き出すPrompt-OIRLを紹介する。
  論文  参考訳（メタデータ） (2023-09-13T01:12:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。