論文の概要: RiOT: Efficient Prompt Refinement with Residual Optimization Tree

• arxiv url: http://arxiv.org/abs/2506.16389v1
• Date: Thu, 19 Jun 2025 15:19:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.128657
• Title: RiOT: Efficient Prompt Refinement with Residual Optimization Tree
• Title（参考訳）: RiOT: 残留最適化ツリーによる効率的なプロンプトリファインメント
• Authors: Chenyi Zhou, Zhengyan Shi, Yuan Yao, Lei Liang, Huajun Chen, Qiang Zhang,
• Abstract要約: Residual Optimization Tree (RiOT) は自動プロンプト最適化のための新しいフレームワークである。 RiOTはテキストグラデーションを通じてプロンプトを反復的に洗練し、各ステップで複数のセマンティックな候補を生成し、パープレキシティを使って最適なプロンプトを選択する。 ツリー構造は最適化プロセスを効率的に管理し、スケーラビリティと柔軟性を確保する。
• 参考スコア（独自算出の注目度）: 32.685797785747056
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recent advancements in large language models (LLMs) have highlighted their potential across a variety of tasks, but their performance still heavily relies on the design of effective prompts. Existing methods for automatic prompt optimization face two challenges: lack of diversity, limiting the exploration of valuable and innovative directions and semantic drift, where optimizations for one task can degrade performance in others. To address these issues, we propose Residual Optimization Tree (RiOT), a novel framework for automatic prompt optimization. RiOT iteratively refines prompts through text gradients, generating multiple semantically diverse candidates at each step, and selects the best prompt using perplexity. Additionally, RiOT incorporates the text residual connection to mitigate semantic drift by selectively retaining beneficial content across optimization iterations. A tree structure efficiently manages the optimization process, ensuring scalability and flexibility. Extensive experiments across five benchmarks, covering commonsense, mathematical, logical, temporal, and semantic reasoning, demonstrate that RiOT outperforms both previous prompt optimization methods and manual prompting.
• Abstract（参考訳）: 大規模言語モデル(LLM)の最近の進歩は、様々なタスクにおいてその可能性を強調しているが、その性能は依然として効果的なプロンプトの設計に大きく依存している。 自動的なプロンプト最適化のための既存の方法は、多様性の欠如、価値ある、革新的な方向の探索の制限、セマンティックドリフトという2つの課題に直面している。 これらの問題に対処するため、我々は自動プロンプト最適化のための新しいフレームワークであるResidual Optimization Tree (RiOT)を提案する。 RiOTはテキストグラデーションを通じてプロンプトを反復的に洗練し、各ステップで複数のセマンティックな候補を生成し、パープレキシティを使って最適なプロンプトを選択する。 さらに、RiOTはテキスト残余接続を組み込んでセマンティックドリフトを緩和し、最適化イテレーション間で有益なコンテンツを選択的に保持する。 ツリー構造は最適化プロセスを効率的に管理し、スケーラビリティと柔軟性を確保する。 5つのベンチマークで、常識、数学的、論理的、時間的、意味論的推論をカバーし、RiOTが従来のプロンプト最適化手法と手動プロンプトよりも優れていることを示した。

関連論文リスト

• Tournament of Prompts: Evolving LLM Instructions Through Structured Debates and Elo Ratings [0.9437165725355702]
  我々は,エロの選考による議論駆動評価を通じて,進化を促す新しいフレームワークであるDEEVOを紹介する。 Eloの格付けをフィットネスプロキシとして利用することで、DEEVOは同時に改善を推進し、迅速な人口の貴重な多様性を保ちます。
  論文  参考訳（メタデータ） (2025-05-30T19:33:41Z)
• Beyond Degradation Redundancy: Contrastive Prompt Learning for All-in-One Image Restoration [109.38288333994407]
  コントラスト・プロンプト・ラーニング(Contrastive Prompt Learning, CPL)は、プロンプト・タスクのアライメントを根本的に強化する新しいフレームワークである。 本フレームワークは,パラメータ効率を保ちながら,新たな最先端性能を確立し,統一画像復元のための原理的ソリューションを提供する。
  論文  参考訳（メタデータ） (2025-04-14T08:24:57Z)
• Efficient and Accurate Prompt Optimization: the Benefit of Memory in Exemplar-Guided Reflection [19.020514286500006]
  本稿では,より効率的かつ正確なプロンプト最適化を実現するために,メモリ機構を備えたExemplar-Guided Reflectionを提案する。 具体的には、生成した例によってフィードバック生成がさらにガイドされるような、模擬誘導反射機構を設計する。 実験的な評価により,提案手法は従来の最先端技術よりも少ない最適化手順で優れていることが示された。
  論文  参考訳（メタデータ） (2024-11-12T00:07:29Z)
• SCULPT: Systematic Tuning of Long Prompts [17.00433893207345]
  本稿では,迅速な最適化を階層木改良問題として扱うフレームワークを提案する。 SCULPTはプロンプトをツリー構造として表現し、コンテキスト整合性を維持しながらターゲット変更を可能にする。 より安定し、解釈可能なプロンプト修正を生成し、タスク間のより良い一般化を保証する。
  論文  参考訳（メタデータ） (2024-10-28T07:10:10Z)
• StraGo: Harnessing Strategic Guidance for Prompt Optimization [35.96577924228001]
  StraGoは、成功したケースと失敗したケースの両方からの洞察を活用することで、迅速な漂流を軽減するために設計された、新しいアプローチである。 具体的な行動可能な戦略を定式化するために、コンテキスト内学習を統合するハウツード手法を採用している。 推論、自然言語理解、ドメイン固有の知識、産業アプリケーションなど、さまざまなタスクで実施された実験は、StraGoの優れたパフォーマンスを実証している。
  論文  参考訳（メタデータ） (2024-10-11T07:55:42Z)
• In-context Demonstration Matters: On Prompt Optimization for Pseudo-Supervision Refinement [71.60563181678323]
  大規模言語モデル(LLM)は様々なタスクで大きな成功を収めており、生成品質をさらに向上させるためには微調整が必要である場合もある。 これらの課題に対処する直接的な解決策は、教師なしの下流タスクから高信頼のデータを生成することである。 本稿では,プロンプトと全体的な擬似スーパービジョンを両立させる新しい手法,擬似教師付きデモアライメント・アライメント・アライメント・プロンプト・最適化(PAPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-10-04T03:39:28Z)
• QPO: Query-dependent Prompt Optimization via Multi-Loop Offline Reinforcement Learning [58.767866109043055]
  クエリ依存型プロンプト最適化(QPO)を導入し、入力クエリに合わせて最適なプロンプトを生成するために、小さな事前訓練された言語モデルを反復的に微調整する。 我々は、オープンソースのタスクに様々なプロンプトをベンチマークする副産物として、すでに大量に存在するオフラインのプロンプトデータから洞察を得る。 様々なLLMスケールと多様なNLPおよび数学タスクの実験は、ゼロショットと少数ショットの両方のシナリオにおいて、我々の手法の有効性とコスト効率を実証している。
  論文  参考訳（メタデータ） (2024-08-20T03:06:48Z)
• Large Language Models as Optimizers [106.52386531624532]
  本稿では,大規模言語モデル (LLM) をプロンプトとして活用するためのシンプルで効果的な手法である Prompting (OPRO) を提案する。 各最適化ステップにおいて、LLMは、前述した値を含むプロンプトから新しい解を生成する。 OPROにより最適化された最良のプロンプトは、GSM8Kで最大8%、Big-Bench Hardタスクで最大50%向上することを示した。
  論文  参考訳（メタデータ） (2023-09-07T00:07:15Z)
• RLPrompt: Optimizing Discrete Text Prompts With Reinforcement Learning [84.75064077323098]
  本稿では、強化学習(RL)を用いた離散的高速最適化手法RLPromptを提案する。 RLPromptは、マスク付きジベリッシュ(例:grammaBERT)や左から右へのモデル(例:GPT)など、様々な種類のLMに柔軟に適用可能である。 少数ショット分類と教師なしテキストスタイル転送の実験は、既存のファインタニングやプロンプト手法よりも優れた性能を示す。
  論文  参考訳（メタデータ） (2022-05-25T07:50:31Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。