論文の概要: FLARE: Few-shot Learning-based Adaptive Reflective Engine
- arxiv url: http://arxiv.org/abs/2608.02919v1
- Date: Mon, 03 Aug 2026 22:13:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-05 15:30:22.953522
- Title: FLARE: Few-shot Learning-based Adaptive Reflective Engine
- Title(参考訳): FLARE: 数ショットの学習に基づく適応反射エンジン
- Abstract要約: 本稿では,FLARE(Few-shot Learning-based Adaptive Reflective Engine)を紹介する。
我々は,GPT-5シリーズのモデルを用いて,多種多様なベンチマークを対象とする手法の評価を行った。
その結果、FLAREはGEPAより一貫して優れており、各タスクモデルペアで勝っていることがわかった。
- 参考スコア(独自算出の注目度): 0.9932714016119233
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly deployed in complex, compound AI systems where performance hinges on the quality of prompts. Recent state-of-the-art optimizers like GEPA (Genetic-Pareto) have argued that reflective instruction evolution can outperform traditional reinforcement learning and few-shot optimization. In this work, we challenge this shift by introducing FLARE (Few-shot Learning-based Adaptive Reflective Engine), a framework that leverages advanced reflective mechanisms and a small set of few-shot reference examples to optimize instructions. We evaluate our method across a diverse suite of benchmarks -- spanning retrieval-augmented reasoning (HotPotQA, MedQA, 2WikiMultiHopQA), tool calling, and multi-label emotion classification (GoEmotions) -- using the GPT-5 series of models. Our results demonstrate that FLARE consistently outperforms GEPA, winning on every task-model pair: it achieves gains of up to +14.2 points on HotPotQA (52.2 vs. GEPA's 42.2 with GPT-5-Chat), reaches 87.0% on tool calling (vs. 81.0% for GEPA), and lifts GoEmotions micro-F1 to 52.7% (+15.3) with GPT-5.1 on the full 5408-example test split, more than doubling GEPA's +5.7 gain. Beyond raw accuracy, FLARE is also strikingly data-efficient: on GoEmotions it reaches its peak performance using as few as 100 validation examples, while remaining markedly more stable across random seeds than GEPA. Our findings suggest that while reflective instructions are powerful, the strategic optimization of few-shot learning remains a critical frontier for maximizing the potential of next-generation LLMs.
- Abstract(参考訳): 大規模言語モデル(LLM)は、複雑な複合AIシステムにますますデプロイされ、パフォーマンスはプロンプトの品質に左右される。
GEPA(Genetic-Pareto)のような最近の最先端のオプティマイザは、反射的命令の進化は従来の強化学習や数ショットの最適化よりも優れていると主張している。
本研究では,FLARE(Few-shot Learning-based Adaptive Reflective Engine)という,先進的な反射機構を活用するフレームワークと,命令の最適化に少数の参照例を導入することで,このシフトに挑戦する。
GPT-5シリーズのモデルを用いて,検索強化推論(HotPotQA,MedQA,2WikiMultiHopQA),ツール呼び出し,マルチラベル感情分類(GoEmotions)にまたがる多種多様なベンチマークで評価を行った。
その結果、FLAREはGEPAを常に上回り、HotPotQA(52.2 vs. GEPA's 42.2 with GPT-5-Chat)で+14.2ポイント、ツールコール(vs.81.0% for GEPA)で87.0%、GoEmotions micro-F1を52.7%(+15.3)に引き上げ、GPT-5.1を5408-exampleテストで2倍に増やすことができた。
生の精度以外にも、FLAREは著しくデータ効率が良い。GoEmotions上では、100ものバリデーション例を使用してピーク性能に達する。
考察の結果, 反射的命令は強力であるが, 数ショット学習の戦略的最適化は, 次世代LLMの可能性を最大化するための重要なフロンティアであることがわかった。
関連論文リスト
- MAGE: Understanding Stability-Performance Trade-offs in Multi-component Prompt Optimization [3.7323766833175718]
MAGE(Memory-Augmented Goal Prompt Evolution)は、コンポーネント間の相互作用を即時最適化する制御分析フレームワークである。
我々の実験は、複数の最適化信号が閉じた反射ループ内で動作しているときに、以前に報告されていない現象である、Prompt Optimization Coupling Effect (POCE)を発見した。
論文 参考訳(メタデータ) (2026-07-11T10:05:58Z) - Prompt Optimization for LLM Code Generation via Reinforcement Learning [0.5735035463793009]
大規模言語モデル(LLM)は自然言語からコードを生成することができるが、その性能は素早い定式化に敏感である。
逐次的意思決定問題として改良を促進させる強化学習に基づくフレームワークを提案する。
CodeT5+,CodeLLaMA,DeepSeek-Coder を用いて,MBPP+,HumanEval+,APPS上のフレームワークを凍結コードジェネレータとして評価した。
論文 参考訳(メタデータ) (2026-05-18T20:42:23Z) - Identifying Imaging Follow-Up in Radiology Reports: A Comparative Analysis of Traditional ML and LLM Approaches [8.864020712680976]
586例から6,393例の注釈付きコーパスを報告した。
我々は、ロジスティック回帰(LR)、サポートベクタマシン(SVM)、Longformer、そして完全に微調整されたLlama3-8B-インストラクトを含む従来の機械学習分類器を比較した。
GPT-4oとオープンソースのGPT-OSS-20Bを2つの構成で評価した。
論文 参考訳(メタデータ) (2025-11-14T20:55:44Z) - From Harm to Help: Turning Reasoning In-Context Demos into Assets for Reasoning LMs [58.02809208460186]
デモとしてDeepSeek-R1の高品質なトレースを使って、このパラドックスを再検討する。
デモが最適であっても、より多くの例を加えることで、常に精度が低下することがわかった。
デモを明示的で再利用可能な洞察に変換するシーケンシャルなテストタイム手順であるInsight-to-solve(I2S)を紹介します。
論文 参考訳(メタデータ) (2025-09-27T08:59:31Z) - GEPA: Reflective Prompt Evolution Can Outperform Reinforcement Learning [106.98018881499362]
GEPA(Genetic-Pareto)は、自然言語を徹底的に組み込んで、試行錯誤から高度なルールを学ぶプロンプトである。
GEPAはシステムレベルの軌跡(推論、ツールコール、ツールアウトプットなど)をサンプリングし、自然言語でそれらを反映して問題を診断する。
ほんの数回だけロールアウトしても、大きな品質向上に繋がることが多い。
論文 参考訳(メタデータ) (2025-07-25T17:42:32Z) - GPT Meets Graphs and KAN Splines: Testing Novel Frameworks on Multitask Fine-Tuned GPT-2 with LoRA [0.0]
本稿では,学習可能なモジュールと解釈可能なモジュール,特にKAN(Kolmogorov-Arnold Networks)とグラフベース表現(GPT-2モデル)を統合する可能性について検討する。
論文 参考訳(メタデータ) (2025-03-25T19:58:25Z) - Building Math Agents with Multi-Turn Iterative Preference Learning [56.71330214021884]
本稿では,モデル性能をさらに向上させるために,補完的な直接選好学習手法について検討する。
既存の直接選好学習アルゴリズムは、もともとシングルターンチャットタスク用に設計されている。
この文脈に合わせたマルチターン直接選好学習フレームワークを提案する。
論文 参考訳(メタデータ) (2024-09-04T02:41:04Z) - RankRAG: Unifying Context Ranking with Retrieval-Augmented Generation in LLMs [60.38044044203333]
大規模言語モデル(LLM)は、通常、検索拡張生成(RAG)において、レトリバーからトップkコンテキストを利用する。
本稿では,RAGにおける文脈ランク付けと回答生成の両目的のために,単一のLLMをチューニング可能な新しい命令微調整フレームワークであるRanRAGを提案する。
例えば、GPT-4-0613, GPT-4-turbo-2024-0409, ChatQA-1.5, RAGベンチマークの最先端性能を備えたオープンソースモデルなどである。
論文 参考訳(メタデータ) (2024-07-02T17:59:17Z) - Advancing LLM Reasoning Generalists with Preference Trees [119.57169648859707]
推論に最適化された大規模言語モデル(LLM)のスイートであるEulusを紹介する。
Eurusモデルは、様々なベンチマークでオープンソースのモデルの間で最先端の結果を得る。
論文 参考訳(メタデータ) (2024-04-02T16:25:30Z) - Progressive-Hint Prompting Improves Reasoning in Large Language Models [63.98629132836499]
本稿では,プログレッシブ・ヒント・プロンプト(PHP)と呼ばれる新しいプロンプト手法を提案する。
事前に生成された回答をヒントとして使用することで、ユーザとLLM(Large Language Models)間の自動多元的対話を可能にする。
我々は7つのベンチマークで広範囲かつ包括的な実験を行った。その結果、PHPは高い効率を保ちながら精度を大幅に向上することが示された。
論文 参考訳(メタデータ) (2023-04-19T16:29:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。