論文の概要: LongWoF-Bench: Evaluating EvoMap Genes for Verifiable Long-Workflow Tasks
- arxiv url: http://arxiv.org/abs/2608.23200v1
- Date: Mon, 24 Aug 2026 12:50:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:44.069415
- Title: LongWoF-Bench: Evaluating EvoMap Genes for Verifiable Long-Workflow Tasks
- Title（参考訳）: LongWoF-Bench: 検証可能なロングフロータスクのためのEvoMap遺伝子の評価
- Abstract要約: 我々は,EvoMapを通じて実行エクスペリエンスを外部化して再利用できるかどうかを検討した。
EvoMapは検証済みの実行トラジェクトリを構造化されたGeneに統合する。
Claude Opus氏にとって、Geneの再利用はSkillよりも39のタスクを完了し、解決時のトークン消費を9.9%削減する。
- 参考スコア（独自算出の注目度）: 17.141848433442366
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models are increasingly expected to execute complex workflows whose success depends on maintaining interdependent constraints and producing artifacts that satisfy strict end-to-end verification. Yet successful execution experience is typically lost after a single run, forcing subsequent models to rediscover strategies and failure modes from scratch. We study whether such experience can instead be externalized and reused through EvoMap, where verifier-confirmed execution trajectories are consolidated into structured Gene. To evaluate this setting, we introduce the Long-Workflow Benchmark (LongWoF-Bench), comprising 778 machine-verifiable tasks across code generation, agent-environment synthesis, mathematical reasoning, and rule following. On the 252 tasks with verifier-confirmed Opus trajectories, evolved EvoMap Gene outperform Skill across all seven evaluated models by 8.7-15.5 percentage points, with the gains extending to consumer models from different model families. In contrast, reference-distilled Gene do not exhibit the same advantage, indicating that compact representation alone is insufficient and that Gene utility is closely associated with verified experience provenance. For Claude Opus, Gene reuse also completes 39 more tasks than Skill while reducing solve-time token consumption by 9.9%. Together, these results show that verified execution experience can be retained and shared as a reusable external resource, enabling models to improve long-workflow completion without repeatedly paying the full cost of experience discovery.
- Abstract（参考訳）: 大規模言語モデルは、相互依存の制約を維持し、厳密なエンドツーエンドの検証を満足する成果物を生成することに依存する複雑なワークフローを実行することがますます期待されている。
しかし、成功した実行エクスペリエンスは通常、単一実行後に失われ、その後のモデルで戦略と障害モードをゼロから再発見せざるを得なくなる。
検証済みの実行トラジェクトリが構造化されたGeneに統合されるEvoMapを通じて、そのようなエクスペリエンスを外部化して再利用できるかどうかを検討する。
この設定を評価するため,Long-Workflow Benchmark (LongWoF-Bench) を導入する。
検証済みのオプス軌道を持つ252のタスクにおいて、進化したEvoMap Geneは、7つの評価されたモデル全てで8.7-15.5ポイントのSkillを上回り、異なるモデルファミリーの消費者モデルにまで伸びた。
対照的に、参照希釈遺伝子は同じ利点を示しておらず、コンパクト表現だけでは不十分であり、Geneユーティリティが証明された経験的証明と密接に関連していることを示している。
Claude Opus氏にとって、Geneの再利用はSkillよりも39のタスクを完了し、解決時のトークン消費を9.9%削減する。
これらの結果から、検証済みの実行エクスペリエンスを再利用可能な外部リソースとして保持し、共有することが可能であり、モデルが体験発見の完全なコストを繰り返し支払うことなく、長時間のワークフロー完了を改善することが可能であることを示す。
関連論文リスト
- HarnessEvolve: Learning from Reference Trajectories for Reliable Agent Self-Evolution [11.431479238875712]
我々は、信頼できるエージェントの自己進化を実現するために、参照軌道から学習する自己進化フレームワークであるHarnessEvolveを紹介する。
私たちは、さまざまなモデルとエージェントフレームワークを使用して、オープンドメインとエンタープライズシナリオにまたがるいくつかのベンチマークで広範な実験を行います。
結果は、HarnessEvolveがすべてのベンチマークと設定で、最先端のベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-09-01T07:31:18Z) - EvolveNet: Collaborative Harness Evolution for Agent Self-Improvement [70.68218215070745]
既存のアプローチでは、すべての実行エクスペリエンスを単一のハーネスにルーティングできると仮定している。
EvolveNetは、経験抽出をデータに移動させるハーネス進化のパラダイムである。
論文 参考訳（メタデータ） (2026-08-05T15:37:18Z) - Rethinking Self-Evolution: A Constrained Exploration-Exploitation Process for Mitigating Skill Overfitting [20.811638832981178]
大規模言語モデル(LLM)エージェントは、過去のインタラクションからの経験を蓄積し再利用する必要がある。
データ駆動のスキル最適化は、実際の環境から収集された限られた軌道に過度に適合する傾向がある。
リスクを緩和する3段階フレームワークであるSkillBoostを提案する。
論文 参考訳（メタデータ） (2026-07-29T09:05:40Z) - SkillEvolBench: Benchmarking the Evolution from Episodic Experience to Procedural Skills [31.23929961213889]
大規模言語モデル(LLM)エージェントは、現実世界のタスクを解きながら豊富なエピソード軌道を蓄積する。
SkillEvolBenchは、経験の再利用からスキル形成まで、このステップを評価するための診断ベンチマークである。
現在のエージェントは、しばしばローカルに適応するが、堅牢な再利用可能なスキルを形成することは滅多にない。
論文 参考訳（メタデータ） (2026-05-22T18:23:31Z) - Rewarding the Scientific Process: Process-Level Reward Modeling for Agentic Data Analysis [68.28714988482703]
プロセス・リワード・モデル(PRM)は、LLM(Large Language Models)の推論能力を増強することに成功した。
本稿では,一般ドメインのPRMがデータ分析エージェントの監督に苦慮していることを示す。
本稿では,新しい環境対応生成プロセス報酬モデルであるDataPRMを紹介する。
論文 参考訳（メタデータ） (2026-04-27T09:00:30Z) - LongWeave: A Long-Form Generation Benchmark Bridging Real-World Relevance and Verifiability [60.451734326001564]
textbfLongWeaveを導入し、Constraint-Verifier Evaluation(CoV-Eval)による実世界と検証のバランスをとる。
LongWeaveは7つの異なるタスクに対して、カスタマイズ可能な入出力長(最大64K/8Kトークン)をサポートする。
23大言語モデルの評価は、実世界の複雑さと出力長の増加に伴い、最先端モデルでさえ、長文生成において重大な課題に直面していることを示している。
論文 参考訳（メタデータ） (2025-10-28T12:11:12Z) - OmniEAR: Benchmarking Agent Reasoning in Embodied Tasks [52.87238755666243]
OmniEARは,言語モデルが身体的相互作用やツールの使用,マルチエージェントの協調にどう影響するかを評価するためのフレームワークである。
我々は、家庭と工業領域にまたがる1500のシナリオにおける連続的な物理的特性と複雑な空間的関係をモデル化する。
我々の体系的な評価は、モデルが制約から推論しなければならない場合、厳しい性能劣化を示す。
論文 参考訳（メタデータ） (2025-08-07T17:54:15Z) - Overflow Prevention Enhances Long-Context Recurrent LLMs [81.71585057993074]
LLMの最近のトレンドは、長いコンテキスト処理効率を改善するために、再帰的なサブクワッドラティックモデルの開発である。
本研究では,大規模な長期コンテキストモデルにおいて,その固定サイズ再帰記憶が性能に与える影響について検討する。
実験の結果、これらのモデルが拡張コンテキストでトレーニングされている場合でも、長いコンテキストの使用は未利用のままであることが判明した。
論文 参考訳（メタデータ） (2025-05-12T17:45:05Z) - Pretrained Reversible Generation as Unsupervised Visual Representation Learning [7.076111872035312]
本稿では,事前学習された連続生成モデルの生成過程を逆転させて教師なし表現を抽出する,事前学習可逆生成(PRG)を提案する。
PRGは教師なし生成モデルを効果的に再利用し、その高い能力を利用して下流タスクの堅牢で一般化可能な特徴抽出器として機能する。
提案手法は,64*64の解像度でImageNet上の78%のトップ1の精度を含む,生成モデルに基づく手法の最先端性能を実現するため,複数のベンチマークにおいて従来手法よりも一貫して優れていた。
論文 参考訳（メタデータ） (2024-11-29T08:24:49Z) - FamiCom: Further Demystifying Prompts for Language Models with Task-Agnostic Performance Estimation [73.454943870226]
言語モデルは、コンテキスト内学習能力に優れています。
本稿では,タスク非依存のパフォーマンス推定のためのより包括的な尺度であるFamiComを提案する。
論文 参考訳（メタデータ） (2024-06-17T06:14:55Z) - Hierarchical Reinforcement Learning as a Model of Human Task
Interleaving [60.95424607008241]
我々は、強化学習によって駆動される監督制御の階層モデルを開発する。
このモデルは、タスクインターリービングの既知の経験的効果を再現する。
その結果、階層的RLがタスクインターリービングのもっともらしいモデルとして支持された。
論文 参考訳（メタデータ） (2020-01-04T17:53:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。