論文の概要: Praxist: From Experimental Artifacts to Solution Lineages
- arxiv url: http://arxiv.org/abs/2608.25955v1
- Date: Wed, 26 Aug 2026 16:13:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-27 14:15:15.897495
- Title: Praxist: From Experimental Artifacts to Solution Lineages
- Title(参考訳): Praxist: 実験成果からソリューションラインジュへ
- Abstract要約: R&Dエージェントは、自動評価の下で実行可能なアーティファクトを書き、実行し、改善する。
ほとんどのシステムは、それぞれの試みをほぼ自己完結したものとして扱うので、ログ、記憶、検索ツリーは、何が起きたかを記録する。
再現可能なアーティファクトと評価結果を型付きエビデンスグラフに変換する,系統中心の世代システムであるPraxistを紹介する。
- 参考スコア(独自算出の注目度): 35.87900003147335
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Autonomous R\&D agents now write, run, and improve executable artifacts under automated evaluation---but largely as laboratory instruments: shown on curated benchmarks, with gains that are hard to trace to a cause and costs well above what sustained engineering practice absorbs. The limitation is structural. Most systems treat each attempt as nearly self-contained, so logs, memories, and search trees record what happened without establishing which design element produced an improvement, whether its evidence survived validation, or how it recombines with others. Long campaigns therefore keep re-learning the same lessons. We introduce Praxist, a lineage-centered generational system that converts reproducible artifacts and evaluator outcomes into a typed evidence graph of findings, lane-structured frontiers, and agendas. Separating local artifact construction from cohort-level evidence synthesis lets later attempts inherit validated mechanisms, unresolved claims, and useful constraints, and leaves results attached to an inspectable lineage. On the standardized 75-task MLE-bench suite, the finalized official-grader results give Praxist 60 medals (80.0\%), 49 of them gold, against 55 medals (73.3\%) and 34 gold for a Claude Code baseline on Claude Opus 4.8---at a recorded model spend of US\$3,054 versus US\$38,370, roughly a twelfth of the cost. Four case studies---quantitative trading, LiDAR-inertial-visual SLAM, tokamak magnetic control, and rocket landing---carry the same process into open-ended engineering problems, improving on each task-native baseline in headline accuracy, survival, or resource cost, with the discovery path on record. Stronger artifacts at an order of magnitude less spend, each backed by an auditable lineage, are, to our knowledge, first brought together here: the operating profile production research requires, not the one a benchmark demonstration establishes.
- Abstract(参考訳): 自律的なR&Dエージェントは、自動評価の下で実行可能なアーティファクトを書き、実行し、改善します。しかし、主に実験機器として、キュレートされたベンチマークで示されています。
制限は構造的です。
ほとんどのシステムは、それぞれの試みをほぼ自己完結したものとして扱うため、ログ、記憶、検索ツリーは、どのデザイン要素がどの改善をもたらすか、その証拠が検証を生き残ったか、どのように他の要素と再結合したかを確立することなく、何が起こったかを記録する。
したがって、長いキャンペーンは、同じ教訓を再学習し続ける。
再現可能なアーティファクトと評価結果を,発見の型付きエビデンスグラフ,レーン構造フロンティア,アジェンダに変換する,系統中心の世代システムであるPraxistを紹介する。
コホートレベルのエビデンスから局所的なアーティファクト構築を分離することで、後に検証されたメカニズム、未解決のクレーム、有用な制約を継承し、検査可能な系統に結果を付加する。
標準化された75-task MLE-benchスイートでは、プラキシスト60メダル(80.0\%)、金49メダル(73.3\%)、クロード・オプス4.8-金34金(3,054ドル対38,370ドル)、約12分の1の費用を計上した。4つのケーススタディ-クオリティトトレーディング、LiDAR-inertial-visual SLAM、トカマク磁気制御、ロケットランディング-キャリーは同じプロセスで、各タスクベースラインのヘッドライン、サバイバル、サバイバル、サバイバル、サバイバル、ディスカバリーパスが記録された。
監査可能な系統によって支えられた、桁違いに少ないコストで強力な成果物が、私たちの知る限り、最初にここに集まった。
関連論文リスト
- OpenDiscoveryTrace: Process Traces for Evaluating AI Scientist Workflows [0.0]
既存の自動AI科学者のベンチマークでは、最終的なアウトプット(コードの生成、仮説、論文)のみを評価し、それらのアウトプットが得られた推論プロセスを破棄する。
textbfOpenDiscoveryTraceは、558の完全なAI科学エージェントトラジェクトリのパブリックデータセットで、モデルが生成するものだけでなく、モデルがどのように意味を持つかをキャプチャします。
論文 参考訳(メタデータ) (2026-09-05T12:16:47Z) - Repair or Resample? Rethinking Failure Debugging in LLM Multi-Agent Systems [15.825635807363499]
我々は、MAS実行軌跡を記録し、介入アンカーを確立する制御された評価フレームワークであるSymTraceを紹介する。
リプレイ中は、記録されたログを使用してアンカーの前の実行を効果的に再構築し、下流の軌道のみを再生する。
その結果,既存の無誘導再走行法は信頼性が低く,故障の再現率や修復率も低いことが明らかとなった。
論文 参考訳(メタデータ) (2026-08-26T15:33:47Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳(メタデータ) (2026-08-14T07:26:38Z) - Apodex Discovery: Reality Benchmarks and Environments for Evaluating and Building Discoverative Artificial Intelligence [86.61561123749011]
Apodex Discovery(アポデックスディスカバリー)は、重度解法を用いて発見的AIを構築し評価するためのフレームワークである。
まず16のセクターで511の業界を調査し、423の高価値現実問題を集め、最初のリリースで20を選定した。
第二に、共通の環境-タスク-エピソード抽象化は、データ、ツール、制約、フィードバック、軌跡記録、中間成果物と最終提出物の検証を提供する。
論文 参考訳(メタデータ) (2026-08-11T18:48:40Z) - DiagLoop: A Counterfactual Data Flywheel with Stage-Localized Reinforcement for Diagnostic LLMs [5.241146164724621]
DiagLoopは、認知された物理的関係や臨床ガイドラインをトレーニングの監督に変換する、反ファクト的なデータフライホイールである。
訓練のみの教師は様々な原因、文脈、観察によって反現実の世界を提案し、一方独立したハイブリッドチェッカーは有効な世界しか認めない。
非終端障害に対しては、境界付き修復プローブが下流のコンピテンスを探索し、その結果の弱点プロファイルがその後のデータ生成を導く。
論文 参考訳(メタデータ) (2026-08-04T13:49:41Z) - One Reflection Is Not Enough: Self-Correcting Autonomous Research via Multi-Hypothesis Failure Attribution [85.65263343588026]
我々は,自己修正型,自律型,接地型実験機であるSAGEを提案する。
その中核的なメカニズムであるMHFA(Multi-Hypothesis Failure Attribution)は、回復を構造的因果診断として扱う。
12のトピック、5ドメインのベンチマークでは、SAGEは基準リフレクションでメトリクスを含むアウトプットを42%から92%に増やしている。
論文 参考訳(メタデータ) (2026-06-30T10:54:16Z) - Building Agent Harnesses for Scientific Curation from Multimodal Sources [17.12384426105798]
我々はマルチモーダルソースからの科学的キュレーションを研究し、科学論文から構造化情報を抽出するエージェントハーネスであるBeaverを紹介した。
我々は,Beaverがゴールドレコメンデーション・アトリビュート・スコア(GRAS)で81.0に達することを示す。
論文 参考訳(メタデータ) (2026-06-19T00:36:34Z) - Combining Trained Models in Reinforcement Learning [0.0]
深層強化学習(DRL)は、AtariやGoといったドメインで大きな成果を上げているが、それでも高いサンプルコストとトレーニング環境を超えて、弱い移行に悩まされている。
一般的な反応は、転送、蒸留、アンサンブル法、フェデレーショントレーニングを通じて、以前に訓練されたモデルの情報を再利用することである。
本稿では、DRLにおける事前学習知識の再利用に関する実証的研究について、PRISMA指導による体系的レビューを行う。
論文 参考訳(メタデータ) (2026-05-04T02:37:55Z) - The Last Human-Written Paper: Agent-Native Research Artifacts [106.47848184955576]
本稿では,物語紙を機械処理可能な研究パッケージに置き換えるプロトコルであるAgent-Native Research Artifact(ARA)を紹介する。
通常の開発において決定と終了をキャプチャするLive Research Manager、レガシPDFとリポジトリをARAに変換するARAコンパイラ、人間レビュアーが重要性、ノベルティ、味にフォーカスできるように客観的チェックを自動化するARAネイティブレビューシステムである。
論文 参考訳(メタデータ) (2026-04-27T16:23:09Z) - How Far Can Unsupervised RLVR Scale LLM Training? [57.44753418846446]
検証可能な報酬を伴う教師なし強化学習(URLVR)は、監督ボトルネックを越えてLLMトレーニングをスケールするための経路を提供する。
最近の研究は、モデル固有の信号を活用し、期待できる早期の利得を示しているが、その可能性と限界は未だ不明である。
我々は、URLVRメソッドを報酬源に基づく固有対外部に分類し、統一された理論的枠組みを確立する。
論文 参考訳(メタデータ) (2026-03-09T17:38:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。