論文の概要: From Weak Task Specifications to Scientific Extraction Agents: Optimizing Task Construction

• arxiv url: http://arxiv.org/abs/2609.34829v1
• Date: Mon, 28 Sep 2026 10:24:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 02:28:02.674378
• Title: From Weak Task Specifications to Scientific Extraction Agents: Optimizing Task Construction
• Title（参考訳）: タスク仕様から科学的抽出エージェントへ:タスク構築の最適化
• Abstract要約: 本稿では,短い目標と注釈のない参照文書のみを含む弱い仕様からタスク固有の構成を構築することの問題点について検討する。 本フレームワークは,タスク固有のスキーマ,抽出命令,ベーストレーニングルーブリックを構築し,最適化時にスキーマの構成と抽出命令を編集可能にしておく。 不均一触媒文学コーパスでは、自動構築は改善可能であり、スキーマ構築と抽出命令の両方を最適化し、4つの判定ルーブリック設定で最善を尽くす。
• 参考スコア（独自算出の注目度）: 20.584669377401102
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Most methods that optimize LLM prompts and agent workflows assume that task-specific output schemas, extraction instructions, and evaluation criteria are predefined. For scientific extraction agents, however, a short task goal may not fully determine these components, while specifying them manually is costly. We study the upstream problem of constructing the task-specific configuration from a weak specification containing only a short goal and unannotated reference documents. Rather than treating automatic construction as a fixed preprocessing step, our framework constructs a task-specific schema, extraction instructions, and base training rubrics, then keeps schema construction and extraction instructions editable during optimization. Failure-focused updates concentrate textual-gradient feedback on lower-scoring documents, while training-time evaluation criteria adapt to recurring failures. On a heterogeneous-catalysis literature corpus, automatic construction remains improvable, and optimizing both schema construction and extraction instructions performs best across all four judge-rubric settings, with ablations and blinded human evaluation supporting the proposed formulation.
• Abstract（参考訳）: LLMプロンプトとエージェントワークフローを最適化するほとんどの方法は、タスク固有の出力スキーマ、抽出命令、評価基準が事前に定義されていると仮定する。 しかし、科学的抽出エージェントの場合、これらのコンポーネントを完全には決定できないが、手動で特定するにはコストがかかる。 本稿では,短い目標と注釈のない参照文書のみを含む弱い仕様からタスク固有の構成を構築する際の上流問題について検討する。 自動構築を固定前処理のステップとして扱うのではなく、タスク固有のスキーマ、抽出命令、ベーストレーニングルーリックを構築し、最適化中にスキーマの構築と抽出命令を編集可能にします。 失敗に焦点を当てた更新は、テキストの段階的なフィードバックを低スコアのドキュメントに集中させ、トレーニング時間評価基準は繰り返し失敗に適応する。 ヘテロジニアス触媒文学コーパスでは, 自動構築は引き続き実現可能であり, スキーマ構築と抽出命令の最適化は, 4つの判定ルーブリック設定のすべてにおいて最善である。

関連論文リスト

• Studying Without a Syllabus: Task-Agnostic Environment Preprocessing [5.245578927406077]
  本研究では,学習システムが予算下で環境を探索し,凍結解凍器の人工物を生成するタスク非依存環境前処理を形式化する。 メタエージェントの変種は5つのベンチマークで最高のAvg@3報酬を達成するが、固定コーパス処理は最大のコーパスベンチマークで最良である。 研究されたアーティファクトは、所定のスコアに達するのに必要なテスト時間サンプリングを減らし、再利用可能な準備が、繰り返しのテスト時間試行からタスク前の研究フェーズにどのように移行できるかを実証する。
  論文  参考訳（メタデータ） (2026-09-09T20:52:55Z)
• CDR-Bench: Evaluating Faithful Execution of Compositional, Order-Sensitive Data Refinement Recipes [52.734097662607375]
  CDR-Benchは、4つの現実世界のデータリファインメントドメインにまたがる3,462の高品質なタスクを特徴とする包括的なベンチマークである。 我々のベンチマークでは、原子性、秩序に依存しない、秩序に敏感な設定でモデルを評価する。 10以上の最先端のLLMの実験では、一貫した障害パターンが明らかになっている。
  論文  参考訳（メタデータ） (2026-06-30T10:08:45Z)
• Learnable Assessment Skills for LLM-based Automated Scoring: Rubric Construction via Iterative Optimization [31.444113318748588]
  本稿では,スキルを固定された足場と学習可能なアイテムに依存しないルールに分解する反復的フレームワークを提案する。 クロスイテム転送実験は、学習スキルが一般化可能なパターンとアイテム固有のパターンの両方をキャプチャすることを示した。
  論文  参考訳（メタデータ） (2026-05-28T02:50:07Z)
• A Hybrid Supervised-LLM Pipeline for Actionable Suggestion Mining in Unstructured Customer Reviews [7.035080519570155]
  そこで我々は,高精度呼出しサロゲートで訓練した高速呼出しRoBERTa分類器を併用したハイブリッドパイプラインの評価を行った。 実世界のホスピタリティと食品データセット全体にわたって、このハイブリッドシステムはルールベースよりも優れており、抽出精度とクラスタコヒーレンスにおいて、分類器のみのベースラインである。
  論文  参考訳（メタデータ） (2026-01-27T05:30:29Z)
• DeepResearchEval: An Automated Framework for Deep Research Task Construction and Agentic Evaluation [56.886936435727854]
  DeepResearchEvalは、ディープリサーチタスク構築とエージェント評価のための自動化フレームワークである。 タスク構築のために,多様なユーザプロファイルに固定された現実的で複雑な研究タスクを生成するペルソナ駆動パイプラインを提案する。 評価には,タスク固有の評価次元,基準,重みを動的に導出する適応的ポイントワイド品質評価と,引用が欠落した場合でもWeb検索によるレポート文の自動抽出と検証を行うアクティブ・ファクト・チェッキングの2つの要素からなるエージェントパイプラインを提案する。
  論文  参考訳（メタデータ） (2026-01-14T18:38:31Z)
• Improving Alignment Between Human and Machine Codes: An Empirical Assessment of Prompt Engineering for Construct Identification in Psychology [0.0]
  本稿では,テキスト中のコンストラクタをインシデントエンジニアリングで識別するために,インシデント性能を最適化するための実証的フレームワークを提案する。 提案手法は,コードブックによる経験的プロンプト選択,自動プロンプトエンジニアリング,ペルソナプロンプト,チェーンオブ思考推論,説明的プロンプトという5つのプロンプト戦略を実験的に評価した。 3つの構成と2つのモデルで、分類は専門家の判断に最も適しており、コードブックに誘導された経験的プロンプト選択と自動プロンプトエンジニアリングを組み合わせた数発のプロンプトから生まれた。
  論文  参考訳（メタデータ） (2025-12-03T14:07:42Z)
• Agentic Predictor: Performance Prediction for Agentic Workflows via Multi-View Encoding [56.565200973244146]
  Agentic Predictorは、効率的なエージェントワークフロー評価のための軽量な予測器である。 Agentic Predictorはタスク成功率の近似を学ぶことで、最適なエージェントワークフロー構成の迅速かつ正確な選択を可能にする。
  論文  参考訳（メタデータ） (2025-05-26T09:46:50Z)
• StructTest: Benchmarking LLMs' Reasoning through Compositional Structured Outputs [78.84060166851805]
  StructTestは、大規模な言語モデル(LLM)を合成命令に従って構造化出力を生成する能力に基づいて評価する、新しいベンチマークである。 評価はルールベースの評価器を用いて決定的に行われ、新しいタスクやデータセットに容易に拡張できる。 StructTestは、Deepseek-V3/R1やGPT-4oといったトップパフォーマンスモデルでも、依然として難しいままです。
  論文  参考訳（メタデータ） (2024-12-23T22:08:40Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。