論文の概要: Designing Informative Actions: Action Construction for Long-Horizon Research Agents

• arxiv url: http://arxiv.org/abs/2611.00773v1
• Date: Sat, 31 Oct 2026 09:33:20 GMT
• ステータス: 情報取得中
• システム内更新日: 2026-11-03 19:58:53.977681
• Title: Designing Informative Actions: Action Construction for Long-Horizon Research Agents
• Title（参考訳）: インフォーマティブ・アクションの設計:長期研究エージェントのためのアクション・コンストラクション
• Abstract要約: 本稿では,共通コストルールの下でのアクション構築を評価するための読み取りセットフレームワークを提案する。 30の合成状態において、完全設計要求は2つのモデルファミリーのアクションネームベースラインに対して、それぞれ465.98%と327.91%の安価な効率を向上する。
• 参考スコア（独自算出の注目度）: 24.897935817879116
• License:
• Abstract: Large language model agents support automated scientific research by connecting literature analysis and planning with experimentation. Evaluating which action an agent selects does not establish which experiment its instruction specifies, because omitted interventions or replication counts leave consequential choices to the executor. We introduce a reading-set framework for evaluating action construction under a common cost rule. Across 30 synthetic states, complete-design requests increase affordable efficiency by 465.98% and 327.91% relative to the action-name baseline in the two model families, respectively. An author-constructed research-action evaluation dataset provides 60 scenarios for complementary judgment evaluation. On this dataset, the scenario-level information-per-cost measure has a mean within-scenario correlation of 0.733 with judgments from 18 human participants. The framework makes design specification and execution ambiguity measurable, providing a reproducible basis for assessing how research agents translate scientific intent into informative, budget-feasible experiments.
• Abstract（参考訳）: 大規模言語モデルエージェントは、文献分析と実験計画を結ぶことで、自動科学的研究を支援する。 エージェントがどのアクションを選択するかを評価することは、命令がどの実験で指定するかを定めない。 本稿では,共通コストルールの下でのアクション構築を評価するための読み取りセットフレームワークを提案する。 30の合成状態において、完全設計要求は2つのモデルファミリーのアクションネームベースラインに対して、それぞれ465.98%と327.91%の安価な効率を向上する。 著者が構築した研究行動評価データセットは、補完的な評価評価のための60のシナリオを提供する。 このデータセットでは、シナリオレベルの情報/コスト測定は18人の被験者の判断と、平均して0.733のシナリオ内相関を持つ。 このフレームワークは、設計仕様と実行のあいまいさを計測可能とし、研究員が科学的意図を情報的かつ予算可能な実験にどのように翻訳するかを評価する再現可能な基礎を提供する。

関連論文リスト

• When Respondents Are Scarce: LLM-Derived Semantic Priors for Bayesian Confirmatory Factor Analysis [0.0]
  SEUF(Semantic-Empirical Updating Framework)について紹介する。 SEUFは、仮説化されたアイテム要素の割り当てと整合した大きな言語モデルパラフレーズと埋め込みを、ベイズ的確証因子分析のための予め定義された前置詞に変換する。 SEUFの評価には,工業団地利害関係者617名と,FEVSとRIASECの2つの公開調査を用いた。
  論文  参考訳（メタデータ） (2026-10-26T04:49:11Z)
• What Does a Skill Actually Do? Estimands and Evaluation Validity for Tool and Skill Use in LLM Agents: A Critical Review [6.446568742921826]
  レビューでは、どの評価を見積もるか、どの設計支援を結論付けるかを検討する。 設計は、治療コントラスト、対象人口、結果、予算制約、概要測定、識別仮定によって特徴づけられる。
  論文  参考訳（メタデータ） (2026-09-27T03:26:34Z)
• Judgment-Grounded Expansion for Peer Review Generation [68.04679314462481]
  我々は、評価的クレームを提供する人間とAIの協調モードである判断基盤の拡張を定式化し、レビューコメント候補に拡張する(s)。 本研究は,スケーラブルな評価と候補セットのキュレーションの2つの実践的課題について検討する。 本研究は,具体的な課題として判断基盤の拡大を確立し,今後の共同レビュー生成システムの設計のための実証的,方法論的基盤を提供する。
  論文  参考訳（メタデータ） (2026-06-22T12:20:11Z)
• An Agentic Approach Towards Replication Package Quality Evaluation [1.6950215926321557]
  本稿では,複製パッケージの品質評価のためのエージェント的アプローチについて検討する。 我々は34のソースから380の要件を51の基準に集約し、そのうち31は自動アーティファクトベースの評価のために運用されている。 5つの複製パッケージの予備評価は、91.4%と75.4%の高い実行間一貫性を示している。
  論文  参考訳（メタデータ） (2026-06-01T10:00:41Z)
• Pitfalls in Evaluating Interpretability Agents [91.49742416116635]
  我々は,実験を反復的に設計し,仮説を洗練するエージェントシステムを構築した。 我々の研究は、複雑な自動解釈可能性システムを評価する上での根本的な課題を実証している。
  論文  参考訳（メタデータ） (2026-03-20T16:27:17Z)
• The Story is Not the Science: Execution-Grounded Evaluation of Mechanistic Interpretability Research [56.80927148740585]
  我々は、動的に進化し、研究評価者としてAIエージェントを開発することで、スケーラビリティと厳密さの課題に対処する。 我々は,機械的解釈可能性の研究をテストベッドとして使用し,標準化された研究成果を構築し,MechEvalAgentを開発した。 我々の研究は、AIエージェントが研究評価を変革し、厳格な科学的実践の道を開く可能性を実証している。
  論文  参考訳（メタデータ） (2026-02-05T19:00:02Z)
• Beyond "Not Novel Enough": Enriching Scholarly Critique with LLM-Assisted Feedback [81.0031690510116]
  本稿では,3段階を通して専門家レビューアの動作をモデル化する,自動ノベルティ評価のための構造化アプローチを提案する。 本手法は,人文のノベルティレビューを大規模に分析した結果から得られたものである。 182 ICLR 2025 の提出で評価されたこの手法は、人間の推論と86.5%の一致と、新規性の結論に関する75.3%の合意を達成している。
  論文  参考訳（メタデータ） (2025-08-14T16:18:37Z)
• Enhancing Essay Cohesion Assessment: A Novel Item Response Theory Approach [0.7845950813414773]
  本研究では,項目応答理論に基づく凝集点予測手法の提案と解析を行う。 提案手法は,従来の機械学習モデルとアンサンブル手法を,いくつかの評価指標で比較した。
  論文  参考訳（メタデータ） (2025-07-11T11:05:27Z)
• AblationBench: Evaluating Automated Planning of Ablations in Empirical AI Research [34.173947968362675]
  AblationBenchは、経験的AI研究におけるアブレーション計画タスクのエージェントを評価するためのベンチマークスイートである。 AuthorAblationは、著者がメソッドセクションに基づいてアブレーション実験を提案するのに役立つ。 両方のタスクに対して,自動評価フレームワークとして機能するLMベースの判断器を開発する。
  論文  参考訳（メタデータ） (2025-07-09T12:07:38Z)
• STRICTA: Structured Reasoning in Critical Text Assessment for Peer Review and Beyond [68.47402386668846]
  本研究では,テキストアセスメントをステップワイド推論プロセスとしてモデル化するために,Structured Reasoning In Critical Text Assessment (STRICTA)を導入する。 STRICTAは、因果性理論に基づく相互接続推論ステップのグラフに評価を分解する。 約40人のバイオメディカル専門家が20以上の論文について4000以上の推論ステップのデータセットにSTRICTAを適用した。
  論文  参考訳（メタデータ） (2024-09-09T06:55:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。