論文の概要: From Prose to Properties: Testing Research Claims with ARATest for Agent-Native Science

• arxiv url: http://arxiv.org/abs/2610.30495v1
• Date: Wed, 21 Oct 2026 22:20:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-24 02:08:44.16844
• Title: From Prose to Properties: Testing Research Claims with ARATest for Agent-Native Science
• Title（参考訳）: 散文からプロパティへ - エージェント依存科学のためのARATestによる研究成果の検証
• Abstract要約: ARATestはプロパティベースのテストライブラリで、要求を実行可能なテストとしてチェックする。 3つの値のセマンティクスは、各プロパティを3つの評定の1つに割り当てる。 デフォルトのジェネレータは、エージェントネイティブな研究成果物が各クレームにリンクしているという証拠を読み、自動検索ジェネレータは、新しいケースのためにリリースされたコードを実行するためにエージェントをディスパッチする。
• 参考スコア（独自算出の注目度）: 17.47262207043608
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: AI agents now run experiments and report findings, so research produces claims faster than researchers can check them. Each empirical claim implies a property that must hold over its cases, but it states that property only in prose. Without an explicit property, no test can decide which evidence would falsify a claim, so validation cannot keep pace with the claims agents produce. To make claims testable, we approximate a claim's semantics by abstracting its property skeleton, a parameterized relation that recurs across claims. We present ARATest, a property-based testing library that checks these skeletons as executable tests. A typed declaration binds a claim to a skeleton and fixes the claim's compared quantities, cases, scope, and numerical policy. A shared case type makes every generator supply cases in the claim's statistical unit. A three-valued semantics assigns each property one of three verdicts: holds, violated, or inconclusive. Every violation carries a replayable witness. A default generator reads the evidence that agent-native research artifacts (ARA) link to each claim, and auto-research generators dispatch an agent to run released code for fresh cases. Our DissClaimer plugin supplies that agent and runs these generators as continuous testing. Of 243 claims in 33 ARA artifacts, 54 received faithful declarations bound to evidence: 32 held, eight were violated, and 14 remained inconclusive. Two violations exposed errors in published papers that their authors confirmed. ARATest detected all 553 seeded faults without a false alarm on 19 valid controls, outperforming two LLM judges. Fresh runs exposed behaviors that reported evidence could not show. These results suggest that one fixed test can check explicit claim properties against both reported and fresh evidence.
• Abstract（参考訳）: AIエージェントが実験を行い、その結果を報告しているため、研究は研究者が確認できるよりも早くクレームを生成できる。 それぞれの経験的主張は、その場合を守らなければならない性質を示すが、その性質は散文でのみ記述する。 明示的な性質がなければ、どの証拠がクレームを偽造するかは決定できないので、検証はクレームエージェントが生み出すペースを維持することはできない。 クレームを検証可能にするために、クレーム間で再帰するパラメータ化された関係であるプロパティスケルトンを抽象化することでクレームの意味を近似する。 私たちは、これらのスケルトンを実行可能なテストとしてチェックするプロパティベースのテストライブラリであるARATestを紹介します。 型付き宣言はクレームをスケルトンにバインドし、クレームの比較量、ケース、スコープ、数値ポリシーを修正する。 共有ケースタイプは、クレームの統計単位におけるすべてのジェネレータの供給ケースを作成する。 3つの値のセマンティクスは、それぞれのプロパティを3つの評定の1つに割り当てる。 すべての違反は再生可能な証人を運ぶ。 デフォルトのジェネレータは、エージェントネイティブな研究成果物(ARA)が各クレームにリンクしているという証拠を読み、自動検索ジェネレータは、新しいケースのためにリリースされたコードを実行するためにエージェントをディスパッチする。 私たちのDissClaimerプラグインは、エージェントを提供し、これらのジェネレータを継続的テストとして実行します。 33のARAアーティファクトの243件のうち、54件は証拠に拘束された忠実な宣言を受けており、32件、8件が違反し、14件が不確定のままであった。 2件の違反は、著者が確認した論文の誤りを暴露した。 ARATestは、19の有効なコントロールに対して誤警報なしで553のシード断層を検知し、2人のLLM判事を上回りました。 証拠が示せなかったことを報告した新鮮な行動が露呈した。 これらの結果は、ある固定テストが、報告された証拠と新鮮な証拠の両方に対して明示的なクレーム特性をチェックできることを示唆している。

関連論文リスト

• Evidence-Grounded LLM-Assisted Android Mobile Forensic Reporting [4.9716387139799805]
  大規模言語モデルは、法医学的な報告書作成を支援することができるが、流動的な出力は明らかな信頼性を保証しない。 本研究は,LLM支援Android法医学報告を原子プレースレベルで評価するためのエビデンス基盤フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-10-18T06:22:11Z)
• ACED-Bench: Evaluating How LLM Agents Acquire and Act on Causal Evidence [40.670500527968926]
  本稿では,この要件に基づいて構築されたニューロシンボリックベンチマークであるACED-BENCH(Active Causal Evidence and Decision Benchmark)を紹介する。 主要なリーダーボードACED-COREには180のタスクが含まれている。 我々は,3つのアクティブエージェント設計における7つの現代LCMと2つの先行世代モデルを評価した。
  論文  参考訳（メタデータ） (2026-10-09T23:01:57Z)
• DISCERN: Can AI Agents Work Like Scientists and Guide Discovery? [54.755189648365565]
  私たちは、自動研究ワークフローの3つの重要なレベルを評価するために、実際に利用可能なデータセットのベンチマークであるdisCERNを紹介します。 エージェントはレベル1の60.8%、レベル2の34.2%、レベル3の評価の0.6%で完璧なスコアを得る。 これらのプロファイルは、科学的な援助を監督する機会を特定するが、現在のエージェントは信頼できる自律的な分析や発見をまだ示していない。
  論文  参考訳（メタデータ） (2026-09-27T08:29:32Z)
• From Trajectories to Evidence: Auditable Experimental Records for Industrial Research Agents [47.678562263387214]
  研究エージェントは、産業レコメンデーション設定において、多段階の機械学習実験をますます実施している。 生成されたアーティファクトは、サポートされないか、不完全かもしれないし、実行されたラウンドは無効かもしれないし、あるいは廃止されるかもしれないし、後の修正は、以前の発見を曖昧にするかもしれない。 本稿では,連続的アーティファクトのバウンダリ検証と実行後のクレーム資格を結合するエビデンス・グラウンド・フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-08-05T13:37:38Z)
• Evidence-Ledger Adjudication for Claim-Evidence Traceability [0.45743735246920414]
  本稿では,エビデンス・レジャーの判断,すなわちクレーム・エビデンス・トレーサビリティ・ワークフローについて検討する。 それぞれのクレームとエビデンスパケットをペアにし、サポート関係を割り当てる。 その結果,エビデンスリーダの判断は,異質なエビデンスパケットをAI支援書込みのための監査可能なトレーサビリティ層にすることができることがわかった。
  論文  参考訳（メタデータ） (2026-07-29T06:22:53Z)
• Position: Correct Answer, Wrong Mechanism -- When AI Scientists Defend General Claims Their Own Data Contradicts [0.0]
  コーディングエージェントは信頼できるツールを証明しているが、オープンエンドのクレーム作成のための信頼性の低い科学的共著者である。 一段階の体制シフトチェックは、エージェントのクレームのみを必要とし、過度に一般化されたケースにフラグを付ける。 コンパニオン再計算は、正しいオブザーバブルがわかっている場合の残りのケースをフラグする。
  論文  参考訳（メタデータ） (2026-06-22T11:14:07Z)
• TRUST Agents: A Collaborative Multi-Agent Framework for Fake News Detection, Explainable Verification, and Logic-Aware Claim Reasoning [0.0]
  TRUST Agentsは、説明可能な事実検証と偽ニュース検出のためのフレームワークである。 検証可能なクレームを特定し、関連する証拠を検索し、その証拠に対するクレームと不確実性のある理由を比較し、人間が検査できる説明を生成する。 複雑なクレームをより効果的に処理するために、LoCalスタイルのクレーム分解にインスパイアされたデコンプザエージェント、特殊検証者ペルソナを備えたデルフィインスパイアされたマルチエージェント陪審、論理アグリゲータを導入する。
  論文  参考訳（メタデータ） (2026-04-14T01:31:14Z)
• FactReview: Evidence-Grounded Reviews with Literature Positioning and Execution-Based Claim Verification [57.196748998757954]
  本稿では,クレーム抽出,文献位置決定,実行に基づくクレーム検証を組み合わせたエビデンスベースレビューシステムであるFactReviewを紹介する。 FactReviewは論文を提出すると、主要なクレームを特定し、その結果を報告し、論文の技術的な位置を明らかにするために近くの作業を取り出し、コードが利用可能であれば、リリースされたリポジトリを実行する。 その後、簡潔なレビューと、主要な請求を5つのラベルのうち1つに割り当てるエビデンスレポートを生成する。
  論文  参考訳（メタデータ） (2026-04-05T11:45:22Z)
• Complex Claim Verification with Evidence Retrieved in the Wild [73.19998942259073]
  Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。 私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
  論文  参考訳（メタデータ） (2023-05-19T17:49:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。