論文の概要: From Trajectories to Evidence: Auditable Experimental Records for Industrial Research Agents
- arxiv url: http://arxiv.org/abs/2608.05235v1
- Date: Wed, 05 Aug 2026 13:37:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-07 17:43:06.636308
- Title: From Trajectories to Evidence: Auditable Experimental Records for Industrial Research Agents
- Title(参考訳): 軌道から証拠へ:産業研究機関の監査可能な実験記録
- Abstract要約: 研究エージェントは、産業レコメンデーション設定において、多段階の機械学習実験をますます実施している。
生成されたアーティファクトは、サポートされないか、不完全かもしれないし、実行されたラウンドは無効かもしれないし、あるいは廃止されるかもしれないし、後の修正は、以前の発見を曖昧にするかもしれない。
本稿では,連続的アーティファクトのバウンダリ検証と実行後のクレーム資格を結合するエビデンス・グラウンド・フレームワークを提案する。
- 参考スコア(独自算出の注目度): 47.678562263387214
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Research agents increasingly conduct multi-round machine-learning experiments in industrial recommendation settings and retain the resulting trajectories to guide later decisions. Yet a completed trajectory is not automatically evidence: generated artifacts may be unsupported or incomplete, executed rounds may be invalid or confounded, and later modifications may obscure earlier findings. We study \textbf{trajectory-to-evidence conversion}, asking what a completed research process has actually established. We introduce an evidence-grounded framework that couples bounded verification of consequential artifacts with post-execution claim qualification. A context-isolated generate--verify--repair process checks artifacts for evidence violations and missing downstream requirements before release. After execution, validity and attribution checks consolidate evidence across rounds, qualify intervention-level claims as actionable repairs, diagnostic guards, or withheld findings, and preserve admitted claims as auditable records with explicit provenance and applicability boundaries. A hybrid LLM-assisted controller subsequently applies, defers, or rejects records based on available target evidence. Record audits characterize which claims survive qualification, while downstream diagnostics identify affirmative applicability judgment as a bottleneck for the tested controller. Across paper-to-target adaptations, later rounds often improve on the first, while final rounds frequently underperform an earlier best, exposing non-monotonic trajectory evolution. Candidates produced through the complete workflow also yielded positive online lifts relative to deployed baselines.
- Abstract(参考訳): 研究機関は、産業レコメンデーション設定において、多段階の機械学習実験をますます実施し、その後の意思決定を導くための軌道を維持している。
生成されたアーティファクトは、サポートされないか、不完全かもしれないし、実行されたラウンドは無効かもしれないし、あるいは廃止されるかもしれないし、後の修正は、以前の発見を曖昧にするかもしれない。
本研究では, 完成した研究プロセスが実際に何を確立しているのかを問う, <textbf{trajectory-to-evidence conversion} について検討する。
本稿では,連続的アーティファクトのバウンダリ検証と実行後のクレーム資格を結合するエビデンス・グラウンド・フレームワークを提案する。
コンテキスト分離生成-検証--修復プロセスは、エビデンス違反やリリース前の下流要求の欠如についてアーティファクトをチェックする。
実行後、妥当性と帰属性は、ラウンド全体で証拠を集約し、介入レベルのクレームを行動可能な修復、診断ガード、または未確認の発見として認定し、明確な証明と適用性境界を持つ監査可能な記録として保持する。
ハイブリッドLSMアシストコントローラはその後、利用可能なターゲットエビデンスに基づいてレコードを適用、削除、拒否する。
記録監査は、どのクレームが資格を存続するかを特徴付け、下流診断は、肯定的な適用可能性判断をテストされたコントローラのボトルネックとみなす。
紙からターゲットへの適応では、後続のラウンドは最初のラウンドでしばしば改善され、最終ラウンドはより早い段階で最も良く、非単調な軌道の進化を露呈する。
完全なワークフローを通じて生成された候補は、デプロイされたベースラインに対する肯定的なオンラインリフトも得られる。
関連論文リスト
- The Verification Gap in Networked Physical AI: A Post-Semantic Communication Framework [0.7896651877485362]
ネットワーク化された物理AIでは、提案は有効で、タイムリーで、提案に結びついた証拠や、行動の確定に必要な権限がまだ利用できないまま理解される。
我々はこのミスマッチを検証ギャップと呼び、提案生成と物理実行の間のシステムインターフェースのためのポストセマンティック・コミュニケーション・フレームワークを導入します。
論文 参考訳(メタデータ) (2026-08-20T03:17:20Z) - DRNOISE: Benchmarking Deep Research Agents in Misleading Evidence Environments [51.049999642138]
誤解を招く証拠の下で、回答回復のための100タスクのベンチマークであるDRNOISEを紹介する。
それぞれのタスクは、2つの間接的レコードチェーンが支持する固有の金の答えを持ち、ペアのノイズ条件は競合する答えを直接記述する1つのもっともらしい文書を付加する。
強いクリーンタスク性能を持つエージェント全体で、この単一の介入は66-88ポイントの精度低下を引き起こす。
論文 参考訳(メタデータ) (2026-07-19T15:20:40Z) - Diagnosing LLM Arbitration Behavior over Pre-evidence Epistemic States in RAG-based Fact-Checking [14.164769475625391]
RAGベースのファクトチェックでは、LLMは、検索された証拠に対して与えられたクレームをチェックするための検証器として、ますます使われている。
我々は,LSM検証を4つのてんかん状態に階層化する診断テストベッドであるtextscPAVE(emphPrior-Aware Verifier Evaluation)を紹介する。
実験により、現実のRAGベースのファクトチェックアプリケーションにおいて、検証者選択の重要性が浮かび上がっている。
論文 参考訳(メタデータ) (2026-05-31T09:37:56Z) - PAVE: Premise-Aware Validation and Editing for Retrieval-Augmented LLMs [8.082352336629816]
PAVEは、根拠に基づく質問応答のための推論時検証層である。
検索されたコンテキストを質問条件のアトミックな事実に分解し、回答をドラフトし、抽出された前提によってそのドラフトがどの程度うまくサポートされているかをスコアし、ファイナライズ前に低サポート出力を更新する。
論文 参考訳(メタデータ) (2026-03-21T06:23:21Z) - From Fluent to Verifiable: Claim-Level Auditability for Deep Research Agents [8.49451413641847]
研究生成が安価になるにつれて、監査可能性がボトルネックになる、と我々は主張する。
この観点からは,ディープリサーチエージェントの第一級設計および評価対象として,クレームレベルの監査性を提案する。
論文 参考訳(メタデータ) (2026-02-14T19:39:15Z) - Preventing the Collapse of Peer Review Requires Verification-First AI [49.995126139461085]
我々は、真理結合、すなわち、過度に科学的真理をトラックする場所のスコアの厳密さを提案する。
プロキシ・ソブリン評価に向けた相転移を駆動する2つの力の形式化を行う。
論文 参考訳(メタデータ) (2026-01-23T17:17:32Z) - Retrieve-Refine-Calibrate: A Framework for Complex Claim Fact-Checking [32.6738019397553]
大規模言語モデル(LLM)に基づくRetrieve-Refine-Calibrate(RRC)フレームワークを提案する。
特に、このフレームワークは、まずクレームに記載されたエンティティを特定し、それらに関連する証拠を検索する。
そして、無関係な情報を減らすためのクレームに基づいて、回収された証拠を精査する。
最後に、信頼性の低い予測を再評価することで検証プロセスを校正する。
論文 参考訳(メタデータ) (2026-01-23T08:48:52Z) - Contrastive Learning to Improve Retrieval for Real-world Fact Checking [84.57583869042791]
ファクト・チェッキング・リランカ(Contrastive Fact-Checking Reranker, CFR)を提案する。
我々はAVeriTeCデータセットを活用し、証拠文書からの人間による回答とクレームのサブクエストを注釈付けする。
データセットの精度は6%向上した。
論文 参考訳(メタデータ) (2024-10-07T00:09:50Z) - From Relevance to Utility: Evidence Retrieval with Feedback for Fact Verification [118.03466985807331]
我々は、FVの関連性よりも、クレーム検証者が取得した証拠から導出する実用性に焦点を当てる必要があると論じる。
本稿では,エビデンス検索プロセスの最適化に,クレーム検証器からのフィードバックを取り入れたフィードバックベースのエビデンス検索手法(FER)を提案する。
論文 参考訳(メタデータ) (2023-10-18T02:59:38Z) - Complex Claim Verification with Evidence Retrieved in the Wild [73.19998942259073]
Webから生の証拠を取り出すことによって,実世界のクレームをチェックするための,最初の完全自動化パイプラインを提示する。
私たちのパイプラインには,クレーム分解,生文書検索,きめ細かい証拠検索,クレーム中心の要約,正確性判定という5つのコンポーネントが含まれています。
論文 参考訳(メタデータ) (2023-05-19T17:49:19Z) - AmbiFC: Fact-Checking Ambiguous Claims with Evidence [57.7091560922174]
実世界の情報ニーズから10kクレームを抽出したファクトチェックデータセットであるAmbiFCを提示する。
アンビFCの証拠に対する主張を比較する際に,曖昧さから生じる不一致を分析した。
我々は,このあいまいさをソフトラベルで予測するモデルを開発した。
論文 参考訳(メタデータ) (2021-04-01T17:40:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。