論文の概要: Auditing Reproducibility in Non-Targeted Analysis: 103 LC/GC--HRMS Tools Reveal Temporal Divergence Between Openness and Operability
- arxiv url: http://arxiv.org/abs/2512.20279v1
- Date: Tue, 23 Dec 2025 11:35:30 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-24 19:17:49.851918
- Title: Auditing Reproducibility in Non-Targeted Analysis: 103 LC/GC--HRMS Tools Reveal Temporal Divergence Between Openness and Operability
- Title(参考訳): 非ターゲット分析における再現性の評価:103 LC/GC--HRMSツールによる開度と操作性の時間的差異の検証
- Abstract要約: 2008年、乳児の公式のメラミンは、3大陸の研究所に、これまで監視したことのない化合物を検証するよう強制した。
LC/GC-HRMSを用いた非ターゲット分析はこれらのケースを扱う。
独立した研究室は分析を繰り返すことができ、同じ結論に達することができるのか?
FAIRとBP4NTAの原則から引き出された6つの柱に対して103のツールを評価した。
- 参考スコア(独自算出の注目度): 8.19572039857658
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: In 2008, melamine in infant formula forced laboratories across three continents to verify a compound they had never monitored. Non-targeted analysis using LC/GC-HRMS handles these cases. But when findings trigger regulatory action, reproducibility becomes operational: can an independent laboratory repeat the analysis and reach the same conclusion? We assessed 103 tools (2004-2025) against six pillars drawn from FAIR and BP4NTA principles: laboratory validation (C1), data availability (C2), code availability (C3), standardised formats (C4), knowledge integration (C5), and portable implementation (C6). Health contributed 51 tools, Pharma 31, and Chemistry 21. Nine in ten tools shared data (C2, 90/103, 87%). Fewer than four in ten supported portable implementations (C6, 40/103, 39%). Validation and portability rarely appeared together (C1+C6, 18/103, 17%). Over twenty-one years, openness climbed from 56% to 86% while operability dropped from 55% to 43%. No tool addressed food safety. Journal data-sharing policies increased what authors share but not what reviewers can run. Tools became easier to find but harder to execute. Strengthening C1, C4, and C6 would turn documented artifacts into workflows that external laboratories can replay.
- Abstract(参考訳): 2008年、乳児の公式のメラミンは、3大陸の研究所に、これまで監視したことのない化合物を検証するよう強制した。
LC/GC-HRMSを用いた非ターゲット分析はこれらのケースを扱う。
しかし、発見が規制行動を引き起こすと、再現性は機能し、独立した研究所は分析を繰り返すことができ、同じ結論に達することができるのか?
実験室検証(C1)、データアベイラビリティ(C2)、コードアベイラビリティ(C3)、標準化フォーマット(C4)、知識統合(C5)、ポータブル実装(C6)である。
健康は51のツール、Pharma 31、Science 21に寄与した。
10のツールのうち9つはデータを共有している(C2, 90/103, 87%)。
10に4つ以上のポータブル実装(C6, 40/103, 39%)がサポートされた。
C1+C6, 18/103, 17%) では, 有効性と可搬性はほとんど認められなかった。
21年間でオープンネスは56%から86%に上昇し、オペラビリティは55%から43%に低下した。
食品の安全性に対処する道具はない。
ジャーナルのデータ共有ポリシーは、著者が共有するものを増やしたが、レビュアーが実行できるものではなかった。
ツールは見つけやすくなったが、実行は難しくなった。
C1、C4、C6の強化は、文書化されたアーティファクトを外部研究所が再生できるワークフローに変換する。
関連論文リスト
- MemToC: Benchmarking Memory-Tool Conflict Resolution in Large Language Models [49.47300047353726]
MemToCは、実行時ツールによるポストツール-リターン仲裁のベンチマークである。
MemToCは、542の質制御された事実質問から構築された6,504回の評価エピソードで構成されている。
オープンウェイトな7-9Bモデルでは、ツールが強く支配的なクローズドブックの回答を返す。
論文 参考訳(メタデータ) (2026-08-26T18:22:03Z) - Demystifying Agent Skills: Why They Work-Until They Don't [58.92875630998418]
既存の評価は、スキルが集約されたタスクの成功を改善するかどうかを主に測定する。
我々は、表現、結果アノテーション、検索難易度、スキルのクロスフレームワークの影響を分離する。
我々はこれらの観察を3つの高レベルカテゴリと12のスキルユースモードの分類に集約する。
論文 参考訳(メタデータ) (2026-08-14T07:26:38Z) - From Runnable to Verifiable: An Independent Reproducibility Study of LLM/Agent-Driven Vulnerability Validation Artifacts [4.093009863847175]
セキュリティ研究成果物は、エージェント駆動の脆弱性によってますます生成される。
公衆に入手可能で、飛行可能で、飛行可能で、飛行可能で、飛行確認済みの人工物とのギャップは、十分に測定されていない。
我々はこの文献について事前登録されたコンセンサス監査を行う。
論文 参考訳(メタデータ) (2026-08-10T13:05:02Z) - Control Under Compression: Reliability Frontiers for Tool-Using Agents [0.0]
ACC圧縮のための環境検証ベンチマークであるCompressAgentを紹介する。
75%の保持状況では、汎用的な書き換えとセクションベースの圧縮が92.7%、92.4%の成功を収めている。
25%から10%の継続コンテキスト予算では、実行可能なプロトコルは脆弱になる。
論文 参考訳(メタデータ) (2026-08-02T07:43:44Z) - EduPluginBench: Executable Assurance for AI-Generated Educational Plugins [0.0]
我々は,ソフトウェアエコシステムにおいて生成したプラグインに対して,負の証明,実行可能なベンチマーク,ステージド・インセプション手法を導入する。
現在の2つの符号化モデルから600世代を凍結した転写研究では300/600が解析されたが、P0を通過させたり、P0-P4適合性を達成したりはしなかった。
初期の540世代の診断では、ホック後のバウンド修理で112回のP0パスが得られたが、全ては不整合であり、リコールは13.4%から100%に増加した。
論文 参考訳(メタデータ) (2026-08-01T16:22:35Z) - LabRobFail: A Benchmark for Robotic Failure Analysis in Chemical Self-driving Laboratory [52.26893354670174]
本稿では,化学実験室におけるロボット故障解析の学習と評価を目的とした,障害中心のフレームワークであるLabRobFailを紹介する。
LabRobFail-Simは制御、物理、意味レベルで制御可能な障害を注入する。
LabRobFail-Benchは、タスク理解、障害検出、時間的ローカライゼーション、重大度評価、障害分類、動作可能な修正の6つの機能を評価する。
論文 参考訳(メタデータ) (2026-07-26T14:56:04Z) - When Can Conformal Risk Control Certify LLM Outputs? Bounds, Impossibility, and Adaptation for Structured Generation [0.11280931253550518]
構造化世代 (NER, 抽出, QA, 分類) にデプロイされる大規模言語モデル (LLM) には、正式な信頼性保証がない。
我々は、共形リスク制御(CRC)が構造化LLM出力を証明でき、かつ、それが証明不可能な場合に特徴付ける。
論文 参考訳(メタデータ) (2026-06-27T19:25:07Z) - Dr-DCI: Scaling Direct Corpus Interaction via Dynamic Workspace Expansion [76.02214947070392]
DR-DCIは、検索をローカルなワークスペースを拡張するためのエージェントコール可能なアクションとして扱う、レトリバーによるDCIフレームワークである。
DR-DCIはスケールにわたって効果的かつ効率的であることを示す。
コーパススケーリング実験では、DR-DCIは1万文書から10万文書まで有効であり、生のDCIは不安定になり、BM25は著しく悪化する。
論文 参考訳(メタデータ) (2026-06-12T18:46:18Z) - ClinSeekAgent: Automating Multimodal Evidence Seeking for Agentic Clinical Reasoning [49.05361955143476]
ClinSeekAgentは動的マルチモーダルエビデンスのための自動エージェントフレームワークである。
ClinSeekAgentは、臨床クエリと生のデータソースへのアクセスのみを前提として、医療知識ベースへの問い合わせ、生のEHRのナビゲート、医療画像ツールの呼び出しによって証拠を集めている。
論文 参考訳(メタデータ) (2026-05-19T17:58:37Z) - EnactToM: An Evolving Benchmark for Functional Theory of Mind in Embodied Agents [75.01735520608075]
既存のベンチマークは、直観的信念を問うことで、主にリテラル・オブ・マインド(ToM)をテストする。
EnactToMは, 3D 家庭で設定された300個のマルチエージェントタスクの進化ベンチマークである。
ハードスプリットでは、7つの評価されたフロンティアモデルすべてが機能的なタスク完了時に0.0%のPass3を獲得し、リテラルな信念プローブでは平均45.0%であった。
論文 参考訳(メタデータ) (2026-05-11T00:04:19Z) - Needle in the Repo: A Benchmark for Maintainability in AI-Generated Repository Edits [3.9532936038777144]
Needle in the Repo (NITR) は、リポジトリの動作的に正しい編集が維持可能な構造を保存するかどうかを評価するためのフレームワークである。
NITRは、ソフトウェアエンジニアリングの知恵を、小さな、現実的なマルチファイルに埋め込まれた制御されたプローブに蒸留する。
GPT、Claude、Gemini、Qwenの各ファミリーの23のコーディング構成を、直接推論とエージェントベースの設定の両方で評価する。
論文 参考訳(メタデータ) (2026-03-29T15:56:05Z) - DUCX: Decomposing Unfairness in Tool-Using Chest X-ray Agents [35.69412546569078]
ツールを用いた医療エージェントは、特殊な視覚と言語モジュールを編成することにより、胸部X線質問応答を改善することができる。
MedRAXを用いた胸部X線剤の系統的評価を行った。
論文 参考訳(メタデータ) (2026-02-28T18:46:45Z) - scBench: Evaluating AI Agents on Single-Cell RNA-seq Analysis [6.518767416778027]
scBenchは、scRNA-seqデータセットに由来する394の検証可能な問題のベンチマークである。
8つのフロンティアモデルのベンチマークデータによると、精度は29~53%で、強力なモデルタスクとモデルプラットフォーム相互作用がある。
論文 参考訳(メタデータ) (2026-02-09T03:20:31Z) - CASCADE: Cumulative Agentic Skill Creation through Autonomous Development and Evolution [7.266404572341558]
大規模言語モデル(LLM)エージェントは現在、事前に定義されたツールや脆いツール生成に依存している。
これは、"LLM + tool use"から"LLM + skill acquisition"への移行の早期インスタンス化を表すセルフ進化型エージェントフレームワークである。
論文 参考訳(メタデータ) (2025-12-29T21:50:23Z) - Cross-LLM Generalization of Behavioral Backdoor Detection in AI Agent Supply Chains [0.0]
本研究は,Cross-LLMビヘイビアバックドア検出に関する最初の体系的研究である。
単一モデル検出器は、トレーニング分布において92.7%の精度を達成するが、異なるLLM間で49.2%しか達成していないことを示す。
追加機能としてのモデル認識モデル同定は,すべての評価モデルに対して90.6%の精度で達成可能であることを示す。
論文 参考訳(メタデータ) (2025-11-25T03:33:04Z) - A Multi-agent Large Language Model Framework to Automatically Assess Performance of a Clinical AI Triage Tool [5.585587545595609]
本研究の目的は,複数のLDMエージェントのアンサンブルを用いて,画素ベースのAIトリアージツールの信頼性を高めることであった。
論文 参考訳(メタデータ) (2025-10-30T13:50:19Z) - OSWorld-MCP: Benchmarking MCP Tool Invocation In Computer-Use Agents [49.34040731113563]
我々は,コンピュータ利用エージェントのツール実行,GUI操作,意思決定能力を評価するための,最初の総合的かつ公正なベンチマークであるOSWorld-MCPを提案する。
厳密な手作業による検証は158の高品質なツールをもたらし、それぞれが正しい機能、実用性、汎用性を検証します。
OSWorld-MCPはマルチモーダルエージェントの理解を深め、複雑なツール支援環境でのパフォーマンスを評価するための新しい標準を設定している。
論文 参考訳(メタデータ) (2025-10-28T15:56:36Z) - Trace: Securing Smart Contract Repository Against Access Control Vulnerability [58.02691083789239]
GitHubはソースコード、ドキュメント、設定ファイルを含む多数のスマートコントラクトリポジトリをホストしている。
サードパーティの開発者は、カスタム開発中にこれらのリポジトリからコードを参照、再利用、フォークすることが多い。
スマートコントラクトの脆弱性を検出する既存のツールは、複雑なリポジトリを扱う能力に制限されている。
論文 参考訳(メタデータ) (2025-10-22T05:18:28Z) - InfoMosaic-Bench: Evaluating Multi-Source Information Seeking in Tool-Augmented Agents [60.89180545430896]
InfoMosaic-Benchは、ツール拡張されたエージェントを探すマルチソース情報に特化した最初のベンチマークである。
汎用検索とドメイン固有のツールを組み合わせるにはエージェントが必要である。
この設計は信頼性と非自明性の両方を保証する。
論文 参考訳(メタデータ) (2025-10-02T17:48:03Z) - Eigen-1: Adaptive Multi-Agent Refinement with Monitor-Based RAG for Scientific Reasoning [53.45095336430027]
暗黙的な検索と構造化された協調を組み合わせた統合フレームワークを開発する。
Humanity's Last Exam (HLE) Bio/Chem Goldでは,48.3%の精度を実現している。
SuperGPQAとTRQAの結果はドメイン間の堅牢性を確認した。
論文 参考訳(メタデータ) (2025-09-25T14:05:55Z) - A Biosecurity Agent for Lifecycle LLM Biosecurity Alignment [13.707244322057834]
本研究では,モデルライフサイクル全体で4つの調整モードで構成されるバイオセキュリティエージェントについて述べる。
データセットの衛生化(Mode 1)については、新型コロナウイルス関連記事のオープンリサーチデータセットであるCORD-19で評価を行う。
優先調整(Mode 2)では、LoRAアダプタを使用したDPOは拒絶や安全な完了を内部化し、エンドツーエンドの攻撃成功率(ASR)を59.7%から3.0%に下げる。
推論(Mode 3)では、L1-L3のランタイムガードレールは、期待されるセキュリティとユーザビリティのトレードオフを示している。
論文 参考訳(メタデータ) (2025-09-13T23:54:54Z) - Development and Validation of the Provider Documentation Summarization Quality Instrument for Large Language Models [3.0569643495382173]
The Provider Summarization Quality Instrument (PDSQI-9) was developed to evaluate LLM- generated clinical summaries。
検証には、実体的妥当性のためのピアソン相関、因子分析、構造的妥当性のためのクロンバッハのαが含まれていた。
PDSQI-9は強い内部整合性と信頼性を示した。
論文 参考訳(メタデータ) (2025-01-15T17:47:57Z) - How Well Can Modern LLMs Act as Agent Cores in Radiology Environments? [54.36730060680139]
RadA-BenchPlatは、放射線学環境での大規模言語モデル(LLM)のパフォーマンスをベンチマークする評価プラットフォームである。
また、エージェント駆動型タスク解決ツールの10のカテゴリを定義し、7つの主要なLCMを評価している。
論文 参考訳(メタデータ) (2024-12-12T18:20:16Z) - Teaching Code LLMs to Use Autocompletion Tools in Repository-Level Code Generation [15.461189659020187]
コード大言語モデル(LLM)は、リポジトリレベルの依存関係に対する認識の欠如により、リポジトリレベルのコード生成の制限に直面します。
ToolGenは、自動補完ツールをコードLLM生成プロセスに統合し、これらの依存関係に対処するアプローチです。
ToolGenは、Trigger InsertionとModel Fine-tuning(Offline)とツール統合コード生成(Online)の2つの主要なフェーズで構成されている。
論文 参考訳(メタデータ) (2024-01-12T06:03:56Z) - Tool-Augmented Reward Modeling [58.381678612409]
本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。
我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。
人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
論文 参考訳(メタデータ) (2023-10-02T09:47:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。