論文の概要: Making every stage of medical device document assessment with large language models deterministic
- arxiv url: http://arxiv.org/abs/2610.21300v1
- Date: Thu, 15 Oct 2026 05:45:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-16 19:13:16.205405
- Title: Making every stage of medical device document assessment with large language models deterministic
- Title（参考訳）: 大規模言語モデルによる医療機器文書評価のあらゆる段階
- Abstract要約: 各段階で決定論的なパイプラインを構築します。
エンドツーエンドの決定論は達成可能であり、監査と変更管理のための検証可能な基礎を提供します。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: To show that a medical device complies with regulation, experts judge whether documents and records meet each requirement and record the judgment for others to verify. For each assessment item that experts define, large language models could prepare a preliminary assessment: a label such as Satisfied or Not satisfied, a reason and quoted evidence. We sent fourteen commercial deployments of such models (seven models from three providers, through six routes) the same request repeatedly, with the deterministic sampling settings each accepted; every deployment returned differing assessments for at least one request, and in twelve the label changed. Reducing reasoning where the interface allows it did not reduce the variation, and prompts of retrieved passages removed it only for the smallest models. The same open-weight model was reproducible or not depending only on how it was served. A pipeline we built to be deterministic at every stage -- text extraction and optical character recognition (OCR), chunking, embedding, indexing, retrieval and inference -- returned byte-identical output at each stage across reruns, interruptions, edits, machines of one graphics processing unit (GPU) model and days, for blood glucose meter and infusion pump documents. OCR, embedding and approximate retrieval varied when their own serving was not made invariant, and outputs changed with the GPU model and with the inference engine's scheduling settings, which therefore belong in the recorded configuration. End-to-end determinism is achievable and gives a testable basis for audit and change control.
- Abstract（参考訳）: 医療機器が規制に適合していることを示すために、専門家は、文書や記録が各要件を満たしているかどうかを判断し、他人の確認を記録させる。
専門家が定義する評価項目ごとに、大きな言語モデルは事前評価を作成することができる。
これらのモデルの14の商用展開(3つのプロバイダから6つのルートまでのモデル7)を同じ要求を繰り返し、決定論的サンプリング設定をそれぞれ受け入れました。
インタフェースが許すような推論の削減はバリエーションを減らさず、検索されたパスのプロンプトは最小のモデルでのみ除去された。
同じオープンウェイトモデルが再現可能であったか、どのように提供されたかにのみ依存しなかった。
テキスト抽出と光学文字認識(OCR)、チャンキング、埋め込み、インデックス付け、検索、推論など、各段階で決定論的であるパイプラインは、再実行、割り込み、編集、1つのグラフィックス処理ユニット(GPU)モデルと数日のマシン、血液グルコースメーターと注入ポンプ文書に対して、各ステージでバイト単位の出力を返す。
OCR、埋め込み、近似検索は、自身のサービスが不変でないときに変化し、GPUモデルと推論エンジンのスケジューリング設定で出力が変化した。
エンドツーエンドの決定論は達成可能であり、監査と変更管理のための検証可能な基礎を提供します。
関連論文リスト
- From Copying to Composition: How Language Models Develop In-Context Learning [3.420865969867313]
In-context Learning (ICL) は、言語モデルが指示や実演から行動に即興で適応することを可能にする。
本研究はICLの取得と訓練性について,近辺のデモのコピーをプロンプト間の情報統合から分離した制御診断を用いて検討する。
論文 参考訳（メタデータ） (2026-10-13T19:49:33Z) - Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
私たちはJevとContractNLIの9つの言語モデルを比較します。
制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。
Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
論文 参考訳（メタデータ） (2026-09-23T10:53:01Z) - Calibrating Interpretability Instruments Before Trusting Their Verdicts [1.0829694003408499]
Causal氏は、大きな言語モデル(LLM)の内部は測定にかかっていると主張している。
これらの測定は、エラーではなく可算数を返す特定の診断可能な方法で失敗する。
このノートは、拒絶と道徳的表現に関する因果的解釈可能性プログラムの6つの失敗を文書化している。
論文 参考訳（メタデータ） (2026-09-13T19:37:02Z) - Verification-Aware Training for Speculative Decoding [57.84976863792784]
VAT(Verification-Aware Training)は、トレーニングステップ毎に検証をシミュレートし、その結果の受け入れパターンと拒否パターンを監督するプラグインフレームワークである。
VATはトレーニング対象のみを変更するため、ドラフトアーキテクチャやターゲットモデル、推論手順を変更することなく、既存のメソッドの上にレイヤー化することができる。
VATは平均受理期間を最大11.4%改善し、ウォールクロックのスピードアップを最大8.7%向上させ、数学、コード、チャットベンチマークで一貫した利益を得ている。
論文 参考訳（メタデータ） (2026-08-31T01:42:10Z) - From Subjective Judgments to Auditable Standards:Protocol-Guided AI Auditing of Website Redundancy [2.2917707112773593]
ウェブサイトの冗長性は、単一の固定された意味を持っていない。
我々は,繰り返し負荷,正規利用税,障害領域回復予備費を別々に測定するCORAを導入する。
論文 参考訳（メタデータ） (2026-08-21T07:17:35Z) - AuditWeave: A Tamper-Evident, Auditor-Navigable Evidence Layer for AI-Assisted and Data-Transformation Workflows [0.0]
AuditWeaveは、AIアシストとデータ変換のステップを1つのハッシュチェーンの台帳に記録する軽量Pythonライブラリである。
本稿では,参照実装におけるオーバヘッド,拡張性,タンパー検出の正確さを設計し,評価する。
論文 参考訳（メタデータ） (2026-06-14T21:46:04Z) - Memory in Large Language Models: Mechanisms, Evaluation and Evolution [8.158439933515131]
我々は,4つの分類法(パラメトリック,文脈,外部,手続き/エピソード)とメモリ四倍法(ロケーション,永続性,書き込み/アクセスパス,制御性)を提案する。
DMM Gov: DAPT/TAPT, PEFT, モデル編集(ROME, MEND, MEMIT, SERAC)、RAGをコーディネートして監査可能なループを形成する。
これにより、再現可能で、同等で、統制可能な、研究と展開のための座標系が得られる。
論文 参考訳（メタデータ） (2025-09-23T10:06:58Z) - Fact Checking Beyond Training Set [64.88575826304024]
本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。
本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。
次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
論文 参考訳（メタデータ） (2024-03-27T15:15:14Z) - End-to-End Page-Level Assessment of Handwritten Text Recognition [69.55992406968495]
HTRシステムは、文書のエンドツーエンドのページレベルの書き起こしに直面している。
標準メトリクスは、現れる可能性のある不整合を考慮していない。
本稿では、転写精度とROの良さを別々に検討する2つの評価法を提案する。
論文 参考訳（メタデータ） (2023-01-14T15:43:07Z) - Auditing AI models for Verified Deployment under Semantic Specifications [65.12401653917838]
AuditAIは、解釈可能な形式検証とスケーラビリティのギャップを埋める。
AuditAIは、画素空間の摂動のみを用いた検証の限界に対処しながら、検証と認定トレーニングのための制御されたバリエーションを得られるかを示す。
論文 参考訳（メタデータ） (2021-09-25T22:53:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。