論文の概要: Four Ledgers, Not One Score: Responsible Communication of LLM-Judge Calibration in Biomedical ML

• arxiv url: http://arxiv.org/abs/2609.15015v1
• Date: Mon, 14 Sep 2026 04:27:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.070592
• Title: Four Ledgers, Not One Score: Responsible Communication of LLM-Judge Calibration in Biomedical ML
• Title（参考訳）: バイオメディカルMLにおけるLCM-Judge Calibrationの責任コミュニケーション
• Abstract要約: 我々は、4つの異なる台帳を定式化した:植込み摂動、独立した検出器出力、ソースリンクヒトの沈着、および人為的な発見。 この単一ワークフローの法医学的ケースは、失敗モードの存在証明であり、その頻度を見積もるものではない。
• 参考スコア（独自算出の注目度）: 0.39287497907611874
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Synthetic perturbations appear to offer inexpensive calibration data for LLM evaluators in biomedical ML, where expert review is scarce. Yet a planted mutation key is neither a detector output nor automatically human ground truth. We formalize four distinct ledgers: planted perturbations, independent detector outputs, source-linked human dispositions, and human-added discoveries. We then audit the evaluation design, scoring code, read paths, and current human records of a private synthetic Japanese care-handoff workflow. The factory stored 69 planted error cards across 47 targets. Final review covers 22 targets and contains 22 confirmed imported proposals, 9 rejected proposals, and 79 human-added cards; only 3 reviewed targets are double annotated. Passing imported plant keys to a generic detector scorer yields 22/(22+9)=0.710 and 22/(22+79)=0.218. A direct audit identity shows that these values are proposal-confirmation yield and submitted-ledger composition, not judge precision and recall, because no independent detector realization was preserved for the audited proposals in the available records. The audit also finds source-name collisions, row shadowing, forced severity, vacuous ratio defaults, and unsupported zero-support field weights. We contribute a provenance-aware claim audit, a storage contract, and a minimum calibration gate for responsibly communicating biomedical ML capability claims. This single-workflow forensic case is an existence proof of a failure mode, not an estimate of its prevalence: existing human work supports an exploratory audit of synthetic proposals, but not LLM-judge operating characteristics, clinical validity, corpus prevalence, or robust inter-annotator agreement.
• Abstract（参考訳）: 合成摂動は、専門家によるレビューが乏しいバイオメディカルMLにおいて、LCM評価器に対して安価な校正データを提供するように見える。 しかし、移植された突然変異キーは検知器の出力でも、自動的に人間の地面の真理でもない。 我々は、4つの異なる台帳を定式化した:植込み摂動、独立した検出器出力、ソースリンクヒトの沈着、および人為的な発見。 次に, 評価設計, スコアリングコード, 読み書きパス, および, 個人の介護支援ワークフローの現時点の人的記録を監査する。 工場は、47のターゲットに69のエラーカードを植えた。 最終審査では22のターゲットをカバーし、22の登録された提案、9の拒否された提案、79の人力追加カードを含む。 輸入された植物キーをジェネリック検出器スコアラに渡すと、22/(22+9)=0.710と22/(22+79)=0.218が得られる。 直接監査IDは、これらの値が精度やリコールではなく、提案確認の収量や提出されたレガーの組成であることを示している。 監査ではソース名の衝突、行のシャドーイング、強制重大度、空白比率のデフォルト、サポートなしのフィールドウェイトも確認されている。 本報告では,バイオメディカルML能力クレームを応答的に伝達するための,証明対応クレーム監査,ストレージ契約,最小限のキャリブレーションゲートに貢献する。 既存の人間の作業は、合成提案の探索的な監査をサポートするが、LSM-judge操作特性、臨床的妥当性、コーパスの有病率、堅牢なアノテータ間合意をサポートしない。

関連論文リスト

• IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
  研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。 提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。 IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
  論文  参考訳（メタデータ） (2026-09-09T17:59:04Z)
• When Auditors Fabricate: Batch-Size Degradation and Confident Hallucination in LLM Detection of Planted Document Contamination [0.0]
  我々はサプライチェーン管理と医学研究を対象とする150の学術論文の汚染されたコーパスを構築した。 タイポグラフィー的腐敗,意味的逆転,不条理的外挿入の3種類の既知の汚染物質450点を注入した。 我々は、Google Gemini 3.0 Proが60文書にわたる180個の汚染された応答キーサブセットを復元する能力を評価した。
  論文  参考訳（メタデータ） (2026-09-09T04:29:45Z)
• The Test Oracle Problem in Synthetic LLM-as-Judge Corpora: Disappearance, Distortion and a Validation Protocol [0.0]
  LLM-as-judgeシステムにおけるバイアスの研究は、通常、LLMに実数と対になる幻覚的な答えを生成させ、その両方を裁判官に提示することで合成コーパスを構築する。 我々は、この世代が静かに失敗する事例を報告し、失敗モードは偶発的ではなく構造的であると主張するために使用します。 最小の摂動に基づくコーパスに注入された類似の断層は、ゼロコストでゼロヒューマンの金-負の弦比較によって100%精度で捕捉される。
  論文  参考訳（メタデータ） (2026-07-15T11:12:54Z)
• Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
  既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。 テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
  論文  参考訳（メタデータ） (2026-06-17T08:10:30Z)
• Deterministic Integrity Gates for LLM-Assisted Clinical Manuscript Preparation: An Auditable Biomedical Informatics Architecture [0.3823356975862005]
  検証を伴うアーキテクチャペア生成を3つの原則に基づいて記述する。 この決定論的な分割は、整合性のある分類として組織化され、中核的な貢献である。 MedSci Skillsは、43のスキルのオープンソースツールキットで、21の決定論的階層を持ち、3つのパブリックデータセットパイプラインで評価されている。
  論文  参考訳（メタデータ） (2026-06-08T13:51:04Z)
• CARE: A Conformal Safety Layer for Medical Summarization [24.00849890172944]
  大きな言語モデル(LLM)は、医学的な要約にますます使われている。 既存のエラー検出手法ではスコアが生成または未校正され、エラーを正しく制御することができない。 リスク評価のためのコンフォーマルアセスメント(CARE, Conformal Assessment for Risk Evaluation)を導入する。
  論文  参考訳（メタデータ） (2026-06-08T03:10:45Z)
• Epistemic Blinding: An Inference-Time Protocol for Auditing Prior Contamination in LLM-Assisted Analysis [0.0]
  エピステミックブラインド(英: epistemic blinding)は、エンティティ識別子を匿名のコードに置き換える単純な推論時プロトコルである。 4種類のがん種を対象とする腫瘍薬剤の優先順位付けでは、盲目化は上位20の予測の16%に変化し、検証対象の同一の回復を保っている。 S&P 500エクイティ・スクリーニングでは、ブランド認識バイアスが5つのランダムな種子のトップ20ランキングの30-40%を占めている。
  論文  参考訳（メタデータ） (2026-04-07T16:06:52Z)
• A Granular Study of Safety Pretraining under Model Abliteration [64.24346997570275]
  本稿では,リフレクションに敏感な方向を除去する軽量プロジェクション技術であるモデルアブリーブレーションについて検討する。 我々は、バランスのとれた有害かつ無害なケースで100のプロンプトを発行し、複数の判断を用いて**Refusal*または***Non-Refusal*として応答を分類し、判断の忠実さを検証する。 本研究は,データ中心の安全コンポーネントが失語中も頑健であるチェックポイントレベルの特徴付けを行う。
  論文  参考訳（メタデータ） (2025-10-03T07:01:45Z)
• Fact-Checking the Output of Large Language Models via Token-Level Uncertainty Quantification [116.77055746066375]
  大型言語モデル(LLM)は幻覚、すなわちその出力に誤った主張を生じさせることで有名である。 本稿では,トークンレベルの不確実性定量化に基づくファクトチェックと幻覚検出パイプラインを提案する。
  論文  参考訳（メタデータ） (2024-03-07T17:44:17Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• A New Benchmark and Reverse Validation Method for Passage-level Hallucination Detection [63.56136319976554]
  大きな言語モデル(LLM)は幻覚を発生させ、ミッションクリティカルなタスクにデプロイすると大きなダメージを与える可能性がある。 本稿では,逆検証に基づく自己チェック手法を提案し,ゼロリソース方式で事実誤りを自動的に検出する。 提案手法と既存のゼロリソース検出手法を2つのデータセット上で実証的に評価した。
  論文  参考訳（メタデータ） (2023-10-10T10:14:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。