論文の概要: Recognizing Study Lineage Is Not Enough: Over-Crediting Same-Trial Evidence in LLM-Based Medical Verification
- arxiv url: http://arxiv.org/abs/2610.23721v1
- Date: Fri, 16 Oct 2026 16:42:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-20 00:56:08.023999
- Title: Recognizing Study Lineage Is Not Enough: Over-Crediting Same-Trial Evidence in LLM-Based Medical Verification
- Title（参考訳）: LLMをベースとした医学的検証における過度に批判的な同情的証拠
- Abstract要約: モデルは、証拠を集約する際、同じ裁判から第2の出版物をオーバークレジットする直接のタスクにおいて、共有トライアルの系統を正しく識別することができる。
医療用LCM検査において,14家系と5つのモデル条件を用いて,この行動を評価した。
- 参考スコア（独自算出の注目度）: 6.842141980817648
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Publication count is not study count. A model can identify shared trial lineage correctly in a direct task yet over-credit a second publication from the same trial when aggregating evidence. We evaluate this behavior in medical LLM verification using 14 source-audited clinical families and five model conditions. The families span provenance, clinical applicability, result direction, and composition; the provenance families provide the direct lineage tests. Recognition and aggregation are separate stateless calls, and repeated calls assess within-input stability. Across all three original provenance families, GPT-5.5 identifies the independent update in 10/10 recognition calls per family but over-credits the same-trial report in 5/5 separate aggregation calls per family. Selected Qwen3-4B and Ministral-3-8B conditions show the same cross-task contrast. A study-grouping instruction reduces GPT-5.5 over-credit from 4/5 to 0/5 in each later pure-provenance family. Other model conditions show mixed behavior, and rejected outputs limit several comparisons. The results identify a behavioral gap between elicited lineage recognition and evidence aggregation. The code and data artifacts are available at https://anonymous.4open.science/r/study-lineage-review-artifact.
- Abstract（参考訳）: 出版数は研究数ではない。
モデルは、証拠を集約する際、同じ裁判から第2の出版物をオーバークレジットする直接のタスクにおいて、共有トライアルの系統を正しく識別することができる。
医療用LCM検査において,14家系と5つのモデル条件を用いて,この行動を評価した。
家族は出所、臨床応用性、結果の方向性、構成に及び、出所家族は直接の血統検査を行う。
認識と集約は独立したステートレス呼び出しであり、繰り返し呼び出しはインインプット内の安定性を評価する。
GPT-5.5では、家族ごとの認識通話が10/10で独立して更新されているが、家族ごとの5/5で同一の報告が過剰に更新されている。
選択されたQwen3-4BとMinistral-3-8B条件は、同じクロスタスクコントラストを示す。
研究グループ化命令はGPT-5.5オーバークレジットを4/5から0/5に減少させる。
他のモデル条件は混合挙動を示し、出力を無視するといくつかの比較が制限される。
その結果,提案する系統認識とエビデンスアグリゲーションの間には,行動的ギャップが認められた。
コードとデータアーティファクトはhttps://anonymous.4open.science/r/study-lineage-review-artifactで公開されている。
関連論文リスト
- Witeness Overlap: Directional Provenance Inside Open-Weight Model Families [56.26426392293672]
指向性証明のためのテストであるWitness Overlapを提案する。
16家族176件のチェックポイントでは、親子判定の95.3%がFrobenius cosineを用いている。
信号は重量雑音とスパースプルーニングに対して頑丈であり、提案されたSVD減量変種はフロベニウスコサインよりも頑丈である。
論文 参考訳（メタデータ） (2026-09-24T21:41:02Z) - Where Does Retrieval-Based Open-Ended Evaluation Fail? Automatic Taxonomy Induction from Long-Form Medical Answer Factuality Verification [50.168648286292004]
既存のRAG診断では、金の回答や注釈付き金の証拠が必要であり、どちらもこの体制には存在しない。
オープンエンドのMedExpertデータセットと3つのクローズドエンドデータセットに関するケーススタディに基づいた総合的な2つのデータセットを紹介した。
我々は, LLM-as-Judge を用いた自動パターン誘導パイプラインを適用し, 証拠品質をラベル付けし, 大規模な検証器推論誤差を分類する。
論文 参考訳（メタデータ） (2026-09-24T19:04:23Z) - NovGauge: A Fine-Grained Benchmark for Diagnosing LLMs' Capability in Paper Novelty Assessment [54.4265627247104]
大規模言語モデル(LLM)は、主要なAIカンファレンスでピアレビューでますます使用されている。
既存のベンチマークでは、ノベルティを1つの総合的なスコアとして評価している。
本報告では,詳細なノベルティアセスメント診断のための人手によるベンチマークであるNovGaugeについて述べる。
論文 参考訳（メタデータ） (2026-09-10T08:34:56Z) - RAP: Research Attention Prediction Reveals Target-Conditioned Evidence Acquisition Biases [58.92094935632493]
大規模言語モデル(LLM)は研究エージェントとしての役割がますます高まっているが、研究の関心の変化を追跡する能力は評価が難しい。
278のAI/MLフィールドと1,390のエピソードをカバーするローリングベンチマークであるResearch Attention Prediction (RAP)を紹介する。
それぞれのカットオフで、LLMエージェントは時間的に制限されたarXivコーパスを検索し、次の6ヶ月の論文の共有を8つの凍った研究方向にわたって予測する。
論文 参考訳（メタデータ） (2026-09-09T12:15:14Z) - DiagLoop: A Counterfactual Data Flywheel with Stage-Localized Reinforcement for Diagnostic LLMs [5.241146164724621]
DiagLoopは、認知された物理的関係や臨床ガイドラインをトレーニングの監督に変換する、反ファクト的なデータフライホイールである。
訓練のみの教師は様々な原因、文脈、観察によって反現実の世界を提案し、一方独立したハイブリッドチェッカーは有効な世界しか認めない。
非終端障害に対しては、境界付き修復プローブが下流のコンピテンスを探索し、その結果の弱点プロファイルがその後のデータ生成を導く。
論文 参考訳（メタデータ） (2026-08-04T13:49:41Z) - CogArena: A Multimethod Evaluation of Cognitive Ability Structure in Large Language Models [3.991518853474585]
我々は,認知タスクが保証次元ラベルをいつ得点するかを決定するためのベンチマークであるCogArenaを紹介する。
55のオープンウェイトモデル全体において、ほぼすべてのパラダイム相関は正であり、共通の軸が約半分の分散を説明する。
グループ内のアドバンテージは小さく、スコアリングに敏感で、モデルファミリ全体にわたって不確実である。
論文 参考訳（メタデータ） (2026-07-27T18:56:13Z) - Ontology-Amplified Distillation and Contextuality Auditing for Sovereign Enterprise Language Models: A Combined Proof-of-Mechanism and Negative-Results Method Study [0.0]
本稿では2つの関連するFAOS研究を1つのメカニズムと制御項目にまとめる。
まず, オントロジー増幅蒸留の低消費電力実験を報告する。
第2に,エンタープライズエージェントルーティングのためのコンテキスト性監査手法を統合する。
論文 参考訳（メタデータ） (2026-07-11T15:42:40Z) - Post-Training Recipe, More Than Model Family, Shapes Multi-Agent LLM Conversational Behavior [16.249731576262167]
我々は,対話型マルチLLMシステムにおいて,同じファミリラベルが振舞いを予測するかどうかを検討する。
推理蒸留したLlamaチェックポイントのヘッジは、どのベースパートナーが返信するかによって18%シフトすることがわかった。
その結果,ポストトレーニングレシピをマルチLLMパネル合成のための第1級軸として同定した。
論文 参考訳（メタデータ） (2026-05-30T07:26:26Z) - How Independent are Large Language Models? A Statistical Framework for Auditing Behavioral Entanglement and Reweighting Verifier Ensembles [46.63622714488747]
共有事前学習データ、蒸留、アライメントパイプラインは、隠れた振る舞い依存、潜伏絡みを誘導することができる。
実際には、これは相関した推論パターンと同期された障害として現れます。
ブラックボックス言語モデル間の行動絡みを監査するための統計的枠組みを開発する。
論文 参考訳（メタデータ） (2026-04-08T23:32:06Z) - CausalT5K: Diagnosing and Informing Refusal for Trustworthy Causal Reasoning of Skepticism, Sycophancy, Detection-Correction, and Rung Collapse [1.4608214000864057]
CausalT5Kは10ドメインにわたる5000以上のケースの診断ベンチマークである。
合成ベンチマークとは異なり、CausalT5Kはリアルな物語に因果トラップを埋め込んでいる。
予備的な実験では、静的監査ポリシーが普遍的に失敗する4段階のコントロールランドスケープが示される。
論文 参考訳（メタデータ） (2026-02-09T17:36:56Z) - IV Co-Scientist: Multi-Agent LLM Framework for Causal Instrumental Variable Discovery [61.15184885636171]
内因性変数と結果との相同性の存在下では、インストゥルメンタル変数(IVs)を用いて内因性変数の因果効果を分離する。
大規模言語モデル(LLM)がこの課題に有効かどうかを検討する。
本稿では,多エージェントシステムであるIV Co-Scientistを紹介する。
論文 参考訳（メタデータ） (2026-02-08T12:28:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。