論文の概要: Biomedical Reference Generation Remains Unreliable across 26 Large Language Models

• arxiv url: http://arxiv.org/abs/2609.14988v1
• Date: Mon, 14 Sep 2026 03:47:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 07:15:06.060576
• Title: Biomedical Reference Generation Remains Unreliable across 26 Large Language Models
• Title（参考訳）: 26の大規模言語モデルで信頼できないバイオメディカル参照生成
• Abstract要約: 大規模言語モデルは、バイオメディカルテキストを書くのに役立つが、現存しない作品への参照を作る可能性がある。 私たちは8人の開発者から26の言語モデルに対して、10ドメインにわたる69のバイオメディカルパスのそれぞれに欠落した参照を提供するように促しました。 評価分野ごとに基準が正しいと判断され、その基準が検証され、その日誌は、引用された論文と一致した。
• 参考スコア（独自算出の注目度）: 5.9567656649845135
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Background. Large language models are increasingly used to help write biomedical text but may fabricate references to nonexistent work. How often large language models do so is not well characterized. Methods. We prompted 26 language models from eight developers (2023 to 2026) to supply a missing reference for each of 69 biomedical passages across ten domains. References were classified as verifiable (real paper with a resolving identifier), partial matches (real paper without a resolving identifier), fabricated (no matching indexed paper), or declined (the model refused to supply a reference). A reference was considered correct in every evaluated bibliographic field only when it was verifiable and its journal, year, and listed authors matched those of the cited paper. Results. Fabrication ranged from 10.2% (Claude Opus 4.8, which declined 52.1% of prompts) to 98.4% (Ministral 3B, which produced no verifiable reference). Claude Opus 4.6 and Claude Sonnet 4.5 produced similar proportions of verifiable references (77.6% and 76.6%) but named authors correctly in 78.7% and 28.7% of author-evaluable verifiable references, respectively, and were correct in every evaluated field in 54.6% and 19.9% of responses. GPT-5.5 was correct in every field in 48.1%. Across all models, 55.4% of responses were fabricated and 14.9% were correct in every field. Among the five tested models first released in 2026, the corresponding proportions were 35.3% and 31.8%, respectively. Conclusions. Fabrication remained common, and no model was correct in every evaluated bibliographic field in more than 54.6% of responses. Models that identify real papers may still misstate their metadata, so references produced with model assistance require verification before use.
• Abstract（参考訳）: 背景。 大規模言語モデルは、バイオメディカルテキストを書くのに役立つが、現存しない作品への参照を作る可能性がある。 いかに大きな言語モデルがそれを行うかは、あまりよく分かっていない。 メソッド。 私たちは8人の開発者(2023年から2026年)から26の言語モデルに、10ドメインにわたる69のバイオメディカルパスのそれぞれに欠落した参照を提供するように促しました。 参照は、検証可能な(解答識別子付き実紙)、部分一致(解答識別子なし実紙)、製造された(整合インデックス付紙なし)、または縮小された(参照の提供を拒んだ)。 文献分野の基準は、検証された時点でのみ正しいと考えられており、その年代は引用された論文と一致している。 結果。 製造は10.2%(Claude Opus 4.8、プロンプトの52.1%を減らした)から98.4%(Ministral 3B、検証可能な参照はない)まで変化した。 Claude Opus 4.6 と Claude Sonnet 4.5 は、検証可能な参照(77.6% と 76.6%)の比率をそれぞれ78.7% と 28.7% に設定した。 GPT-5.5は全フィールドで48.1%で正しい。 全てのモデルで55.4%の反応が作られ、14.9%の反応が全フィールドで正しかった。 2026年に最初に発表された5つの試験モデルのうち、それぞれ35.3%と31.8%の比率であった。 結論。 製作は依然として一般的であり、54.6%以上の反応で評価された書誌分野においてモデルが正しくなかった。 実際の論文を識別するモデルはメタデータを誤って記述する可能性があるため、モデルアシストによって生成された参照は使用前に検証が必要である。

関連論文リスト

• IdeaAMBIG: Benchmarking Implementation-Critical Gaps in Research-Idea Specifications [52.570108663867046]
  研究のアイデアは、新しく、一貫性があり、科学的に妥当であるが、その提案された手法は、忠実な実装のために不十分に指定されている。 提案手法は,実装を対象とする研究手法仕様の体系化の可否を,有能な実装者やコーディングエージェントに十分な方法論的情報を提供して,前提条件を満たさずに目的とする手法を構築することができるかを検討する。 IdeaAMBIGは660のエビデンス基底インスタンスのベンチマークで、レポートとGitHubの問題から163の現実世界のギャップと、コーディフィケーション対応のリファレンスに注入される合成ギャップを497のコントロールで管理する。
  論文  参考訳（メタデータ） (2026-09-09T17:59:04Z)
• Correction as Annotation: Bootstrapping a Dependency Parser for Documentary Medieval Latin [0.0]
  中世のドキュメンタリー資料には、自然言語処理ツールが不足している。 利用可能な5つのラテン・ツリーバンク・モデルは、1258年から1446年にかけてマルセイユで編纂された160の在庫のコレクションで使用可能なパフォーマンスを達成できなかった。
  論文  参考訳（メタデータ） (2026-09-05T21:23:35Z)
• When AI Writes, Who Gets Cited? Evidence of Citation Monoculture Across Language Models [45.91367912142692]
  異なるモデルがいまだに同じ狭い部分集合を選択している可能性を示し、単一の引用が誤りを犯さずに、引用モノカルチャーを生成する。 3つのベンダーの11のモデルが、30のランダムなパネルから少なくとも10の論文を選択しており、実際のタイトルと抽象物があるが、作者が作り直され、再割り当て年、隠れた会場と引用数がある。
  論文  参考訳（メタデータ） (2026-08-03T14:27:46Z)
• Do large language models scrutinise what they review? A multimodal audit of scoring calibration, error detection, and author-identity effects [0.0]
  大きな言語モデル(LLM)は、ピアレビューを生成するためにますます使われています。 本研究は,2026年国際学習表現会議への165件の応募に対して,2つのマルチモーダルLCMをレビュアーとして評価した。
  論文  参考訳（メタデータ） (2026-07-31T12:12:33Z)
• How Far Is Document Parsing from Solved? PureDocBench: A Source-TraceableBenchmark across Clean, Degraded, and Real-World Settings [56.70440596502351]
  昨年は20以上のオープンドキュメントパースモデルが見られたが、ベンチマークはほぼOmniDocBenchにのみ依存している。 HTML/CSSのドキュメントイメージをレンダリングするベンチマークであるPureDocBenchは、10のドメイン、66ページ、1,475ページをカバーしています。
  論文  参考訳（メタデータ） (2026-05-08T09:30:31Z)
• BibTeX Citation Hallucinations in Scientific Publishing Agents: Evaluation and Mitigation [34.429649156970015]
  以前の評価では、検索なしでベースモデルをテストしたが、これは現在の慣行を反映していない。 3つの検索可能なフロンティアモデルでは、9つのフィールドと6方向のエラー分類に基づいてBibエントリを生成する。 全体的な精度は83.6%だが、完全な正確さは50.9%に過ぎない。
  論文  参考訳（メタデータ） (2026-04-03T16:30:58Z)
• PanCanBench: A Comprehensive Benchmark for Evaluating Large Language Models in Pancreatic Oncology [48.732366302949515]
  大規模言語モデル(LLM)は、標準化された検査において専門家レベルの性能を達成したが、複数の選択精度は現実の臨床的有用性や安全性を十分に反映していない。 我々は、未確認患者の質問に対して、専門家のルーブリックを作成するための、ループ内人間パイプラインを開発した。 LLM-as-a-judge フレームワークを用いて,22のプロプライエタリおよびオープンソース LLM の評価を行い,臨床完全性,事実精度,Web-search 統合について検討した。
  論文  参考訳（メタデータ） (2026-03-02T00:50:39Z)
• Beyond Correctness: Evaluating Subjective Writing Preferences Across Cultures [87.75098311090642]
  現在の選好学習法は、標準ベンチマークで高い精度を達成するが、客観的な品質信号を取り除いた場合、顕著な性能劣化を示す。 我々は、8つのクリエイティブな著作ジャンルにまたがる1,800の人手による好みペア(1,200の英語、600の中国語)のデータセットであるWriteingPreferenceBenchを紹介した。
  論文  参考訳（メタデータ） (2025-10-16T12:23:13Z)
• Instruct-Tuning Pretrained Causal Language Models for Ancient Greek Papyrology and Epigraphy [0.0]
  本稿は、古代ギリシアの碑文やドキュメンタリーパピルスの欠落した文字を復元するために、事前訓練された因果関係言語モデルを微調整する実験について述べる。 最新技術モデル (Ithaca) と比較すると、テキスト復元に優れた命令調整モデルである。 以上の結果から,修正および予想のための命令テンプレートを用いた事前学習型因果言語モデルの微調整が有望であることが示唆された。
  論文  参考訳（メタデータ） (2024-09-20T19:49:45Z)
• PART: Pre-trained Authorship Representation Transformer [52.623051272843426]
  文書を書く著者は、自分のテキストに識別情報を印字する。 以前の作品では、手作りの機能や分類タスクを使って著者モデルを訓練していた。 セマンティクスの代わりにテキストの埋め込みを学習するために、対照的に訓練されたモデルを提案する。
  論文  参考訳（メタデータ） (2022-09-30T11:08:39Z)
• Document Classification for COVID-19 Literature [15.458071120159307]
  本稿では,LitCovidデータセットを用いた複数ラベル文書分類モデルの解析を行う。 トレーニング済みの言語モデルは、このデータセットで微調整され、他のすべてのベースラインより優れています。 また、LitCovidドキュメント上で最高のパフォーマンスモデルによって作成された50のエラーについても調べる。
  論文  参考訳（メタデータ） (2020-06-15T20:03:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。