Fugu-MT 論文翻訳(概要): OntoBook: Ontology-Grounded Synthetic Textbooks for Medical Encoder Pretraining

論文の概要: OntoBook: Ontology-Grounded Synthetic Textbooks for Medical Encoder Pretraining

arxiv url: http://arxiv.org/abs/2607.18927v1
Date: Tue, 21 Jul 2026 10:11:10 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-22 19:05:05.39015
Title: OntoBook: Ontology-Grounded Synthetic Textbooks for Medical Encoder Pretraining
Title（参考訳）: OntoBook: 医学エンコーダ事前学習のためのオントロジーを取り巻くテキストブック
Abstract要約: 医療オントロジー構造を信号エンコーダ言語モデルに変換するOntoBookを提案する。我々のアプローチには3つの段階がある: ランダムウォーキンググラフは医療コード間の階層的および因果関係をキャプチャする。大規模なモデル言語は、これらのウォークを流用な教科書スタイルの散文に再構成し、その結果のテキストはModernmBERTの訓練に使用される。
参考スコア（独自算出の注目度）: 2.745009293909444
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present OntoBook, a method that converts medical ontology structure into pretraining signal for encoder language models. Our approach has three stages: random walks through ontology graphs capture hierarchical and causal relations between medical codes, a large language model reformulates these walks into fluent textbook-style prose, and the resulting text is used to train ModernCamemBERT, a 149M-parameter French encoder, with two objectives on the same data: masked language modeling and relation prediction between code pairs. On three French medical coding benchmarks (FRACCO, Cantemist-FR, Distemist-FR), OntoBook achieves significant improvements over MLM-only pretraining, with +2.5 micro-F1 on FRACCO and +8.0 micro-F1 on Distemist. We find that alignment between objectives is necessary: misaligned training, where each task uses different data, causes a 30-point degradation. We release 1.3 million LLM-reformulated medical textbooks across three French ontologies (CIM-10, CCAM, ATC) and pretrained model checkpoints.
Abstract（参考訳）: 医療オントロジー構造をエンコーダ言語モデルのための事前学習信号に変換するOntoBookを提案する。我々のアプローチには3つの段階がある: オントロジーグラフを通したランダムウォークは、医療コード間の階層的および因果的関係をキャプチャし、大きな言語モデルは、これらのウォークを流用した教科書スタイルの散文に再構成し、結果として得られたテキストを使用して、同じデータに対して2つの目的: マスク付き言語モデリングとコードペア間の関係予測であるModernCamemBERTを訓練する。フランスの医学コーディングベンチマーク(FRACCO、Cantemist-FR、Distemist-FR)では、OntoBookはMLMのみの事前トレーニングよりも大幅に改善され、FRACCOは2.5マイクロF1、Distemistは+8.0マイクロF1である。各タスクが異なるデータを使用する場合、30ポイントの劣化が発生します。我々は,フランスの3つのオントロジー(CIM-10,CCAM,ATC)と事前訓練されたモデルチェックポイントにまたがる,13万のLCM変換医療教科書を公開する。

関連論文リスト

The Capacity of Thought: Benchmarking Llama 3.2 in Semantic fMRI Neural Language Decoding and Improving the Huth Encoding-Model Baseline [0.0]
We improve the Huth et al. ridge regression encoding pipeline through expanded voxel selection。凍結したLlama-3.2-1BにBOLD活性をマッピングするfMRIFlamingoを紹介する。 1-in-100のランキングタスクで42.86%の精度でトップ-1を達成したが、確率ははるかに上回ったが、fMRI入力がゼロのブラインドコントロールアブレーションは、ほぼ同一のスコアを得る。
論文参考訳（メタデータ） (2026-07-13T18:56:17Z)
U-VLM: Hierarchical Vision Language Modeling for Report Generation [20.09433657986766]
トレーニングとアーキテクチャの両方において階層型視覚言語モデリングを可能にするU-VLMを提案する。 U-VLMはCT-RATEとAbdomenAtlas 3.0で、スクラッチからトレーニングされた0.1Bデコーダのみを使用して、最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2026-02-28T05:43:11Z)
ExGra-Med: Extended Context Graph Alignment for Medical Vision-Language Models [95.47808515575382]
ExGra-Medは、医療AIのビジョン言語統合のための新しいフレームワークである。画像、命令応答、拡張キャプションを潜在空間にアライメントし、セマンティックグラウンドとクロスモーダルコヒーレンスを前進させる。プレトレーニングデータの10%しか使用せず、VQA-RADで20.13%向上し、フルデータパフォーマンスに近づいた。
論文参考訳（メタデータ） (2024-10-03T15:52:03Z)
Customizing General-Purpose Foundation Models for Medical Report Generation [64.31265734687182]
ラベル付き医用画像-レポートペアの不足は、ディープニューラルネットワークや大規模ニューラルネットワークの開発において大きな課題となっている。本稿では,コンピュータビジョンと自然言語処理の基盤モデル (FM) として,市販の汎用大規模事前学習モデルのカスタマイズを提案する。
論文参考訳（メタデータ） (2023-06-09T03:02:36Z)
CodeGen2: Lessons for Training LLMs on Programming and Natural Languages [116.74407069443895]
我々はエンコーダとデコーダベースのモデルを単一のプレフィックスLMに統一する。学習方法は,「フリーランチ」仮説の主張を考察する。データ配信においては,混合分布と多言語学習がモデル性能に及ぼす影響について検討した。
論文参考訳（メタデータ） (2023-05-03T17:55:25Z)
Automated Medical Coding on MIMIC-III and MIMIC-IV: A Critical Review and Replicability Study [60.56194508762205]
我々は、最先端の医療自動化機械学習モデルを再現し、比較し、分析する。その結果, 弱い構成, サンプル化の不十分さ, 評価の不十分さなどにより, いくつかのモデルの性能が低下していることが判明した。再生モデルを用いたMIMIC-IVデータセットの総合評価を行った。
論文参考訳（メタデータ） (2023-04-21T11:54:44Z)
Vision-Language Modelling For Radiological Imaging and Reports In The Low Data Regime [70.04389979779195]
本稿では,視覚および言語入力を共通空間に埋め込んだ医用視覚言語モデル(VLM)について検討する。本稿では,新しい画像領域やテキスト領域への汎用事前学習モデルの適用など,低データ性能向上のためのいくつかの候補手法について検討する。テキスト・ツー・イメージ検索をベンチマークとして,2つの胸部X線および放射線学的報告を用いた可変サイズのトレーニングデータセットを用いて,これらの手法の性能評価を行った。
論文参考訳（メタデータ） (2023-03-30T18:20:00Z)
Multi-label Few-shot ICD Coding as Autoregressive Generation with Prompt [7.554528566861559]
本研究では,このマルチラベル分類タスクを自己回帰生成タスクに変換する。 ICD符号の高次元空間を直接予測する代わりに、我々のモデルはテキスト記述の低次元を生成する。 MIMIC-III-few実験により,従来のMIMIC-III-full SOTAモデルよりも大幅に優れるマルコF130.2が得られた。
論文参考訳（メタデータ） (2022-11-24T22:10:50Z)
Z-Code++: A Pre-trained Language Model Optimized for Abstractive Summarization [108.09419317477986]
Z-Code++は、抽象的なテキスト要約に最適化された、新しいトレーニング済み言語モデルである。このモデルは、まず、言語理解のためのテキストコーパスを用いて事前訓練され、続いて、接地テキスト生成のための要約コーパス上で継続的に事前訓練される。パラメータ効率はXSumでは600倍のPaLM-540B,SAMSumでは200倍のGPT3-175Bである。
論文参考訳（メタデータ） (2022-08-21T01:00:54Z)
Does the Magic of BERT Apply to Medical Code Assignment? A Quantitative Study [2.871614744079523]
事前訓練されたモデルが、さらなるアーキテクチャエンジニアリングなしで医療コード予測に有用かどうかは明らかではない。本稿では,単語間のインタラクションをキャプチャし,ラベル情報を活用する階層的な微調整アーキテクチャを提案する。現在の傾向とは対照的に、我々は慎重に訓練された古典的なCNNは、頻繁なコードでMIMIC-IIIサブセット上の注意ベースのモデルを上回ることを実証します。
論文参考訳（メタデータ） (2021-03-11T07:23:45Z)
An Explainable CNN Approach for Medical Codes Prediction from Clinical Text [1.7746314978241657]
我々は集中治療室(ICU)における臨床テキストに基づくCNNベースの自動ICD符号化法を開発した。私たちは、私たちのモデルが各ラベルの局所的および低レベルの機能を学ぶことを可能にするShallow and Wide Attention Convolutional Mechanism(SWAM)を思いつきました。
論文参考訳（メタデータ） (2021-01-14T02:05:34Z)
Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文参考訳（メタデータ） (2020-10-15T18:34:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。