論文の概要: Exploring Post-Training Alignment of Small Language Models for Biomedical Data-to-Text Generation: A Case Study of Medication Leaflet

• arxiv url: http://arxiv.org/abs/2607.13430v1
• Date: Wed, 15 Jul 2026 04:22:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.637107
• Title: Exploring Post-Training Alignment of Small Language Models for Biomedical Data-to-Text Generation: A Case Study of Medication Leaflet
• Title（参考訳）: バイオメディカル・データ・テキスト・ジェネレーションのための小言語モデルの訓練後アライメントの探索:医療用リーフレットを事例として
• Authors: Xi Yang, Guodong Liu, Chuqin Li, Fan Wu, Ergin Soysal, Min Jiang, Xing He, Jiang Bian, Yi Guo, Shams Zaman, Thomas Fuchs, Todd Sanger, Yonghui Wu,
• Abstract要約: 本研究では,専門的なバイオメディカルデータ・テキスト生成タスクにおける小言語モデル(SLM)の訓練の比較分析を行った。 我々は、教師付き微調整(SFT)、直接選好最適化(DPO)、確率比選好最適化(ORPO)など、広く採用されているポストトレーニング手法を検討する。 クロスデータセットの汎用性を評価するため,オープンFDAの薬物ラベルデータも収集した。
• 参考スコア（独自算出の注目度）: 21.43689940835954
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Translating complex biomedical data into patient-friendly narratives is central to modern biomedical informatics. This study presents a comparative analysis of training small language models (SLMs) in specialized biomedical datato-text generation tasks. We explore widely adopted post-training methods including supervised fine-tuning (SFT), direct preference optimization (DPO), odds ratio preference optimization (ORPO), and group relative policy optimization (GRPO) with Qwen-based SLMs on a medicine package leaflets dataset. To assess cross-dataset generalizability, we also curated drug label data from openFDA. We evaluate models using both standard lexical overlap metrics like ROUGE as well as semantic similarity measures. Across our experiments, the results show that (1) the aligned SLMs outperform proprietary models like GPT-5; (2) ORPO outperforms the SFTbaselines; (3) GRPO yields the most robust cross-dataset performance among the alignment methods tested as well as GPT-5.
• Abstract（参考訳）: 複雑なバイオメディカルデータを患者フレンドリーな物語に翻訳することは、現代のバイオメディカル情報学の中心である。 本研究では,専門的なバイオメディカルデータ・テキスト生成タスクにおける小言語モデル(SLM)の訓練の比較分析を行った。 医用パッケージリーフレットデータセット上で,教師付き微調整(SFT),直接選好最適化(DPO),オッズ比選好最適化(ORPO),グループ相対政策最適化(GRPO)など,広く採用されているポストトレーニング手法について検討する。 クロスデータセットの汎用性を評価するため,オープンFDAの薬物ラベルデータも収集した。 ROUGEのような標準語彙重なりの尺度と意味的類似度尺度の両方を用いてモデルを評価する。 その結果,(1)協調SLMはGPT-5のような独自モデルよりも優れ,(2)ORPOはSFTベースラインより優れ,(3)GRPOはGPT-5と同様にテストされたアライメント手法の中で最も堅牢なクロスデータセット性能が得られることがわかった。

関連論文リスト

• Unlocking Biological Workflows for Robust Protein-Text Question Answering: A Dual-Dimensional RAG Framework [60.82334952881798]
  タンパク-テキスト質問回答(QA)は、自然言語による生物学的配列の解釈に不可欠である。 2D-ProteinRAGは,大規模言語モデル(LLM)を金本位生物研究ワークフロー内で動作させる新しいフレームワークである。 本研究では,2D-Proteinが常に最先端の性能を達成し,微調整ベースラインや他のRAG法よりも優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2026-05-17T05:03:24Z)
• A Federated and Parameter-Efficient Framework for Large Language Model Training in Medicine [59.78991974851707]
  大規模言語モデル(LLM)は、質問応答や診断など、医療ベンチマークにおいて強力なパフォーマンスを示している。 ほとんどの医療用LDMは、異種システムの一般化性と安全性の制限に直面している単一の機関のデータに基づいて訓練されている。 本稿では, LLMを医療応用に適用するためのモデルに依存しない, パラメータ効率のよいフェデレーション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-29T18:48:21Z)
• Zero-Shot Document-Level Biomedical Relation Extraction via Scenario-based Prompt Design in Two-Stage with LLM [6.26004554105527]
  ハードウェアと労働コストの低い汎用大言語モデル (LLM) を用いて, 注釈のない完全文書から同じ結果を得るための新しい手法を提案する。 我々のアプローチは、名前付きエンティティ認識(NER)と関係抽出(RE)の2つの主要な段階を組み合わせる。 本稿では,プロンプトの有効性を高めるために,5部テンプレート構造とシナリオに基づくプロンプト設計の原理を提案する。
  論文  参考訳（メタデータ） (2025-05-02T07:33:20Z)
• Knowledge-augmented Pre-trained Language Models for Biomedical Relation Extraction [3.13957359732631]
  自動関係抽出(RE)のための微調整事前学習言語モデル(PLM)における追加コンテキスト情報の導入による性能向上に関する研究 本研究は,一貫した評価枠組み内での4つの関係シナリオにまたがる5つのデータセットの文脈情報によって強化されたPLMを評価することで,この研究ギャップに対処する。 文脈情報の導入は, 全体的な改善に留まらず, 微調整中に外部データを含む場合, より小さなPLMに対して大きなメリットが示された。
  論文  参考訳（メタデータ） (2025-05-01T19:16:18Z)
• SampleLLM: Optimizing Tabular Data Synthesis in Recommendations [46.689486044254544]
  タブラルデータ合成は機械学習において重要であるが、既存の一般的な手法は非常にデータに依存しており、レコメンデータシステムでは不足することが多い。 この制限は、複雑な分布を捉え、スパースデータと限定データから特徴関係を理解するのが困難であることから生じる。 そこで本研究では,LLMに基づくデータ合成の品質向上を目的とした,SampleLLMという2段階のフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-27T15:12:27Z)
• ClinicRealm: Re-evaluating Large Language Models with Conventional Machine Learning for Non-Generative Clinical Prediction Tasks [37.544994716002016]
  LLM(Large Language Models)は、医学においてますます普及している。 しかし, 臨床診断における有用性は未評価のままである。 本研究は,15のGPTスタイルのLCM,5つのBERTスタイルのモデル,11の従来手法をベンチマークすることによって,この問題に対処する。
  論文  参考訳（メタデータ） (2024-07-26T06:09:10Z)
• Interpretable Medical Diagnostics with Structured Data Extraction by Large Language Models [59.89454513692417]
  タブラルデータはしばしばテキストに隠され、特に医学的診断報告に使用される。 本稿では,TEMED-LLM と呼ばれるテキスト医療報告から構造化表状データを抽出する手法を提案する。 本手法は,医学診断における最先端のテキスト分類モデルよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-08T09:12:28Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。