Fugu-MT 論文翻訳(概要): From Token to Token Pair: Efficient Prompt Compression for Large Language Models in Clinical Prediction

論文の概要: From Token to Token Pair: Efficient Prompt Compression for Large Language Models in Clinical Prediction

arxiv url: http://arxiv.org/abs/2605.11774v1
Date: Tue, 12 May 2026 08:46:40 GMT
ステータス: 翻訳完了
システム内更新日: 2026-05-13 21:48:56.725811
Title: From Token to Token Pair: Efficient Prompt Compression for Large Language Models in Clinical Prediction
Title（参考訳）: トーケンからトーケン・ペアへ:臨床予測における大規模言語モデルの効率的なプロンプト圧縮
Authors: Mingcheng Zhu, Zhiyao Luo, Yu Liu, Tingting Zhu,
Abstract要約: 大型言語モデル(LLM)は、死亡予測や表現型化といった臨床予測タスクに可能性を示している。長いトークンシーケンスは高い計算コストとパフォーマンスの低下をもたらす。既存のソリューションは圧縮用のモジュールを追加するか、重要でないトークンを削除する。医用トケンペアを提案する。 aware (MedTPE) - EHRシーケンスの標準的なトークン化を拡張するレイヤメソッド。
参考スコア（独自算出の注目度）: 6.63303513347406
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: By processing electronic health records (EHRs) as natural language sequences, large language models (LLMs) have shown potential in clinical prediction tasks such as mortality prediction and phenotyping. However, longitudinal or highly frequent EHRs often yield excessively long token sequences that result in high computational costs and even reduced performance. Existing solutions either add modules for compression or remove less important tokens, which introduce additional inference latency or risk losing clinical information. To achieve lossless compression of token sequences without additional cost or loss of performance, we propose Medical Token-Pair Encoding (MedTPE), a layered method that extends standard tokenisation for EHR sequences. MedTPE merges frequently co-occurring medical token pairs into composite tokens, providing lossless compression while preserving the computational complexity through a dependency-aware replacement strategy. Only the embeddings of the newly introduced tokens of merely 0.5-1.0% of the LLM's parameters are fine-tuned via self-supervised learning. Experiments on real-world datasets for two clinical scenarios demonstrate that MedTPE reduces input token length by up to 31% and inference latency by 34-63%, while maintaining or even improving both predictive performance and output format compliance across multiple LLMs and four clinical prediction tasks. Furthermore, MedTPE demonstrates robustness across different input context lengths and generalisability to scientific and financial domains and different languages.
Abstract（参考訳）: 電子健康記録(EHR)を自然言語配列として処理することにより、大きな言語モデル(LLM)は、死亡予測や表現型化といった臨床予測タスクに可能性を示す。しかし、長手または高頻度の EHR は、高い計算コストと性能の低下をもたらす、過度に長いトークンシーケンスを生じることが多い。既存のソリューションは圧縮用のモジュールを追加するか、あまり重要でないトークンを取り除くか、推論遅延を増すか、臨床情報を失うリスクを発生させる。トークンシーケンスのロスレス圧縮を実現するために,EHRシーケンスの標準的なトークン化を拡張する階層化手法であるMedicical Token-Pair Encoding (MedTPE)を提案する。 MedTPEは、しばしば医療トークンペアを複合トークンにマージし、依存認識置換戦略を通じて計算複雑性を保ちながら、損失のない圧縮を提供する。 LLMのパラメータの0.5-1.0%しか新たに導入されたトークンの埋め込みだけが、自己教師付き学習によって微調整される。 2つの臨床シナリオを対象とした実世界のデータセットの実験では、MedTPEは入力トークン長を最大31%削減し、推論遅延を34-63%削減し、複数のLSMと4つの臨床予測タスクで予測性能と出力フォーマットのコンプライアンスを維持または改善している。さらに、MedTPEは、異なる入力コンテキストの長さにまたがるロバスト性を示し、科学および金融分野および異なる言語に対する一般化性を示す。

関連論文リスト

Learning Fingerprints for Medical Time Series with Redundancy-Constrained Information Maximization [11.233142317726971]
可変長のMedTSを固定サイズの$k$潜在フィンガープリントトークンに圧縮する新しいフレームワークを提案する。私たちのアーキテクチャでは、これらのトークンを生成するために、クロスアテンションボトルネックを使用し、二重目的関数でトレーニングされています。このアプローチは低次元、解釈可能、サンプル効率の表現を生み出し、各トークンは変動の独立した要因を捉えることを奨励する。
論文参考訳（メタデータ） (2026-04-30T18:33:40Z)
PRIME: Prototype-Driven Multimodal Pretraining for Cancer Prognosis with Missing Modalities [86.63247982275396]
PRIMEは、欠落を認識したマルチモーダルな自己教師型事前トレーニングフレームワークである。部分的に観察されたコホートから頑健で伝達可能な表現を学ぶ。 The Cancer Genome AtlasのPRIMEを32種類の癌に対してラベルフリープレトレーニングで評価した。
論文参考訳（メタデータ） (2026-04-05T21:14:27Z)
MedPruner: Training-Free Hierarchical Token Pruning for Efficient 3D Medical Image Understanding in Vision-Language Models [59.180043227905294]
MedPrunerは、3次元医用画像の効率的な理解のためのトレーニング不要でモデルに依存しない階層的トークンプレーニングフレームワークである。我々は、MedPrunerによって、MedGemmaのようなモデルが元の性能を維持したり、超えたりすることが可能であり、ビジュアルトークンの5%以下を維持していることを示す。
論文参考訳（メタデータ） (2026-03-12T07:37:00Z)
Sepsis Prediction Using Graph Convolutional Networks over Patient-Feature-Value Triplets [10.151360630975482]
本稿では,単一ブランチグラフ畳み込みモデルであるTriplet-GCNを提案する。グラフ畳み込みネットワーク(GCN)と軽量多層パーセプトロン(MLP)を用いて患者埋め込みを学習する。
論文参考訳（メタデータ） (2025-12-05T04:30:48Z)
MedSeqFT: Sequential Fine-tuning Foundation Models for 3D Medical Image Segmentation [55.37355146924576]
MedSeqFTは、医用画像解析のためのシーケンシャルな微調整フレームワークである。事前訓練されたモデルを新しいタスクに適応させ、表現能力を改善する。最先端の微調整戦略を一貫して上回ります。
論文参考訳（メタデータ） (2025-09-07T15:22:53Z)
impuTMAE: Multi-modal Transformer with Masked Pre-training for Missing Modalities Imputation in Cancer Survival Prediction [75.43342771863837]
我々は,効率的なマルチモーダル事前学習戦略を備えた新しいトランスフォーマーに基づくエンドツーエンドアプローチである impuTMAE を紹介する。マスクされたパッチを再構築することで、モダリティの欠如を同時に示唆しながら、モダリティ間の相互作用とモダリティ内相互作用を学習する。本モデルは,TGA-GBM/LGGとBraTSデータセットを用いたグリオーマ生存予測のために,異種不完全データに基づいて事前訓練を行った。
論文参考訳（メタデータ） (2025-08-08T10:01:16Z)
METHOD: Modular Efficient Transformer for Health Outcome Discovery [0.25112747242081457]
本稿では,電子カルテにおける臨床シーケンスモデリングの課題に対処するために,新しいトランスフォーマーアーキテクチャである Method を紹介する。 1)効率的なバッチ処理を可能にしながら情報漏洩を防止する患者対応アテンション機構,(2)マルチスケールの時間的依存関係をキャプチャする適応型スライディングウィンドウアテンションスキーム,(3)動的スキップ接続を備えたU-Netインスピレーションアーキテクチャ。 MIMIC-IVデータベースにおける評価は、手法が最先端のETHOSモデルより一貫して優れていることを示した。
論文参考訳（メタデータ） (2025-05-16T15:52:56Z)
TokenUnify: Scaling Up Autoregressive Pretraining for Neuron Segmentation [65.65530016765615]
本稿では,3つの相補的な学習目標を通じて,大規模依存関係をキャプチャする階層型予測コーディングフレームワークを提案する。 TokenUnifyは、ランダムトークン予測、次のトークン予測、およびすべてのトークン予測を統合して、包括的な表現空間を作成する。また,120億個の注釈付きボクセルを付加した大規模EMデータセットを導入し,空間連続性を持つ理想的な長周期視覚データを提供する。
論文参考訳（メタデータ） (2024-05-27T05:45:51Z)
Temporal Cross-Attention for Dynamic Embedding and Tokenization of Multimodal Electronic Health Records [1.6609516435725236]
マルチモーダルな臨床時系列を正確に表現するための動的埋め込み・トークン化フレームワークを提案する。術後合併症9例の発症予測に基礎的アプローチを応用した。
論文参考訳（メタデータ） (2024-03-06T19:46:44Z)
BiteNet: Bidirectional Temporal Encoder Network to Predict Medical Outcomes [53.163089893876645]
本稿では,患者の医療旅行におけるコンテキスト依存と時間的関係を捉える,新たな自己注意機構を提案する。エンド・ツー・エンドの双方向時間エンコーダネットワーク(BiteNet)が患者の旅路の表現を学習する。実世界のEHRデータセットを用いた2つの教師付き予測と2つの教師なしクラスタリングタスクにおける手法の有効性を評価した。
論文参考訳（メタデータ） (2020-09-24T00:42:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。