論文の概要: Parameter-Efficient Conciseness Adaptation: Differentiable Length Control for Concise Clinical Reasoning in Smaller Language Models
- arxiv url: http://arxiv.org/abs/2611.17128v1
- Date: Thu, 12 Nov 2026 17:21:12 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.568464
- Title: Parameter-Efficient Conciseness Adaptation: Differentiable Length Control for Concise Clinical Reasoning in Smaller Language Models
- Title(参考訳): パラメータ効率の良い簡潔度適応:小言語モデルにおける簡潔な臨床推論のための可変長制御
- Abstract要約: 本稿では,QLoRAが指示する微調整目的に対して,単一の微分可能な簡潔さ項を付加するECAAを紹介する。
PECAは平均応答長を72.8%削減し、多重選択診断精度を40.8%から44.0%に改善した。
簡潔さの強さを網羅し、完全性と診断完全性のバランスをとるための解釈可能な精度から長さまでのフロンティアをトレースする。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Smaller language models (SLMs) make it feasible to deploy clinical natural language processing where large proprietary models are too costly, and parameter-efficient fine-tuning allows them to be specialised on commodity hardware. One obstacle persists after training: on medical tasks these models answer at far greater length than the clinical question requires. In clinical decision support and point-of-care use, where time is short, such verbosity is hard to act on even when the underlying reasoning is sound. Existing length-control methods depend on preference optimisation, reward models, or proprietary teachers that undercut the accessibility making SLMs attractive. We introduce Parameter-Efficient Conciseness Adaptation (PECA), which adds a single differentiable conciseness term to the QLoRA supervised fine-tuning objective. Because the token count is discrete and non-differentiable, PECA instead raises the end-of-sequence probability once generation exceeds a token budget, a smooth signal optimised during ordinary training, with no preference data, no auxiliary model, and a single commodity GPU. On a 1.7-billion-parameter model fine-tuned on the medical-o1-reasoning-SFT corpus, PECA reduces mean response length by 72.8% while improving multiple-choice diagnostic accuracy from 40.8% to 44.0%. A sweep over the conciseness strength traces an interpretable accuracy-to-length frontier for balancing brevity and diagnostic completeness.
- Abstract(参考訳): より小さな言語モデル(SLM)は、大きなプロプライエタリなモデルが高価すぎる臨床自然言語処理をデプロイしやすくし、パラメータ効率の良い微調整により、コモディティなハードウェアに特化することができる。
トレーニング後に1つの障害が持続する:医療タスクでは、これらのモデルは臨床的な問題よりもはるかに長い長さで答える。
臨床的意思決定支援や介護のポイント・オブ・ケアでは、時間が短い場合には、基礎となる推論が健全である場合でも、そのような冗長性は行動し難い。
既存の長さ制御手法は、好みの最適化、報酬モデル、あるいはSLMを魅力的にするためにアクセシビリティを弱めるプロプライエタリな教師に依存している。
本稿では,QLoRAが監督する微調整目的に対して,単一の微分可能な簡潔度項を付加する,パラメータ効率のよい簡潔度適応(PECA)を提案する。
トークンカウントは離散的で微分不可能であるため、PECAは生成がトークン予算を超えるとシーケンス終了確率を上昇させ、通常のトレーニング中に最適化されたスムーズな信号は優先データがなく、補助モデルがなく、単一のコモディティGPUである。
医療用o1-resoning-SFTコーパスに微調整された1.7ビリオンパラメータモデルでは、PECAは平均応答長を72.8%削減し、多重選択診断精度を40.8%から44.0%に改善した。
簡潔さの強さを網羅し、簡潔さと診断完全性のバランスをとるための解釈可能な精度から長さまでのフロンティアをトレースする。
関連論文リスト
- A Comparative Study of Feature Selection Methods for EHR Diagnosis Codes in Opioid Use Disorder Prediction [14.398540855932708]
診断関連機能に着目し,オピオイド使用障害(OUD)予測のための5つの特徴選択パラダイムを比較した。
統合された事前処理および評価フレームワークを用いて、下流予測性能、再サンプリング安定性、頻繁な診断符号の表現による各手法の評価を行う。
以上の結果から,機能予算が大きくなるほど性能が向上し,リターンが低下することが明らかとなった。
論文 参考訳(メタデータ) (2026-08-04T19:37:29Z) - Beyond Scalar Scores: Exploring LLM-based Metrics for Clinical Significance Evaluation in Radiology Reports [49.5225801722164]
既存のメトリクスは、医学的に根拠のないスカラーにレポートの品質を低下させることによって、この要件を曖昧にしている。
テストベッドとしてReEvalMedベンチマークを用いて,この境界について検討し,計量レベルの臨床的意義を評価する。
論文 参考訳(メタデータ) (2026-06-17T08:10:30Z) - Knee Osteoarthritis Severity Grading Using Optimized Deep Learning and LLM-Driven Intelligent AI on Computationally Limited Systems [0.0]
変形性膝関節症(KOA)は関節可動性を著しく制限し、慢性的な痛みを引き起こし、品質に悪影響を及ぼす筋骨格障害の一つである。
本稿では,深層学習畳み込みニューラルネットワーク(CNN)とLite Liteを用いたデバイスベースプラットフォームを組み合わせることで,KOAの重大度グレーディングの自動診断手法を提案する。
論文 参考訳(メタデータ) (2026-05-07T06:24:04Z) - Stabilizing Efficient Reasoning with Step-Level Advantage Selection [54.563811052329235]
我々は,長さを意識しない標準のGRPOを用いて,短文のポストトレーニング単独で,すでにかなりの推理圧縮を誘導していることを示す。
そこで本稿では, 適切なロールアウトにおける低信頼度ステップと, 検証済みロールアウトにおける高信頼度ステップにゼロアドバンテージを割り当てるステップレベルアドバンテージ選択(SAS)を提案する。
論文 参考訳(メタデータ) (2026-04-27T03:34:59Z) - AdaLoRA-QAT: Adaptive Low-Rank and Quantization-Aware Segmentation [3.7529248291177404]
AdaLoRA-QATは、適応型低ランクエンコーダ適応とフル量子化対応トレーニングを組み合わせた2段階の微調整フレームワークである。
95.6%のDiceを実現し、完全精度のSAMデコーダを微調整し、トレーニング可能なパラメータを16.6倍減らし、2.24倍のモデル圧縮が得られる。
これらの結果から,AdaLoRA-QATは精度,効率,構造的信頼性を効果的にバランスさせ,医用画像セグメンテーションのためのコンパクトで展開可能な基礎モデルを実現できることが示された。
論文 参考訳(メタデータ) (2026-04-01T17:18:46Z) - Stability-Aware Prompt Optimization for Clinical Data Abstraction [0.6401581119643504]
臨床抽象化に使用される大規模な言語モデルは、即興の言葉遣いに敏感である。
我々は、フリップレートによる迅速な感度を測定し、それをキャリブレーションと選択的予測に関連付ける。
本稿では,精度と安定性を両立させる2目的のプロンプト最適化ループを提案する。
論文 参考訳(メタデータ) (2026-01-29T22:30:35Z) - Measuring Stability Beyond Accuracy in Small Open-Source Medical Large Language Models for Pediatric Endocrinology [34.80893325510028]
小さなオープンソース医療用大規模言語モデル(LLM)は、低リソースのデプロイメントとより広範なアクセシビリティのための有望な機会を提供する。
人体評価と臨床検査を併用して,6つの小さなオープンソース医療用LLMを評価した。
論文 参考訳(メタデータ) (2025-12-26T14:30:53Z) - Training-free Context-adaptive Attention for Efficient Long Context Modeling [57.703159205740185]
トレーニングフリーコンテキスト適応注意(TCA-Attention)は、学習不要なスパースアテンション機構であり、効率的な長文推論のための情報トークンのみに選択的に参画する。
TCA-Attentionは2.8$times$のスピードアップを実現し、128Kのコンテキスト長でKVキャッシュを61%削減し、フルアテンションに匹敵するパフォーマンスを維持している。
論文 参考訳(メタデータ) (2025-12-10T01:54:57Z) - DTS: Enhancing Large Reasoning Models via Decoding Tree Sketching [54.98126916293868]
大規模推論モデル(LRMs)は、精度を低下させる、非常に長い連鎖のトレースを生成する。
本稿では,高エントロピートークンを分岐することで推論空間をスケッチするモデル非依存デコーディングフレームワークを提案する。
このアプローチは、追加のトレーニングや監督を必要とせず、効率と正確性を両立させる最適解を近似する。
論文 参考訳(メタデータ) (2025-11-01T17:41:28Z) - Accelerated Test-Time Scaling with Model-Free Speculative Sampling [58.69141724095398]
STAND(Stochastic Adaptive N-gram Drafting)は,新しいモデルフリーな投機的デコード手法である。
従来の自己回帰復号法と比較して,STANDは推論遅延を60~65%削減することを示した。
モデルフリーのアプローチとして、STANDは追加のトレーニングなしで既存の言語モデルに適用できる。
論文 参考訳(メタデータ) (2025-06-05T07:31:18Z) - Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。
本稿では,構造化医療推論を利用した新しいアプローチを提案する。
我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
論文 参考訳(メタデータ) (2025-03-05T05:24:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。