論文の概要: Exploring Recurrent-Depth Language Models for Multitask Clinical Text Processing

• arxiv url: http://arxiv.org/abs/2610.27559v1
• Date: Tue, 20 Oct 2026 03:18:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.600225
• Title: Exploring Recurrent-Depth Language Models for Multitask Clinical Text Processing
• Title（参考訳）: マルチタスク臨床テキスト処理のための逐次深度言語モデルの検討
• Abstract要約: 我々は,連続的な微調整によって,小さな再帰言語モデルがこのニーズを満たすことができるかどうかを評価する。 情報抽出,分類,推論,質問応答を含む9つのデータセットに対して,Ouro1.4B-Thinking,Ouro-2.6B-Thinking,HRM-Text-1B,Qwen3-1.7B,Qwen3-8Bを微調整した。 一方,HRM-Text-1Bでは混合結果が得られた。
• 参考スコア（独自算出の注目度）: 30.874774380073987
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Clinical natural language processing includes diverse tasks such as information extraction, classification, and question answering. Developing one model for all tasks could simplify deployment and improve knowledge transfer. We evaluated whether small recurrent-depth language models can meet this need through joint fine-tuning and compared their performance with standard transformers. We fine-tuned Ouro1.4B-Thinking, Ouro-2.6B-Thinking, HRM-Text-1B, Qwen3-1.7B, and Qwen3-8B on 9 datasets covering information extraction, classification, inference, and question answering, and evaluated them on four additional datasets excluded from training. Across these 13 datasets, Ouro-1.4B-Thinking achieved higher performances than Qwen3-1.7B on 11 datasets; Ouro-2.6BThinking was competitive with Qwen3-8B on most tasks. Ouro models showed the largest gains on inference and question answering, whereas HRM-Text-1B showed mixed results. These findings support further study of recurrent-depth models for clinical tasks through controlled experiments to isolate architectural effects and investigate how recurrent computation influences reasoning, knowledge acquisition, and generalization.
• Abstract（参考訳）: 臨床自然言語処理には、情報抽出、分類、質問応答などの多様なタスクが含まれる。 すべてのタスクのための1つのモデルの開発は、デプロイを簡素化し、知識伝達を改善することができる。 そこで我々は, 連続的な微調整により, 最小繰り返し言語モデルがこのニーズを満たすことができるかどうかを評価し, それらの性能を標準変圧器と比較した。 Wetuned Ouro1.4B-Thinking, Ouro-2.6B-Thinking, HRM-Text-1B, Qwen3-1.7B, Qwen3-8B on 9 datasets including information extract, classification, inference, and question answering。 これらの13のデータセットの中で、Ouro-1.4B-Thinkingは11のデータセットでQwen3-1.7Bよりも高いパフォーマンスを達成し、Ouro-2.6BThinkingはほとんどのタスクでQwen3-8Bと競合した。 一方,HRM-Text-1Bでは混合結果が得られた。 これらの結果は、アーキテクチャ効果を分離し、再帰計算が推論、知識獲得、一般化にどのように影響するかを研究するための制御された実験を通して、臨床タスクの反復的深度モデルをさらに研究することを支援する。

関連論文リスト

• OpenVLHarness: Real World Visual Agentic Tool-Use with Multimodal Memory [95.76490979359288]
  マルチモーダル大言語モデル (MLLM) は視覚的推論において急速に進歩している。 多くのタスクは、内部理性だけでは入手が難しい証拠を必要とする。 機能層と永続型マルチモーダルメモリを中心に構成されたマルチモーダル推論ハーネスであるOpenVLHarnessを紹介する。
  論文  参考訳（メタデータ） (2026-10-19T17:59:58Z)
• Scaling Trends for Multi-Hop Contextual Reasoning in Mid-Scale Language Models [0.0]
  大規模言語モデルにおけるマルチホップ文脈推論の制御に関する研究について述べる。 マルチエージェントシステムは逆パターンを示し、ルールベースのメソッドが失敗する推論タスクを最大80%達成する。
  論文  参考訳（メタデータ） (2026-01-06T20:18:55Z)
• One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
  リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。 一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。 これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
  論文  参考訳（メタデータ） (2025-10-30T06:08:27Z)
• Benchmarking Open-Source Large Language Models on Healthcare Text Classification Tasks [2.7729041396205014]
  本研究では,オープンソースの5つの大言語モデル(LLM)の分類性能を評価する。 全てのモデルとタスクの組み合わせに対して、95%の信頼区間を有する精度、リコール、F1スコアを報告する。
  論文  参考訳（メタデータ） (2025-03-19T12:51:52Z)
• Unraveling the Capabilities of Language Models in News Summarization [0.0]
  この研究は、ニュース要約タスクのより小さなものに焦点を当てた、最新の20の言語モデルの包括的なベンチマークを提供する。 本研究では,ゼロショットと少数ショットの学習設定に着目し,ロバストな評価手法を適用した。 GPT-3.5-Turbo と GPT-4 の優れた性能を強調した。
  論文  参考訳（メタデータ） (2025-01-30T04:20:16Z)
• MAmmoTH-VL: Eliciting Multimodal Reasoning with Instruction Tuning at Scale [66.73529246309033]
  MLLM(Multimodal large language model)は、多モーダルタスクにおいて大きな可能性を秘めている。 既存の命令チューニングデータセットは、中間的合理性のないフレーズレベルの答えのみを提供する。 そこで本研究では,大規模マルチモーダル・インストラクション・チューニング・データセットを構築するためのスケーラブルで費用対効果の高い手法を提案する。
  論文  参考訳（メタデータ） (2024-12-06T18:14:24Z)
• Towards Effective and Efficient Continual Pre-training of Large Language Models [163.34610964970258]
  CPT(Continuous pre-training)は、特定のドメインやタスクに言語モデルを適用する上で重要なアプローチである。 本稿では,Llama-3 (8B) の継続事前訓練に関する技術的報告を報告する。 バックボーンモデルの中国語能力と科学的推論能力を大幅に向上させる。
  論文  参考訳（メタデータ） (2024-07-26T13:55:21Z)
• Tool-Augmented Reward Modeling [58.381678612409]
  本稿では,外部環境へのアクセスによるRMの強化により,制約に対処するツール拡張された嗜好モデリング手法であるThemisを提案する。 我々の研究は、外部ツールをRMに統合し、様々な外部ソースとの相互作用を可能にすることを目的としている。 人間の評価では、テミスで訓練されたRLHFはベースラインと比較して平均32%の勝利率を得る。
  論文  参考訳（メタデータ） (2023-10-02T09:47:40Z)
• Challenges in Procedural Multimodal Machine Comprehension:A Novel Way To Benchmark [14.50261153230204]
  M3C(Multimodal Machine Reading)に注目し、与えられた文節(または文脈)に基づいてモデルが質問に答えることを期待する。 大規模深層モデルの問合せ生成過程と暗記能力から生じる3つの臨界バイアスを同定する。 3つの制御ノブを通してこれらのバイアスに対処するための体系的枠組みを提案する。
  論文  参考訳（メタデータ） (2021-10-22T16:33:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。