論文の概要: AnesBench: Multi-Dimensional Evaluation of LLM Reasoning in Anesthesiology

• arxiv url: http://arxiv.org/abs/2504.02404v1
• Date: Thu, 03 Apr 2025 08:54:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-11 20:11:43.411953
• Title: AnesBench: Multi-Dimensional Evaluation of LLM Reasoning in Anesthesiology
• Title（参考訳）: AnesBench:麻酔学におけるLLM推論の多次元的評価
• Authors: Xiang Feng, Wentao Jiang, Zengmao Wang, Yong Luo, Pingbo Xu, Baosheng Yu, Hua Jin, Bo Du, Jing Zhang,
• Abstract要約: 麻酔学における大規模言語モデル(LLM)の推論能力を体系的に評価した。 AnesBenchは3段階にわたる麻酔学関連推論を評価するために設計された言語間ベンチマークである。
• 参考スコア（独自算出の注目度）: 47.52685298426068
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The application of large language models (LLMs) in the medical field has gained significant attention, yet their reasoning capabilities in more specialized domains like anesthesiology remain underexplored. In this paper, we systematically evaluate the reasoning capabilities of LLMs in anesthesiology and analyze key factors influencing their performance. To this end, we introduce AnesBench, a cross-lingual benchmark designed to assess anesthesiology-related reasoning across three levels: factual retrieval (System 1), hybrid reasoning (System 1.x), and complex decision-making (System 2). Through extensive experiments, we first explore how model characteristics, including model scale, Chain of Thought (CoT) length, and language transferability, affect reasoning performance. Then, we further evaluate the effectiveness of different training strategies, leveraging our curated anesthesiology-related dataset, including continuous pre-training (CPT) and supervised fine-tuning (SFT). Additionally, we also investigate how the test-time reasoning techniques, such as Best-of-N sampling and beam search, influence reasoning performance, and assess the impact of reasoning-enhanced model distillation, specifically DeepSeek-R1. We will publicly release AnesBench, along with our CPT and SFT training datasets and evaluation code at https://github.com/MiliLab/AnesBench.
• Abstract（参考訳）: 医学分野における大規模言語モデル(LLM)の適用は注目されているが、麻酔学のような専門分野における推論能力はいまだ研究されていない。 本稿では, 麻酔科におけるLCMの理学効果を体系的に評価し, その性能に影響を及ぼす要因を解析する。 この目的のために,本研究では,現実検索(System 1),ハイブリッド推論(System 1.x),複雑意思決定(System 2)の3段階にわたる麻酔学関連推論を評価するために設計された言語間ベンチマークであるAnesBenchを紹介する。 まず,モデルスケール,思考の連鎖(CoT)長さ,言語伝達性などのモデル特性が推論性能に与える影響について検討する。 そこで我々は,CPT(Continuous Pre-Torning)やSFT(Corated fine-tuning)など,治癒した麻酔学関連データセットを活用することにより,異なるトレーニング戦略の有効性をさらに評価した。 さらに,Best-of-Nサンプリングやビームサーチなどの試験時間推算技術が,推算性能に与える影響や,推算モデル蒸留,特にDeepSeek-R1の影響について検討した。 私たちは、CPTとSFTのトレーニングデータセットと評価コードとともに、AnesBenchをhttps://github.com/MiliLab/AnesBench.comで公開します。

関連論文リスト

• The Geometry of Transfer: Unlocking Medical Vision Manifolds for Training-Free Model Ranking [31.961181244685932]
  本稿では, 統計重なりではなく, 多様体のトラクタビリティを評価するトポロジ駆動転送可能性推定フレームワークを提案する。 本手法は,重み付きケンドールの相対的改善率約6031%により,最先端のベースラインを著しく上回る。
  論文  参考訳（メタデータ） (2026-02-27T11:04:15Z)
• Towards Better Ultrasound Video Segmentation Foundation Model: An Empirical study on SAM2 Finetuning from Data Perspective [0.7629717457706325]
  超音波ビデオセグメンテーションにおけるSAM2適応について,データ中心による検討を行った。 トレーニングセットのサイズ、ビデオの長さ、拡張スキームが適応性能にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2025-11-07T21:45:18Z)
• MedSeqFT: Sequential Fine-tuning Foundation Models for 3D Medical Image Segmentation [55.37355146924576]
  MedSeqFTは、医用画像解析のためのシーケンシャルな微調整フレームワークである。 事前訓練されたモデルを新しいタスクに適応させ、表現能力を改善する。 最先端の微調整戦略を一貫して上回ります。
  論文  参考訳（メタデータ） (2025-09-07T15:22:53Z)
• Medical Reasoning in the Era of LLMs: A Systematic Review of Enhancement Techniques and Applications [59.721265428780946]
  医学における大きな言語モデル(LLM)は印象的な能力を実現しているが、体系的で透明で検証可能な推論を行う能力に重大なギャップが残っている。 本稿は、この新興分野に関する最初の体系的なレビューを提供する。 本稿では,学習時間戦略とテスト時間メカニズムに分類した推論強化手法の分類法を提案する。
  論文  参考訳（メタデータ） (2025-08-01T14:41:31Z)
• Enhancing Study-Level Inference from Clinical Trial Papers via RL-based Numeric Reasoning [10.449112615828419]
  我々はその問題を量的推論の1つとして概念化している。 本研究では,数値データ抽出モデルと効果推定成分からなる数値推論システムを開発する。
  論文  参考訳（メタデータ） (2025-05-28T22:59:45Z)
• AGIR: Assessing 3D Gait Impairment with Reasoning based on LLMs [0.0]
  歩行障害は、神経変性疾患の早期診断、疾患モニタリング、治療評価において重要な役割を果たす。 近年のディープラーニングベースのアプローチは、分類精度を一貫して改善しているが、解釈可能性に欠けることが多い。 本稿では、事前訓練されたVQ-VAEモーショントークンライザと、一対のモーショントークン上で微調整されたLarge Language Model(LLM)からなる新しいパイプラインであるAGIRを紹介する。
  論文  参考訳（メタデータ） (2025-03-23T17:12:16Z)
• MedAgentsBench: Benchmarking Thinking Models and Agent Frameworks for Complex Medical Reasoning [34.93995619867384]
  LLM(Large Language Models)は、既存の医学的質問応答ベンチマークで素晴らしいパフォーマンスを示している。 MedAgentsBenchは、多段階の臨床推論、診断の定式化、および治療計画シナリオを必要とする医学的問題に焦点を当てたベンチマークである。
  論文  参考訳（メタデータ） (2025-03-10T15:38:44Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• Federated Fine-Tuning of LLMs: Framework Comparison and Research Directions [59.5243730853157]
  Federated Learning(FL)は、分散プライベートデータセットを使用して、トレーニング済みの大規模言語モデル(LLM)を微調整するための、プライバシ保護ソリューションを提供する。 本稿では、知識蒸留(KD)とスプリットラーニング(SL)を統合し、これらの問題を緩和する3つの先進的連合LLM(FedLLM)フレームワークの比較分析を行う。
  論文  参考訳（メタデータ） (2025-01-08T11:37:06Z)
• SELF: Surrogate-light Feature Selection with Large Language Models in Deep Recommender Systems [51.09233156090496]
  ディープレコメンデータシステムのためのSurrogatE-Light特徴選択法 SELFは、大規模言語モデルからのセマンティック推論と、代理モデルからのタスク固有の学習を統合する。 実世界のレコメンデータプラットフォームからの3つの公開データセットに関する総合的な実験は、SELFの有効性を検証する。
  論文  参考訳（メタデータ） (2024-12-11T16:28:18Z)
• X2-DFD: A framework for eXplainable and eXtendable Deepfake Detection [55.77552681618732]
  X2-DFDは、eXplainableおよびeXtendableフレームワークであり、ディープフェイク検出のためのマルチモーダルな多言語モデル(MLLM)に基づいている。 最初の段階であるモデル特徴評価は、MLLMの偽造関係の特徴の検出可能性を体系的に評価する。 2番目のステージであるExplainable dataset Constructionは、Strong Feature StrengtheningとWeak Feature Supplementingの2つの重要なモジュールで構成されている。 3番目のステージであるファインチューニングと推論では、構築されたデータセット上でMLLMを微調整し、最終的な検出と説明のためにデプロイする。
  論文  参考訳（メタデータ） (2024-10-08T15:28:33Z)
• Rethinking Pre-Trained Feature Extractor Selection in Multiple Instance Learning for Whole Slide Image Classification [2.375943263571389]
  複数インスタンス学習(MIL)は、パッチレベルのアノテーションを必要とせずに、ギガピクセル全体のスライド画像(WSI)分類に好まれる方法となっている。 本研究では,3次元のMIL特徴抽出器(事前学習データセット,バックボーンモデル,事前学習手法)を体系的に評価する。
  論文  参考訳（メタデータ） (2024-08-02T10:34:23Z)
• SemioLLM: Assessing Large Language Models for Semiological Analysis in Epilepsy Research [45.2233252981348]
  大規模言語モデルは、一般的な医学的知識をエンコードする能力において有望な結果を示している。 内科的知識を活用しててててんかんの診断を行う技術について検討した。
  論文  参考訳（メタデータ） (2024-07-03T11:02:12Z)
• Evaluating the Effectiveness of the Foundational Models for Q&A Classification in Mental Health care [0.18416014644193068]
  プレトレーニング言語モデル(PLM)は、メンタルヘルスを変革する可能性がある。 本研究は,精神保健領域における質問紙と回答紙の分類におけるPLMの有効性を評価するものである。
  論文  参考訳（メタデータ） (2024-06-23T00:11:07Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• XAI4LLM. Let Machine Learning Models and LLMs Collaborate for Enhanced In-Context Learning in Healthcare [16.79952669254101]
  本稿では,大規模言語モデルによる構造化された臨床データ処理を実現するための知識誘導型インコンテキスト学習フレームワークを提案する。 このアプローチでは、ドメイン固有の機能グループ化、慎重にバランスのとれた数ショットの例、タスク固有のプロンプト戦略を統合する。
  論文  参考訳（メタデータ） (2024-05-10T06:52:44Z)
• Evaluation of General Large Language Models in Contextually Assessing Semantic Concepts Extracted from Adult Critical Care Electronic Health Record Notes [17.648021186810663]
  本研究の目的は,大規模言語モデル(LLM)の実際の臨床ノートの理解と処理における性能を評価することである。 GPTファミリーモデルは、コスト効率と時間節約能力によって証明された、かなりの効率性を示している。
  論文  参考訳（メタデータ） (2024-01-24T16:52:37Z)
• Physics Inspired Hybrid Attention for SAR Target Recognition [61.01086031364307]
  本稿では,物理にヒントを得たハイブリットアテンション(PIHA)機構と,この問題に対処するためのOFA評価プロトコルを提案する。 PIHAは、物理的情報の高レベルなセマンティクスを活用して、ターゲットの局所的なセマンティクスを認識した特徴群を活性化し、誘導する。 提案手法は,ASCパラメータが同じ12のテストシナリオにおいて,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2023-09-27T14:39:41Z)
• MS Lesion Segmentation: Revisiting Weighting Mechanisms for Federated Learning [92.91544082745196]
  フェデレートラーニング(FL)は医用画像解析に広く用いられている。 FLのパフォーマンスは、多発性硬化症(MS)病変セグメンテーションタスクに制限される。 2つの効果的な再重み付け機構によるFLMS病変分割フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-05-03T14:06:03Z)
• Estimating and Improving Fairness with Adversarial Learning [65.99330614802388]
  本研究では,深層学習に基づく医療画像解析システムにおけるバイアスの同時緩和と検出を目的としたマルチタスク・トレーニング戦略を提案する。 具体的には,バイアスに対する識別モジュールと,ベース分類モデルにおける不公平性を予測するクリティカルモジュールを追加することを提案する。 大規模で利用可能な皮膚病変データセットのフレームワークを評価します。
  論文  参考訳（メタデータ） (2021-03-07T03:10:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。