論文の概要: TAGS: A Test-Time Generalist-Specialist Framework with Retrieval-Augmented Reasoning and Verification

• arxiv url: http://arxiv.org/abs/2505.18283v1
• Date: Fri, 23 May 2025 18:28:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.321622
• Title: TAGS: A Test-Time Generalist-Specialist Framework with Retrieval-Augmented Reasoning and Verification
• Title（参考訳）: TAGS: Retrieval-Augmented ReasoningとVerificationを備えたテスト時間ジェネリスト-スペシャリストフレームワーク
• Authors: Jianghao Wu, Feilong Tang, Yulong Li, Ming Hu, Haochen Xue, Shoaib Jameel, Yutong Xie, Imran Razzak,
• Abstract要約: テストタイムフレームワークであるTAGSについて述べる。このフレームワークは、幅広い能力を持つ模範とドメイン固有のスペシャリストを組み合わせることで、補完的な視点を提供する。 TAGSは9つのMedQAベンチマークで強力なパフォーマンスを実現し、GPT-4oの精度は13.8%、DeepSeek-R1は16.8%、バニラ7Bモデルは14.1%から23.9%向上した。
• 参考スコア（独自算出の注目度）: 27.918192794935255
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent advances such as Chain-of-Thought prompting have significantly improved large language models (LLMs) in zero-shot medical reasoning. However, prompting-based methods often remain shallow and unstable, while fine-tuned medical LLMs suffer from poor generalization under distribution shifts and limited adaptability to unseen clinical scenarios. To address these limitations, we present TAGS, a test-time framework that combines a broadly capable generalist with a domain-specific specialist to offer complementary perspectives without any model fine-tuning or parameter updates. To support this generalist-specialist reasoning process, we introduce two auxiliary modules: a hierarchical retrieval mechanism that provides multi-scale exemplars by selecting examples based on both semantic and rationale-level similarity, and a reliability scorer that evaluates reasoning consistency to guide final answer aggregation. TAGS achieves strong performance across nine MedQA benchmarks, boosting GPT-4o accuracy by 13.8%, DeepSeek-R1 by 16.8%, and improving a vanilla 7B model from 14.1% to 23.9%. These results surpass several fine-tuned medical LLMs, without any parameter updates. The code will be available at https://github.com/JianghaoWu/TAGS.
• Abstract（参考訳）: Chain-of-Thoughtなどの最近の進歩は、ゼロショット医学推論において大きな言語モデル(LLM)を大幅に改善した。 しかし、プロンプトベースの方法はしばしば浅く不安定であり、微調整の医療用LLMは分布シフト下での一般化が不十分で、臨床シナリオへの適応性は限られている。 これらの制限に対処するため、TAGSは、幅広い能力を持つジェネラリストとドメイン固有のスペシャリストを組み合わせて、モデル微調整やパラメータ更新なしに補完的な視点を提供するテストタイムフレームワークである。 この一般化主義的・特殊主義的推論プロセスを支援するために、意味的・理性的な類似性に基づいて例を選択してマルチスケールの例を提供する階層的検索機構と、最終的な解集合を導くための推論一貫性を評価する信頼性スコアラという2つの補助モジュールを導入する。 TAGSは9つのMedQAベンチマークで強力なパフォーマンスを実現し、GPT-4oの精度は13.8%、DeepSeek-R1は16.8%、バニラ7Bモデルは14.1%から23.9%向上した。 これらの結果は、パラメーターを更新することなく、微調整された医療用LLMを数回上回った。 コードはhttps://github.com/JianghaoWu/TAGS.comで入手できる。

関連論文リスト

• A Modular Approach for Clinical SLMs Driven by Synthetic Data with Pre-Instruction Tuning, Model Merging, and Clinical-Tasks Alignment [46.776978552161395]
  小型言語モデル(SLM)は、GPT-4のような大規模言語モデルに代わる費用対効果を提供する。 SLMは費用対効果のある代替手段を提供するが、その限られた能力は生物医学的な領域適応を必要とする。 本研究では,SLMを高性能な臨床モデルに適用するための新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-15T21:40:21Z)
• Can Reasoning LLMs Enhance Clinical Document Classification? [7.026393789313748]
  大規模言語モデル(LLM)は、このタスクの正確性と効率性において有望な改善を提供する。 本研究では,8つのLDMの性能と一貫性を評価する。4つの推論(Qwen QWQ, Deepseek Reasoner, GPT o3 Mini, Gemini 2.0 Flash Thinking)と4つの非推論(Llama 3.3, GPT 4o Mini, Gemini 2.0 Flash, Deepseek Chat)。 その結果、推論モデルは精度71%(68%)とF1スコア(67%(60%))で非推論モデルを上回った。
  論文  参考訳（メタデータ） (2025-04-10T18:00:27Z)
• Benchmarking Chinese Medical LLMs: A Medbench-based Analysis of Performance Gaps and Hierarchical Optimization Strategies [11.0505830548286]
  本研究は,MedBench上の上位10モデルの系統的解析を通じて,粒度の誤差分類を導入する。 10つの主要なモデルの評価は、医療知識のリコールにおいて0.86の精度を達成したにもかかわらず、脆弱性を明らかにしている。 知識境界法と多段階推論の体系的弱点を明らかにする。
  論文  参考訳（メタデータ） (2025-03-10T13:28:25Z)
• Quantifying the Reasoning Abilities of LLMs on Real-world Clinical Cases [48.87360916431396]
  MedR-Benchは1,453例の構造化患者のベンチマークデータセットで、推論基準を付した注釈付きである。 本稿では,3つの批判的診察勧告,診断決定,治療計画を含む枠組みを提案し,患者のケアジャーニー全体をシミュレートする。 このベンチマークを用いて、DeepSeek-R1、OpenAI-o3-mini、Gemini-2.0-Flash Thinkingなど、最先端の5つのLCMを評価した。
  論文  参考訳（メタデータ） (2025-03-06T18:35:39Z)
• Structured Outputs Enable General-Purpose LLMs to be Medical Experts [50.02627258858336]
  大規模言語モデル(LLM)は、しばしばオープンエンドの医学的問題に苦しむ。 本稿では,構造化医療推論を利用した新しいアプローチを提案する。 我々の手法は85.8のファクチュアリティスコアを達成し、微調整されたモデルを上回る。
  論文  参考訳（メタデータ） (2025-03-05T05:24:55Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• SemioLLM: Evaluating Large Language Models for Diagnostic Reasoning from Unstructured Clinical Narratives in Epilepsy [45.2233252981348]
  臨床知識を符号化するための言語モデル(LLM)が示されている。 6つの最先端モデルをベンチマークする評価フレームワークであるSemioLLMを提案する。 ほとんどのLSMは、脳内の発作発生領域の確率的予測を正確かつ確実に生成できることを示す。
  論文  参考訳（メタデータ） (2024-07-03T11:02:12Z)
• Self-Evaluation Guided Beam Search for Reasoning [61.523627290397556]
  我々は,Large Language Model (LLM) の推論プロセスのガイドと校正を行うための段階的自己評価機構を導入する。 本稿では,ビームサーチによる自己評価ガイダンスを統合した復号アルゴリズムを提案する。 我々のアプローチは、GSM8K、AQuA、StrategyQAにおいて、対応するCodexバックボンドベースラインをわずかに精度6.34%、9.56%、および5.46%で上回る。
  論文  参考訳（メタデータ） (2023-05-01T02:37:59Z)
• Holistic Evaluation of Language Models [183.94891340168175]
  言語モデル(LM)は、ほとんどすべての主要言語技術の基盤となっているが、その能力、制限、リスクはよく理解されていない。 本稿では,言語モデルの透明性を向上させるために,言語モデルの完全性評価(HELM)を提案する。
  論文  参考訳（メタデータ） (2022-11-16T18:51:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。