論文の概要: BIT.UA-AAUBS at ArchEHR-QA 2026: Evaluating Open-Source and Proprietary LLMs via Prompting in Low-Resource QA

• arxiv url: http://arxiv.org/abs/2605.03618v1
• Date: Tue, 05 May 2026 10:43:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-06 19:35:43.899737
• Title: BIT.UA-AAUBS at ArchEHR-QA 2026: Evaluating Open-Source and Proprietary LLMs via Prompting in Low-Resource QA
• Title（参考訳）: BIT.UA-AAUBS at ArchEHR-QA 2026: Proprietary LLMs by Prompting in Low-Resource QA
• Abstract要約: 本稿では,ArchEHR-QA 2026共有タスクにおけるBIT.UAグループとAAUBSグループの共同参加について述べる。 トレーニングデータがないことと、医療領域に固有の厳格なデータプライバシー制約があるため、重み付けをせずにLLM(Large Language Models)の能力を調査する。 我々は、いくつかの最先端のプロプライエタリモデルと、様々な迅速なエンジニアリング戦略を用いて、ローカルにデプロイ可能なオープンソース代替品を評価した。 我々の結果は、プロプライエタリなモデルは変化を促す強力なレジリエンスを示す一方で、ドメイン適応型オープンソースモデル(MedGemma 3 27Bなど)は高い競争力を発揮することを示した。
• 参考スコア（独自算出の注目度）: 65.22695574492265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents the joint participation of the BIT.UA and AAUBS groups in the ArchEHR-QA 2026 shared task, which focuses on clinical question answering and evidence grounding in a low-resource setting. Due to the absence of training data and the strict data privacy constraints inherent to the healthcare domain (e.g. GDPR), we investigate the capabilities of Large Language Models (LLMs) without weight updates. We evaluate several state-of-the-art proprietary models and locally deployable open-source alternatives using various prompt engineering strategies, including task decomposition, Chain-of-Thought, and in-context learning. Furthermore, we explore majority voting and LLM-as-a-judge ensembling techniques to maximize predictive robustness. Our results demonstrate that while proprietary models exhibit strong resilience to prompt variations, domain-adapted open-source models (such as MedGemma 3 27B) achieve highly competitive performance when paired with the right prompt. Overall, our prompt-based approach proved highly effective, securing 1st place in Subtask 4 (evidence citation alignment) and 3rd place in Subtask 3 (patient-friendly answer generation). All code, results, and prompts are available on our GitHub repository: https://github.com/bioinformatics-ua/ArchEHR-QA-2026.
• Abstract（参考訳）: 本稿では,BIT.UA群とAAUBS群が共同で参加するArchEHR-QA 2026課題について述べる。 トレーニングデータがないことと、医療領域固有の厳格なデータプライバシー制約(GDPRなど)のため、重み付けなしでLLM(Large Language Models)の能力を調査する。 我々は、タスク分解、Chain-of-Thought、コンテキスト内学習など、様々な迅速なエンジニアリング戦略を用いて、最先端のプロプライエタリモデルと、ローカルにデプロイ可能なオープンソース代替品を評価した。 さらに,予測ロバスト性を最大化するために,多数決とLCM-as-a-judgeアンサンブル手法について検討する。 この結果から,プロプライエタリなモデルでは変化の促進に強いレジリエンスを示す一方で,ドメイン適応型オープンソースモデル(MedGemma 3 27B など)は適切なプロンプトと組み合わせて高い競争性能を発揮することが示された。 提案手法は,Subtask 4では第1位,Subtask 3では第3位,患者に優しい回答生成では第3位であった。 すべてのコード、結果、プロンプトはGitHubリポジトリで利用可能です。

関連論文リスト

• ReAG: Reasoning-Augmented Generation for Knowledge-based Visual Question Answering [54.72902502486611]
  ReAG(Reasoning-Augmented Multimodal RAG)は、粗い部分ときめ細かい部分の検索と、無関係な通路をフィルタリングする批評家モデルを組み合わせた手法である。 ReAGは従来の手法よりも優れており、解答精度が向上し、検索された証拠に根ざした解釈可能な推論を提供する。
  論文  参考訳（メタデータ） (2025-11-27T19:01:02Z)
• Enhancing the Medical Context-Awareness Ability of LLMs via Multifaceted Self-Refinement Learning [49.559151128219725]
  大規模言語モデル(LLM)は医療分野で大きな可能性を示しており、いくつかのベンチマークで高いパフォーマンスを実現している。 しかし、実際の医療シナリオではパフォーマンスが低下し続けており、コンテキスト認識の強化が要求されることが多い。 データ駆動型アプローチであるMultifaceted Self-Refinement (MuSeR)を提案する。
  論文  参考訳（メタデータ） (2025-11-13T08:13:23Z)
• AirQA: A Comprehensive QA Dataset for AI Research with Instance-Level Evaluation [31.02336903452371]
  AirQAは人工知能(AI)分野における人手による包括的な紙QAデータセットである 3つのLDMベースのエージェントにより、ExTrActorは人間の介入なしにサンプル生成および軌道収集を行うことができる。 ExTrActorは、小さなモデルのマルチターンツール使用能力を一貫して改善し、より大きなモデルに匹敵するパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2025-09-21T07:24:17Z)
• Semantic Bridge: Universal Multi-Hop Question Generation via AMR-Driven Graph Synthesis [3.1427813443719868]
  大きな言語モデル(LLM)のトレーニングは、高品質で推論集約的な質問応答ペアの不足という、重大なボトルネックに直面します。 textbfSemantic Bridgeは、任意の情報源から洗練されたマルチホップ推論質問を制御可能とする最初の普遍的フレームワークである。
  論文  参考訳（メタデータ） (2025-08-06T10:59:42Z)
• Prompting is not Enough: Exploring Knowledge Integration and Controllable Generation [89.65955788873532]
  オープンドメイン質問応答(OpenQA)は自然言語処理(NLP)の基盤である。 我々は,知識統合と制御可能生成を探求し,OpenQAの性能向上を目的としたGenKIという新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-26T08:18:33Z)
• Pushing the boundary on Natural Language Inference [49.15148871877941]
  自然言語推論(NLI)は、ファクトチェック、質問応答、情報検索における自然言語理解の中心的なタスクである。 その重要性にもかかわらず、現在のNLIシステムは、アーティファクトやバイアス、推論、実世界の適用性を制限した学習に大きく依存している。 この作業は、品質や実世界の適用性を犠牲にすることなく、堅牢なNLIシステムを構築するためのフレームワークを提供する。
  論文  参考訳（メタデータ） (2025-04-25T14:20:57Z)
• FortisAVQA and MAVEN: a Benchmark Dataset and Debiasing Framework for Robust Multimodal Reasoning [31.61978841892981]
  本稿では,2つの段階で構築された新しいデータセットFortisAVQAを紹介する。 第1段階はより多様性のあるテスト空間を拡大し、第2段階は洗練された堅牢性評価を可能にする。 我々のアーキテクチャはFortisAVQAの最先端性能を実現し、7.81%の顕著な改善を実現している。
  論文  参考訳（メタデータ） (2025-04-01T07:23:50Z)
• W-RAG: Weakly Supervised Dense Retrieval in RAG for Open-domain Question Answering [28.79851078451609]
  W-RAGは、下流タスクから弱いトレーニング信号を抽出し、検索者がタスクに最も利益をもたらすパスを優先順位付けするように微調整する手法である。 我々は4つの公開可能なOpenQAデータセットの包括的な実験を行い、我々のアプローチが検索とOpenQAのパフォーマンスを向上させることを実証した。
  論文  参考訳（メタデータ） (2024-08-15T22:34:44Z)
• Combining Data Generation and Active Learning for Low-Resource Question Answering [23.755283239897132]
  低リソース環境での性能向上を図るために,質問応答生成によるデータ拡張とアクティブラーニングを組み合わせた新しい手法を提案する。 我々の新しいアプローチは、人間がデータ生成アプローチに組み込まれることで、低リソースでドメイン固有の設定のパフォーマンスが向上することを示している。
  論文  参考訳（メタデータ） (2022-11-27T16:31:33Z)
• KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
  知識集約型言語タスク(KILT)のベンチマークを示す。 KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。 共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
  論文  参考訳（メタデータ） (2020-09-04T15:32:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。