論文の概要: MedConstBench: Benchmarking How Constitutions Steer LLMs in Medical Ethics
- arxiv url: http://arxiv.org/abs/2610.36513v2
- Date: Wed, 04 Nov 2026 04:43:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-05 20:19:46.868763
- Title: MedConstBench: Benchmarking How Constitutions Steer LLMs in Medical Ethics
- Title（参考訳）: MedConstBench: 医療倫理におけるコンスティチューションの運営方法のベンチマーク
- Abstract要約: 我々は、デプロイメント構成を制御変数として扱う医療倫理ベンチマークであるMedConstBenchを紹介する。
構成の効果は次元選択的でモデル依存であり, 普遍的に最適であるコンスティチューションは存在しない。
そこで本研究では,モデル毎に構成を選択するドノハーム適応セレクタを提案する。
- 参考スコア（独自算出の注目度）: 20.773905918211877
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As large language models advance rapidly, they are increasingly used to answer medical questions, and many such models are now deployed locally. Once a model is deployed, its behavior is governed mainly by the ethical policy written into its constitution. However, most existing work focuses on factual correctness rather than the trade-off between competing ethical values. Even benchmarks that do evaluate ethics treat it as a fixed property of the model rather than as a variable, so how a constitution reshapes medical-ethics behavior remains largely unexplored. We introduce MedConstBench, a medical-ethics benchmark that treats the deployment constitution as a controlled variable, is organized around Beauchamp's four principles, and is scored by human-calibrated multi-model peer review. It includes MedDilemma, our own dataset of clinical dilemmas, and supports a systematic analysis of how constitutions steer LLMs. Evaluating ten open-source LLMs under four constitutions, we find that the effect of a constitution is dimension-selective and model-dependent, and that no constitution is universally optimal. Motivated by these findings, we propose a do-no-harm adaptive selector that chooses a constitution per model, matching the per-model oracle while guaranteeing a worst-case floor and generalizing to unseen models at low cost.
- Abstract（参考訳）: 大きな言語モデルが急速に進歩するにつれて、医療的問題に答えるために使われるようになり、現在ではそのようなモデルの多くがローカルにデプロイされている。
一度モデルが配備されると、その行動は主に憲法に書かれた倫理政策によって支配される。
しかし、既存の研究のほとんどは、競合する倫理的価値観の間のトレードオフよりも、事実的正当性に焦点を当てている。
倫理を評価するベンチマークでさえ、モデルを変数としてではなく、モデルの固定的な特性として扱うため、憲法が医療倫理的行動をどのように再評価するかは、まだ明らかになっていない。
デプロイ構成を制御変数として扱う医療倫理ベンチマークであるMedConstBenchを紹介する。
私たちの臨床ジレンマのデータセットであるMedDilemmaが含まれており、どのようにコンスティチューションがLSMを操るかの体系的な分析を支援しています。
4つの構成の下で10個のオープンソースLCMを評価し, 構成の効果は次元選択的でモデル依存であり, 普遍的に最適ではないことがわかった。
そこで本研究では,モデル毎に構成を選択するドノハーム適応セレクタを提案し,モデルごとのオーラクルをマッチングし,最悪の場合のフロアを保証し,低コストで未知のモデルに一般化する。
関連論文リスト
- MedZERO: Self-Evolving Agents for Open-Ended Medical Reasoning Through Controlled Knowledge Accumulation [49.29414422255548]
オープンエンド医療推論のための自己進化型フレームワークであるMedZEROについて紹介する。
4Bスケールと8Bスケールのベースモデルを用いて、5つの公開医療推論ベンチマークでMedZEROを評価した。
論文 参考訳（メタデータ） (2026-10-06T13:25:55Z) - ProMediConv: Benchmarking Proactive Conversational Agents in Legal Dispute Mediation [65.39532118490511]
ProMediConvは、メディエーションをプロアクティブ、マルチステージ、パーティ対応の対話プロセスとしてモデル化する新しいベンチマークフレームワークである。
972個の実世界のケースを用いて,戦略およびBP状態の発話レベルアノテーションを用いた高忠実度調停データセットを構築した。
また、対話を通してBPシフトを捉えるための詳細な計量であるMAD(Mean Attribute difference)を提案する。
論文 参考訳（メタデータ） (2026-09-10T05:26:40Z) - How Should World Models Be Evaluated? A Decision-Making-Centric Position [5.773605711982218]
世界モデルは、現代のAIにおいて、急速に中心的な抽象化の1つになっています。
近年の研究では、映像リアリズム、知覚的類似性、指示従順、身体的妥当性、政策ランク付け、実行可能性、計画成功、下流政策改善を計測している。
本稿は、中心的な問題は利用に依存していると論じる。
論文 参考訳（メタデータ） (2026-06-13T00:21:21Z) - What Does the AI Doctor Value? Auditing Pluralism in the Clinical Ethics of Language Models [3.552218268811112]
医学は本質的に多元的であり、自律性、受益性、非効率性、正義といった原則は日常的に矛盾する。
良い臨床実践は、一つの倫理的スタンスを課すのではなく、各患者の価値観と調和してこれらの緊張をナビゲートする。
本稿では,臨床者が検証したジレンマのベンチマークと,意思決定から直接価値の優先順位を復元する帰属方法からなる,医療AIにおける価値多元性を監査するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-18T17:56:13Z) - MedArena: Comparing LLMs for Medicine-in-the-Wild Clinician Preferences [50.71326426975699]
MedArenaは医療用大規模言語モデル(LLM)のためのインタラクティブな評価プラットフォームである。
MedArenaは、2つのランダムに選択されたモデルからの応答を表示し、ユーザが好みのレスポンスを選択するように要求する。
2025年11月1日までに12台のLLMで収集された1571の選好のうち、ジェミニ2.0フラッシュシンキング、ジェミニ2.5プロ、GPT-4oがブラッドリー・テリーのレーティングで上位3モデルとなった。
論文 参考訳（メタデータ） (2026-03-13T22:30:26Z) - When Metrics Disagree: Automatic Similarity vs. LLM-as-a-Judge for Clinical Dialogue Evaluation [18.338933046286257]
大きな言語モデル(LLM)は、医学的なクエリを含む様々な問題に対処するために、ますます採用されている。
LLMは医学的文脈では性能が悪く、ユーザにとって有害な誤認につながる可能性がある。
本稿では,実際の患者-医師間相互作用の転写を用いたトランスフォーマーベースデコーダモデルであるLlama 2 7Bの微調整に焦点を当てた。
論文 参考訳（メタデータ） (2026-02-27T21:09:43Z) - A Human-Centric Pipeline for Aligning Large Language Models with Chinese Medical Ethics [21.294774397877852]
MedESは、260の権威ある中国の医療、倫理、法的な情報源から特別に構築されたシナリオ中心のベンチマークである。
モデルアライメントを容易にするために,専用自動評価器を活用したループ内保護フレームワークを提案する。
我々の研究は、中国の医療分野におけるLLMと医療倫理を整合させる実践的で適応可能な枠組みを提供する。
論文 参考訳（メタデータ） (2026-01-12T19:40:13Z) - MedAlign: A Synergistic Framework of Multimodal Preference Optimization and Federated Meta-Cognitive Reasoning [52.064286116035134]
我々はMed-VQA(Med-VQA)のための視覚的LVLM応答を保証するフレームワークであるMedAlignを開発した。
まず、優先学習を視覚的コンテキストに合わせるために、マルチモーダルな直接選好最適化(mDPO)の目的を提案する。
次に、画像とテキストの類似性を生かし、クエリを専門的でコンテキスト拡張されたLVLMにルーティングする検索型混合処理(RA-MoE)アーキテクチャを設計する。
論文 参考訳（メタデータ） (2025-10-24T02:11:05Z) - Towards Assessing Medical Ethics from Knowledge to Practice [30.668836248264757]
我々は3,648の質問を伴う総合的なベンチマークであるPrinciplismQAを紹介する。
これには、権威ある教科書から収集された複数の選択の質問や、権威ある医療倫理学のケーススタディ文学から得られたオープンエンドの質問が含まれる。
実験の結果,モデルの倫理的知識と実践的応用との間に大きなギャップがあることが判明した。
論文 参考訳（メタデータ） (2025-08-07T08:10:14Z) - A Spectrum Evaluation Benchmark for Medical Multi-Modal Large Language Models [57.88111980149541]
Asclepiusは、Med-MLLMの異なる医学的特長と診断能力で評価する、新しいMed-MLLMベンチマークである。
3つの基本原則に基づいて、アスクレピウスは15の医療専門分野を包括的に評価する。
また、6つのMed-MLLMの詳細な分析を行い、3人の専門家と比較した。
論文 参考訳（メタデータ） (2024-02-17T08:04:23Z) - Scruples: A Corpus of Community Ethical Judgments on 32,000 Real-Life
Anecdotes [72.64975113835018]
記述倫理に動機づけられた我々は、機械倫理に対する新しいデータ駆動アプローチを調査する。
Scruplesは、625,000の倫理的判断を持つ最初の大規模データセットで、32,000の実生活の逸話について紹介する。
我々のデータセットは最先端のニューラルネットワークモデルに対して大きな課題を示し、改善の余地を残しています。
論文 参考訳（メタデータ） (2020-08-20T17:34:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。