論文の概要: Measuring Cultural Alignment Beyond the Average: A Framework for Evaluating Maternal-Health LLM Interactions in Indian Contexts
- arxiv url: http://arxiv.org/abs/2610.11586v1
- Date: Thu, 08 Oct 2026 09:35:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-10 02:36:53.932435
- Title: Measuring Cultural Alignment Beyond the Average: A Framework for Evaluating Maternal-Health LLM Interactions in Indian Contexts
- Title（参考訳）: 平均を超える文化的アライメントの測定:インドにおける母と健康のLLM相互作用の評価のための枠組み
- Abstract要約: MH-INDIC(MH-INDIC)は、母子間相互作用を文化的に基盤とした評価フレームワークである。
都市部および半都市北インドの妊婦102名を対象に26項目の調査を行い,10例のLSMを評価した。
- 参考スコア（独自算出の注目度）: 4.368088795503759
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Existing evaluation methods for healthcare LLMs primarily assess factual correctness,safety, and fluency, while providing limited insight into whether generated interactions reflect culturally situated healthcare reasoning. This limitation is particularly important in maternal health, where care decisions are shaped by social and relational norms. We introduce MH-INDIC, a culturally grounded evaluation framework for maternal-health interactions in urban and semi-urban North Indian contexts that operationalises cultural behaviour through ten dimensions of maternal-health reasoning. Using a 26-item survey administered to 102 pregnant and postpartum women from urban and semi-urban North India, we evaluate ten LLMs. We distinguish population level cultural alignment from profile-level behavioural variation. Although several models approximate the human population-level distribution, all evaluated systems exhibit substantially lower variation across demographic and household profiles than the human cohort, revealing a gap between aggregate alignment and profile-conditioned sensitivity. As a downstream application of MH-INDIC, we use the strongest-aligned proprietary and open-source models to generate culturally conditioned maternal-health dialogues under zero-shot, self-conditioned, and human-grounded prompting. Human-grounded conditioning produces stronger profile alignment and dialogue quality ratings, suggesting that measured cultural profiles can improve the cultural grounding of generated interactions
- Abstract（参考訳）: 既存の医療 LLM の評価手法は, 事実的正当性, 安全度, 流布度を主に評価し, 生成した相互作用が文化的に位置する医療推論を反映するかどうかを限定的に考察した。
この制限は母親の健康において特に重要であり、ケアの決定は社会的およびリレーショナルな規範によって形成されている。
MH-INDIC(MH-INDIC)は、都市部と半都市ノース・インディアンの文脈における母性保健行為の評価フレームワークであり、母性保健推論の10次元を通して文化的行動を操作する。
都市部および半都市北インドの妊婦102名を対象に26項目の調査を行い,10例のLSMを評価した。
人口レベルの文化的アライメントとプロファイルレベルの行動変化を区別する。
人口レベルの分布を近似するモデルがいくつかあるが、全ての評価システムは人口統計学と世帯統計学の差異をヒトのコホートよりかなり低く示し、集合的アライメントとプロファイル条件の感度の差を明らかにしている。
MH-INDICのダウンストリーム応用として、最強の独自およびオープンソースモデルを用いて、ゼロショット、自己条件、人為的プロンプトの下で文化的に条件付けられた母体保健対話を生成する。
ヒューマン・グラウンドド・コンディショニングは、より強力なプロファイルアライメントと対話品質評価を生み出し、測定された文化的プロファイルが生成する相互作用の文化的基盤を改善することを示唆している。
関連論文リスト
- CuBEs: Culturally-Situated Behavioral Evaluations and the Limitations of Culture-Blind LLM Judges [0.0]
文化的行動評価(CuBE)を提案する。
私たちは12の文化にまたがる行動理解の微妙な次元をキャプチャーする人間ラベル付きデータセットを構築します。
評価シナリオにおける文化的位置性の導入は,行動の有無に大きな変化をもたらすことが判明した。
論文 参考訳（メタデータ） (2026-10-02T00:26:55Z) - Whose Norms? Disentangling Cultural and Personal Alignment in Large Language Models [66.34115263472931]
大規模言語モデルは、文化的規範と個人の嗜好のバランスを必要とする社会的意思決定の状況にますます使われてきている。
PACT(Personal-Preference and Cultural-Norm Trade-off framework)を導入し,モデルが文化的規範に従うか,あるいは個人の嗜好を許容するかを評価する。
PACTに関する5つの国による研究は、人間の文化のフォローは主にシナリオ国によって行われており、参加者が自身の文化的文脈を判断する際の合意は最低であることを示している。
論文 参考訳（メタデータ） (2026-06-05T22:20:30Z) - CultureForest: Understanding and Evaluating Cultural Norm Grounded Reasoning in LLMs [59.09971492475217]
TextitCultural Norm Grounded ReasoningのベンチマークであるCultureForestを紹介する。
CultureForestは8つのドメインで5,378のサンプルと53の国/リージョンで構成されている。
大規模な実験では、トップ層モデルでさえ、オープンな設定で大幅に劣化していることが明らかになった。
論文 参考訳（メタデータ） (2026-06-01T08:25:12Z) - Cultural Authenticity: Comparing LLM Cultural Representations to Native Human Expectations [7.285754268528876]
我々は,大規模言語モデル世代と局所的な期待値との整合性を評価するための,人間中心のフレームワークを提案する。
ヒト由来の文化遺産とモデル由来の文化表現との整合性について検討した結果,西洋中心のキャリブレーションが明らかとなった。
論文 参考訳（メタデータ） (2026-04-03T22:39:15Z) - Beyond the Rubric: Cultural Misalignment in LLM Benchmarks for Sexual and Reproductive Health [4.811306010183038]
大型言語モデル (LLMs) は、グローバル・サウスの健康情報へのアクセスを拡大する可能性があると位置づけられている。
本研究は,インドにおける未治療地域社会を対象とした,性および生殖の健康(SRH)のためのチャットボットを用いた予備的なベンチマークエクササイズから得られた知見を提示する。
データセットから637のSRHクエリを抽出し、330のシングルターン会話で評価した。
本研究は、異なる文化的・医療的文脈で構築されたシステムの有効性を捉える上で、現在のベンチマークの限界を示すものである。
論文 参考訳（メタデータ） (2025-11-12T16:01:27Z) - Effectiveness of Large Language Models in Simulating Regional Psychological Structures: An Empirical Examination of Personality and Subjective Well-being [0.0]
本研究では, LLMが人口統計情報に基づいて, 文化的根拠を持つ心理的パターンをシミュレートできるかどうかを検討する。
模擬参加者は、外転や開放性が低下し、同意性や神経症が向上し、常に幸福度が低下した。
論文 参考訳（メタデータ） (2025-09-29T09:12:18Z) - Cross-Cultural Transfer of Commonsense Reasoning in LLMs: Evidence from the Arab World [68.19795061447044]
本稿では,アラブ世界におけるコモンセンス推論の異文化間移動について検討する。
アラブ13カ国を対象とした文化基盤のコモンセンス推論データセットを用いて,軽量アライメント手法の評価を行った。
以上の結果から,他国の文化特有例は12例に過ぎず,他国の文化特有例を平均10%向上させることができた。
論文 参考訳（メタデータ） (2025-09-23T17:24:14Z) - From Word to World: Evaluate and Mitigate Culture Bias in LLMs via Word Association Test [50.51344198689069]
我々は,人中心語関連テスト(WAT)を拡張し,異文化間認知による大規模言語モデルのアライメントを評価する。
文化選好に対処するために,モデルの内部表現空間に直接,文化固有の意味的関連性を直接埋め込む革新的なアプローチであるCultureSteerを提案する。
論文 参考訳（メタデータ） (2025-05-24T07:05:10Z) - Cultural Learning-Based Culture Adaptation of Language Models [70.1063219524999]
大きな言語モデル(LLM)をさまざまな文化的価値に適用することは難しい課題です。
文化的学習に基づくLLMと文化的価値との整合性を高めるための新しい枠組みであるCLCAについて述べる。
論文 参考訳（メタデータ） (2025-04-03T18:16:26Z) - Randomness, Not Representation: The Unreliability of Evaluating Cultural Alignment in LLMs [7.802103248428407]
我々は,現在の調査に基づく評価手法の背景にある3つの仮定を特定し,検証する。
提示形式間の不安定性,評価された文化次元と保持された文化的次元間の不整合性,即時操舵時の不整合性などについて検討した。
論文 参考訳（メタデータ） (2025-03-11T17:59:53Z) - Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance [73.19687314438133]
インタラクションの文脈的特徴が依存に与える影響について検討する。
文脈特性が人間の信頼行動に大きく影響していることが判明した。
これらの結果から,キャリブレーションと言語品質だけでは人間とLMの相互作用のリスクを評価するには不十分であることが示唆された。
論文 参考訳（メタデータ） (2024-07-10T18:00:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。