論文の概要: A Human-Centred Approach to Benchmarking LLMs for Parenting Advice

• arxiv url: http://arxiv.org/abs/2608.14622v1
• Date: Tue, 14 Jul 2026 09:27:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-28 05:09:55.239718
• Title: A Human-Centred Approach to Benchmarking LLMs for Parenting Advice
• Title（参考訳）: 子育て支援のためのLLMのベンチマークのための人間中心的アプローチ
• Abstract要約: 本稿では,英語と中国語の育児シナリオを対象とする15の大規模言語モデル (LLM) について検討する。 育児などの領域におけるLCM生成アドバイスの評価において,評価出力の監査性の重要性と課題を強調した。
• 参考スコア（独自算出の注目度）: 6.29747931519183
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: People are increasingly using large language models (LLMs) to seek advice, including for parenting. Parenting is a critical and socially sensitive domain. Thus, evaluating advice provided by LLMs requires indicators beyond aggregated information quality benchmarks to consider relational and behavioural elements of the responses. With a multi-dimensional rubric created by parenting experts, this paper evaluates 15 LLMs across 100 parenting scenarios in 2 languages (English and Chinese), using an LLM-as-a-judge method. Results show that aggregate scores can hide rubric item-specific weaknesses, models implicitly encourage different parenting styles, and language influences responses. We highlight the importance of evaluation output auditability and challenges involved in evaluating LLM-generated advice in domains like parenting. Our findings provide important insights for selecting LLMs for direct user engagement and the development of user-facing parenting advice applications.
• Abstract（参考訳）: 人々は、育児を含むアドバイスを求めるために、大きな言語モデル(LLM)をますます利用しています。 育児は批判的で社会的に敏感な分野である。 したがって、LCMsが提供するアドバイスを評価するには、応答のリレーショナルおよび振る舞い要素を検討するために、集約された情報品質ベンチマーク以上の指標が必要である。 LLM-as-a-judge法を用いて,子育ての専門家が作成した多次元ルーブリックを用いて,100の子作りシナリオを2言語(英語と中国語)で15の子作りシナリオで評価する。 その結果、集約スコアは、ルーリックなアイテム固有の弱点を隠蔽し、モデルが暗黙的に異なる育児スタイルを奨励し、言語が反応に影響を与えることが示された。 育児などの領域におけるLCM生成アドバイスの評価において,評価出力の監査性の重要性と課題を強調した。 本研究は, 直接ユーザエンゲージメントのためのLCMの選択と, ユーザ対応型育児アドバイスアプリケーションの開発に関する重要な知見を提供する。

関連論文リスト

• On Evaluating LLM Alignment by Evaluating LLMs as Judges [68.15541137648721]
  大規模言語モデル(LLM)のアライメントを評価するには、助け、誠実、安全、正確に人間の指示に従う必要がある。 本研究では,LLMの生成能力と評価能力の関係について検討した。 モデル出力を直接評価することなくアライメントを評価するベンチマークを提案する。
  論文  参考訳（メタデータ） (2025-11-25T18:33:24Z)
• Benchmarking LLMs for Mimicking Child-Caregiver Language in Interaction [6.152274140650429]
  LLMは人間のような対話を生成できるが、初期の子どもと大人の交流をシミュレートする能力はほとんど解明されていない。 現状のLSMは、単語と発話レベルにおいて、子どもと介護者の対話を近似することができるが、子どもと介護者の分散パターンの再現に苦慮し、アライメントを誇張し、人間によって示される多様性のレベルに到達できなかった。
  論文  参考訳（メタデータ） (2024-12-12T14:43:03Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Can Large Language Models be Trusted for Evaluation? Scalable Meta-Evaluation of LLMs as Evaluators via Agent Debate [74.06294042304415]
  エージェント・ディベート支援型メタ評価フレームワークであるScaleEvalを提案する。 フレームワークのコードをGitHubで公開しています。
  論文  参考訳（メタデータ） (2024-01-30T07:03:32Z)
• Exploring the Reliability of Large Language Models as Customized Evaluators for Diverse NLP Tasks [65.69651759036535]
  大規模言語モデル(LLM)が人間にとって信頼できる代替手段であるかどうかを解析する。 本稿では、従来のタスク(例えば、ストーリー生成)とアライメントタスク(例えば、数学推論)の両方について検討する。 LLM評価器は不要な基準を生成したり、重要な基準を省略することができる。
  論文  参考訳（メタデータ） (2023-10-30T17:04:35Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• CARE-MI: Chinese Benchmark for Misinformation Evaluation in Maternity and Infant Care [14.326936563564171]
  大規模言語モデル(LLM)における誤情報評価のためのベンチマークCARE-MIを提案する。 提案するベンチマークは,LLMの広範利用と,これらのモデルが生成した誤情報を評価するためのデータセットの欠如とのギャップを埋めるものである。 ベンチマークの結果,母子関係や乳幼児ケアの分野では,現在の中国のLSMは完璧とは程遠いことが判明した。
  論文  参考訳（メタデータ） (2023-07-04T03:34:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。