論文の概要: BenSyc: Benchmarking Conversational Sycophancy and Human Alignment in LLMs for Bengali Contexts
- arxiv url: http://arxiv.org/abs/2606.10061v1
- Date: Mon, 08 Jun 2026 18:37:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-10 15:40:58.132261
- Title: BenSyc: Benchmarking Conversational Sycophancy and Human Alignment in LLMs for Bengali Contexts
- Title（参考訳）: BenSyc: ベンガルの文脈におけるLLMにおける会話の同期と人間のアライメントのベンチマーク
- Authors: Kazi Noshin, Sajib Acharjee Dip, Ranat Das Prangon, Fardin Hassan Tamim, Syed Ishtiaque Ahmed, Liqing Zhang, Sharifa Sultana,
- Abstract要約: 既存の薬学研究は、主に事実合意と指示追従の設定に焦点を当てている。
BenSycは、ベンガルの社会的文脈における会話の梅毒の研究のための最初のベンチマークである。
- 参考スコア（独自算出の注目度）: 18.592702368344344
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) increasingly participate in emotionally sensitive social conversations, where responses may shift from balanced support toward excessive validation or escalatory alignment. Existing sycophancy research primarily focuses on factual agreement and instruction-following settings, leaving culturally grounded conversational sycophancy underexplored. We introduce BenSyc, the first benchmark for studying conversational sycophancy in Bengali social contexts. Starting from 11,840 Reddit posts and 170k comments collected from communities across Bangladesh and West Bengal, we construct a human-validated benchmark with binary labels and a fine-grained five-level taxonomy spanning Invalidation, Neutral, Support, Validation, and Escalation. We evaluate more than 15 open and proprietary LLMs on conversational alignment classification and response generation tasks. Results show that distinguishing empathetic support from reinforcement-oriented validation remains challenging even for frontier instruction-tuned models: the best system achieves only 61.8 Macro-F1 on binary detection and 61.7 Macro-F1 on five-class classification. In generation settings, several models frequently produce strongly validating or escalatory responses in emotionally charged situations. Our findings highlight substantial variation across model families and conversational behaviors, underscoring the importance of culturally grounded multilingual benchmarks for evaluating socially aligned conversational AI systems.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、感情に敏感な社会的会話にますます参加し、反応はバランスのとれたサポートから過剰な検証やエスカレーションアライメントへとシフトする可能性がある。
既存の薬学研究は、主に事実合意と指示追従の設定に焦点を合わせており、文化的に根ざした会話の薬学研究は過小評価されている。
BenSycは、ベンガルの社会的文脈における会話の梅毒の研究のための最初のベンチマークである。
11,840件のReddit投稿とバングラデシュと西ベンガルのコミュニティから集められた170万のコメントから始まり、バイナリラベルと、Invalidation、Neutral、Support、Validation、Escalationにまたがる詳細な5段階の分類を含む、人間公認のベンチマークを構築しました。
対話型アライメント分類と応答生成タスクにおいて、15以上のオープンかつプロプライエタリなLCMを評価した。
その結果、最良システムはバイナリ検出で61.8 Macro-F1、5クラス分類で61.7 Macro-F1しか達成していない。
世代設定では、感情的に荷電した状況において、複数のモデルが強い妥当性やエスカレーションの反応をしばしば生成する。
我々の研究は、社会的に整合した対話型AIシステムを評価する上で、文化的基盤を持つ多言語ベンチマークの重要性を浮き彫りにして、モデルファミリーと会話行動のかなりのバリエーションを浮き彫りにした。
関連論文リスト
- Learning in Blocks: A Multi Agent Debate Assisted Personalized Adaptive Learning Framework for Language Learning [0.0]
本稿では,CEFR対応のルーブリックを用いて,会話能力の実証を行うフレームワークであるLearning in Blocksを紹介する。
ESLの専門家によるCEFR A2会話のスコアリングとレコメンデーションの4つの手法をベンチマークした。
180 CEFR A2の学習者による8週間の研究では、ルーブリックのスコアリングとレコメンデーションをスペースドレビューとマスタリーベースの進捗と組み合わせることで、フィードバック単独よりも優れた学習結果が得られることが示されている。
論文 参考訳（メタデータ） (2026-03-29T09:38:41Z) - BANGLASOCIALBENCH: A Benchmark for Evaluating Sociopragmatic and Cultural Alignment of LLMs in Bangladeshi Social Interaction [0.0]
BANGLASOCIALBENCHは、コンテキスト依存言語を用いてバングラにおける社会語能力を評価するために設計された最初のベンチマークである。
ベンチマークは、Bangla Address Terms、Kinship Reasoning、Social Customsの3つの領域にまたがる。
以上の結果から,社会プラグマティックな失敗はしばしば構造化され,非ランダムであり,現在のLLMがいかに文化的に適切な言語使用を推測し,適用するかに限界が持続していることが明らかとなった。
論文 参考訳（メタデータ） (2026-03-16T21:58:32Z) - Encyclo-K: Evaluating LLMs with Dynamically Composed Knowledge Statements [78.87065404966002]
既存のベンチマークは、主に質問レベルで質問をキュレートする。
ベンチマーク構築をゼロから再考するステートメントベースのベンチマークであるEncyclo-Kを提案する。
論文 参考訳（メタデータ） (2025-12-31T13:55:54Z) - One Battle After Another: Probing LLMs' Limits on Multi-Turn Instruction Following with a Benchmark Evolving Framework [51.50565654314582]
大規模言語モデルは、複数のトピックにまたがる対話を通して、ユーザの指示に従うことができる。
既存のベンチマークは、しばしば一定回数のターンに制限されるため、飽和の影響を受けにくく、ユーザのインタラクティブなエクスペリエンスを考慮できない。
マルチターン命令追従能力を評価するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-05T14:39:59Z) - BengaliMoralBench: A Benchmark for Auditing Moral Reasoning in Large Language Models within Bengali Language and Culture [5.215285027585101]
ベンガル語は2億8500万人以上が話しており、世界第6位である。
既存の倫理ベンチマークは、主に英語中心で、西洋のフレームワークによって形作られています。
我々はベンガル語と社会文化の文脈に関する最初の大規模倫理ベンチマークであるBengaliMoralBenchを紹介する。
論文 参考訳（メタデータ） (2025-11-05T04:55:35Z) - From Polyester Girlfriends to Blind Mice: Creating the First Pragmatics Understanding Benchmarks for Slovene [0.12277343096128711]
我々はSloPragEvalとSloPragMegaを紹介した。
本稿では,翻訳の難しさについて論じ,人間のベースラインを確立するためのキャンペーンについて述べるとともに,パイロット評価をLCMで報告する。
以上の結果から,現在のモデルではニュアンス言語理解が大幅に改善されているものの,非文節発話におけるインプリート話者の意味を推測できない可能性が示唆された。
論文 参考訳（メタデータ） (2025-10-24T15:43:42Z) - ALIGN: Word Association Learning for Cross-Cultural Generalization in Large Language Models [0.8999666725996975]
文化的な知識が限られているため、文化をモデル化し、調整することは依然として課題である。
本稿では,母語話者の自由な単語連想規範をパラメータ効率で微調整する手法を提案する。
私たちの研究は、数百万の文化に根ざした協会が、コストのかかる再トレーニングなしに価値アライメントを組み込むことができることを示している。
論文 参考訳（メタデータ） (2025-08-19T00:55:20Z) - VisuLogic: A Benchmark for Evaluating Visual Reasoning in Multi-modal Large Language Models [121.03333569013148]
VisuLogicは、6つのカテゴリにまたがる1,000の人間認証された問題のベンチマークです。
これらの質問は、複数の視点からMLLMの視覚的推論能力を評価するために評価することができる。
ほとんどのモデルは精度が30%以下で、25%のランダムベースラインよりわずかに高く、人間によって達成された51.4%よりはるかに低い。
論文 参考訳（メタデータ） (2025-04-21T17:59:53Z) - Benchmarking Gaslighting Negation Attacks Against Multimodal Large Language Models [45.63440666848143]
MLLM(Multimodal Large Language Models)は、様々なモダリティの統合において顕著な進歩を見せている。
彼らの成功にもかかわらず、MLLMは会話の敵対的な入力に弱いままである。
我々は,最初に正しい回答を提供するモデルが,ユーザが提供する否定によってそのアウトプットを逆転するように説得される現象であるガスライティング否定攻撃について検討する。
論文 参考訳（メタデータ） (2025-01-31T10:37:48Z) - SADAS: A Dialogue Assistant System Towards Remediating Norm Violations
in Bilingual Socio-Cultural Conversations [56.31816995795216]
SADAS(Socially-Aware Dialogue Assistant System)は、会話が敬意と理解で広がることを保証するためのシステムである。
本システムの新しいアーキテクチャは,(1)対話に存在する規範のカテゴリを特定すること,(2)潜在的な規範違反を検出すること,(3)違反の深刻さを評価すること,(4)違反の是正を目的とした対策を実施すること,を含む。
論文 参考訳（メタデータ） (2024-01-29T08:54:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。