論文の概要: CommunityBench: Benchmarking Community-Level Alignment across Diverse Groups and Tasks

• arxiv url: http://arxiv.org/abs/2601.13669v1
• Date: Tue, 20 Jan 2026 07:10:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:23.196915
• Title: CommunityBench: Benchmarking Community-Level Alignment across Diverse Groups and Tasks
• Title（参考訳）: CommunityBench: さまざまなグループとタスクにわたるコミュニティレベルのアライメントのベンチマーク
• Authors: Jiayu Lin, Zhongyu Wei,
• Abstract要約: コミュニティレベルのアライメント評価のための,最初の大規模ベンチマークであるCommunityBenchを紹介する。 コミュニティベンチにおける様々な基礎モデルの包括的評価を行い、現在のLCMはコミュニティ固有の嗜好をモデル化する能力に限られていることを明らかにする。
• 参考スコア（独自算出の注目度）: 32.59328811602595
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) alignment ensures model behaviors reflect human value. Existing alignment strategies primarily follow two paths: one assumes a universal value set for a unified goal (i.e., one-size-fits-all), while the other treats every individual as unique to customize models (i.e., individual-level). However, assuming a monolithic value space marginalizes minority norms, while tailoring individual models is prohibitively expensive. Recognizing that human society is organized into social clusters with high intra-group value alignment, we propose community-level alignment as a "middle ground". Practically, we introduce CommunityBench, the first large-scale benchmark for community-level alignment evaluation, featuring four tasks grounded in Common Identity and Common Bond theory. With CommunityBench, we conduct a comprehensive evaluation of various foundation models on CommunityBench, revealing that current LLMs exhibit limited capacity to model community-specific preferences. Furthermore, we investigate the potential of community-level alignment in facilitating individual modeling, providing a promising direction for scalable and pluralistic alignment.
• Abstract（参考訳）: 大規模言語モデル(LLM)アライメントは、モデルの振る舞いが人間の価値を反映することを保証する。 既存のアライメント戦略は主に2つの経路に従う: 1つは統一されたゴール(すなわち1サイズフィットオール)のための普遍的な値セットを仮定し、もう1つは全ての個人をモデル(すなわち個々のレベル)をカスタマイズするユニークなものとして扱う。 しかし、モノリシックな価値空間を仮定すると、マイノリティノルムは弱まり、個々のモデルの調整は違法に高価である。 人的社会が集団内価値アライメントの高い社会クラスタに組織化されていることを認識し,コミュニティレベルのアライメントを「中場」として提案する。 コミュニティレベルのアライメント評価のための最初の大規模ベンチマークであるCommunityBenchを紹介し,Common IdentityとCommon Bond理論に基づく4つのタスクを特徴とする。 コミュニティベンチでは,コミュニティベンチの様々な基礎モデルを包括的に評価し,現在のLCMはコミュニティ固有の嗜好をモデル化する能力に限られていることを明らかにする。 さらに,コミュニティレベルのアライメントが個々のモデリングを促進する可能性について検討し,スケーラブルで多面的なアライメントを実現する上で有望な方向を提供する。

関連論文リスト

• A Systematic Evaluation of Preference Aggregation in Federated RLHF for Pluralistic Alignment of LLMs [2.840505903487544]
  本稿では,大規模言語モデル(LLM)を,連合学習環境における多種多様な人間の嗜好と整合させるという課題に対処する。 本研究では,人間の嗜好に異なるアグリゲーション戦略を用いる場合,アライメント品質と公正性のトレードオフを評価する総合評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-09T16:39:32Z)
• MF-LLM: Simulating Population Decision Dynamics via a Mean-Field Large Language Model Framework [53.82097200295448]
  MF-LLM(Mean-Field LLM)は,まず平均場理論を社会シミュレーションに取り入れる。 MF-LLMは反復過程を通じて個人と人口間の双方向相互作用をモデル化する。 IB-Tuneは、Information Bottleneckの原理にインスパイアされた、新しい微調整手法である。
  論文  参考訳（メタデータ） (2025-04-30T12:41:51Z)
• COMMUNITY-CROSS-INSTRUCT: Unsupervised Instruction Generation for Aligning Large Language Models to Online Communities [5.0261645603931475]
  コミュニティ・クロス・インストラクション(Community-Cross-Instruct)は,大規模言語モデルをオンラインコミュニティに整合させ,信念を導き出す,教師なしのフレームワークである。 Reddit上で政治・食生活のコミュニティを正確に表現する手法の有用性を実証する。
  論文  参考訳（メタデータ） (2024-06-17T20:20:47Z)
• Universal Semi-supervised Model Adaptation via Collaborative Consistency Training [92.52892510093037]
  我々は、Universal Semi-supervised Model Adaptation (USMA)と呼ばれる現実的で挑戦的なドメイン適応問題を導入する。 本稿では,2つのモデル間の予測整合性を規則化する協調的整合性トレーニングフレームワークを提案する。 実験により,いくつかのベンチマークデータセットにおける本手法の有効性が示された。
  論文  参考訳（メタデータ） (2023-07-07T08:19:40Z)
• Heterogeneous Value Alignment Evaluation for Large Language Models [91.96728871418]
  大規模言語モデル(LLM)は、その価値を人間のものと整合させることを重要視している。 本研究では,LLMと不均一値の整合性を評価するため,不均一値アライメント評価(HVAE)システムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T02:34:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。