論文の概要: Splits! A Flexible Dataset for Evaluating a Model's Demographic Social Inference

• arxiv url: http://arxiv.org/abs/2504.04640v1
• Date: Sun, 06 Apr 2025 23:17:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:15:01.198880
• Title: Splits! A Flexible Dataset for Evaluating a Model's Demographic Social Inference
• Title（参考訳）: Splits! モデルの復号的社会的推論を評価するフレキシブルデータセット
• Authors: Eylon Caplan, Tania Chakraborty, Dan Goldwasser,
• Abstract要約: 我々は、集団理論と呼ばれる新しいタスクを定義し、システムでは、人口集団間で表現を区別する理論を書かなければならない。 我々はSplits!の生のコーパスと評価スクリプトをリリースし、研究者がどのようにメソッドを推論するかを判断するのに役立つ。
• 参考スコア（独自算出の注目度）: 17.722429998521168
• License:
• Abstract: Understanding how people of various demographics think, feel, and express themselves (collectively called group expression) is essential for social science and underlies the assessment of bias in Large Language Models (LLMs). While LLMs can effectively summarize group expression when provided with empirical examples, coming up with generalizable theories of how a group's expression manifests in real-world text is challenging. In this paper, we define a new task called Group Theorization, in which a system must write theories that differentiate expression across demographic groups. We make available a large dataset on this task, Splits!, constructed by splitting Reddit posts by neutral topics (e.g. sports, cooking, and movies) and by demographics (e.g. occupation, religion, and race). Finally, we suggest a simple evaluation framework for assessing how effectively a method can generate 'better' theories about group expression, backed by human validation. We publicly release the raw corpora and evaluation scripts for Splits! to help researchers assess how methods infer--and potentially misrepresent--group differences in expression. We make Splits! and our evaluation module available at https://github.com/eyloncaplan/splits.
• Abstract（参考訳）: 様々な人口層の人々がどのように考え、感じ、表現するかを理解することは、社会科学にとって不可欠であり、Large Language Models (LLMs) における偏見の評価の根底にある。 LLMは、経験的な例が与えられた場合、グループ表現を効果的に要約することができるが、実世界のテキストにおけるグループの表現がどのように現れるかについての一般化可能な理論を思いつくことは困難である。 本稿では,集団理論と呼ばれる新たな課題を定義し,人口集団間で表現を区別する理論を体系的に記述しなければならない。 Redditの投稿を中立的なトピック(スポーツ、料理、映画など)と人口統計(職業、宗教、人種など)で分割して構築しました。 最後に,人間の検証を背景としたグループ表現に関する「ベタ」理論を効果的に生成できるかを評価するための簡易な評価フレームワークを提案する。 Splits!の生コーパスと評価スクリプトを公開し、研究者がどのようにメソッドを推論するかを判断するのに役立つ。 Splits!と評価モジュールはhttps://github.com/eyloncaplan/splits.comで公開しています。

関連論文リスト

• Hierarchical Indexing for Retrieval-Augmented Opinion Summarization [60.5923941324953]
  本稿では,抽出アプローチの帰属性と拡張性と,大規模言語モデル(LLM)の一貫性と拡散性を組み合わせた,教師なし抽象的意見要約手法を提案する。 我々の方法であるHIROは、意味的に整理された離散的な階層を通して文を経路にマッピングするインデックス構造を学習する。 推測時にインデックスを投入し、入力レビューから人気意見を含む文群を識別し、検索する。
  論文  参考訳（メタデータ） (2024-03-01T10:38:07Z)
• A structured regression approach for evaluating model performance across intersectional subgroups [53.91682617836498]
  分散評価(disaggregated evaluation)は、AIフェアネスアセスメントにおける中心的なタスクであり、AIシステムのさまざまなサブグループ間でのパフォーマンスを測定することを目的としている。 非常に小さなサブグループであっても,信頼性の高いシステム性能推定値が得られることを示す。
  論文  参考訳（メタデータ） (2024-01-26T14:21:45Z)
• Fair Abstractive Summarization of Diverse Perspectives [103.08300574459783]
  公平な要約は、特定のグループを過小評価することなく、多様な視点を包括的にカバーしなければなりません。 はじめに、抽象的な要約における公正性は、いかなる集団の視点にも過小評価されないものとして、正式に定義する。 本研究では,対象視点と対象視点の差を測定することで,基準のない4つの自動計測手法を提案する。
  論文  参考訳（メタデータ） (2023-11-14T03:38:55Z)
• Providing Insights for Open-Response Surveys via End-to-End Context-Aware Clustering [2.6094411360258185]
  本研究では,オープンレスポンスサーベイデータ中の組込み意味パターンを抽出し,集約し,省略する,エンド・ツー・エンドのコンテキスト認識フレームワークを提案する。 我々のフレームワークは、テキストデータを意味ベクトルにエンコードするために、事前訓練された自然言語モデルに依存している。 本フレームワークは,調査データから最も洞察に富んだ情報を抽出するプロセスを自動化することで,大規模化のコストを削減する。
  論文  参考訳（メタデータ） (2022-03-02T18:24:10Z)
• Fair Group-Shared Representations with Normalizing Flows [68.29997072804537]
  本研究では,異なるグループに属する個人を1つのグループにマッピングできる公正表現学習アルゴリズムを開発した。 提案手法は,他の公正表現学習アルゴリズムと競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T10:49:49Z)
• Towards Improved and Interpretable Deep Metric Learning via Attentive Grouping [103.71992720794421]
  グループ化は、様々な特徴の計算にディープ・メトリック・ラーニングでよく用いられてきた。 本稿では,任意のメトリクス学習フレームワークと柔軟に統合可能な,改良された解釈可能なグループ化手法を提案する。
  論文  参考訳（メタデータ） (2020-11-17T19:08:24Z)
• Contrastive Examples for Addressing the Tyranny of the Majority [83.93825214500131]
  我々は,グループメンバーシップを介在する,オリジナルのデータセットと新たなデータポイントからなるバランスの取れたトレーニングデータセットを作成することを提案する。 コントラッシブ・サンプル(英語版)と呼ばれるこれらのデータポイントを学習するための強力なツールとして、現在の生成的敵ネットワークが重要であることを示す。
  論文  参考訳（メタデータ） (2020-04-14T14:06:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。