論文の概要: A Battery for AI Propensity Measurement: Rubrics, Synthetic Item Banks, and Annotations

• arxiv url: http://arxiv.org/abs/2610.34614v1
• Date: Sun, 25 Oct 2026 22:22:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 22:27:13.647498
• Title: A Battery for AI Propensity Measurement: Rubrics, Synthetic Item Banks, and Annotations
• Title（参考訳）: AIプロパシティ測定のためのバッテリ:ルーブ、合成アイテムバンク、アノテーション
• Abstract要約: 私たちは、専門家が書いたルーリック、合成データセット、需要間隔を備えた、AI研究のための28のレプリシティのバッテリーをリリースします。 我々は,AIシステムや人間の行動に影響を及ぼす可能性のある,多種多様な汎用性を選択した。
• 参考スコア（独自算出の注目度）: 43.18676649035919
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We release a battery of 28 propensities for AI research, with expert-written rubrics, synthetic datasets, and annotated demand intervals, built with the method of Romero-Alvarado et al. (2026). We selected a wide collection of generic propensities that may influence the behavior of AI systems and humans. They are inspired by psychometric, psychological, and behavioral research, so that experimental results can be understood in the context of familiar constructs previously used also for human behavior research. The rubrics are useful for annotating existing benchmarks whose items may be relevant or not for one or more propensities. For easier profiling, however, the synthetic datasets are defined in such a way that they should be sensitive to one propensity only, allowing for a quick prototyping of propensity profiles using the battery of datasets. We also outline directions for future propensity research.
• Abstract（参考訳）: ロメロ・アルバラードら(2026年)の手法で構築された、専門家による筆跡、合成データセット、注釈付き要求間隔を備えた、AI研究のための28のレプリシティのバッテリーをリリースする。 我々は,AIシステムや人間の行動に影響を及ぼす可能性のある,多種多様な汎用性を選択した。 心理学的、心理学的、行動的な研究にインスピレーションを受けており、実験結果は人間の行動研究にも使われてきた馴染みのある構成概念の文脈で理解することができる。 ルーブリックは、1つ以上の適合性に関連があるかどうかに関わらず、既存のベンチマークに注釈を付けるのに有用である。 しかし、より簡単にプロファイリングするために、合成データセットは、1つの確率のみに敏感であるように定義され、データセットのバッテリーを使用して、確率プロファイルをすばやくプロトタイピングすることができる。 また、将来性研究の方向性についても概説する。

関連論文リスト

• HLER: Human-in-the-Loop Economic Research via Multi-Agent Pipelines for Empirical Discovery [15.29303145822579]
  本稿では,実証研究自動化を支援するマルチエージェントアーキテクチャであるHLER(Human-in-the-Loop Economic Research)を紹介する。 このシステムは、データ監査、データプロファイリング、仮説生成、計量分析、原稿起草、自動レビューのための特殊エージェントを編成する。 実験の結果、データセットを意識した仮説生成は87%のケースで実現可能な研究質問を生成する一方、完全な実証的な原稿は1ラン当たり0.8～1.5ドルの平均APIコストで作成できることがわかった。
  論文  参考訳（メタデータ） (2026-03-08T03:40:34Z)
• Valid Inference with Imperfect Synthetic Data [39.10587411316875]
  モーメントの一般化法に基づく新しい推定器を提案する。 合成データのモーメント残差と実データのモーメント間の相互作用は、対象パラメータの推定を大幅に改善できることがわかった。
  論文  参考訳（メタデータ） (2025-08-08T18:32:52Z)
• Benchmarking AI scientists in omics data-driven biological research [3.3605177939410713]
  我々は,生物発見を生み出すAI科学者の能力を評価するために,生物AI科学者ベンチマーク(BaisBench)を紹介する。 BaisBenchは、31のエキスパートラベル付きシングルセルデータセット上の細胞型アノテーションと、198の複数の質問への回答による科学的発見の2つのタスクで構成されている。
  論文  参考訳（メタデータ） (2025-05-13T08:33:54Z)
• Detecting Dataset Bias in Medical AI: A Generalized and Modality-Agnostic Auditing Framework [8.017827642932746]
  データセットに対する一般属性ユーティリティと検出可能性によるバイアステスト(G-AUDIT)は、モダリティに依存しないデータセット監査フレームワークである。 本手法は,患者属性を含むデータ特性とタスクレベルのアノテーションの関係について検討する。 G-AUDITは、従来の定性的手法で見過ごされる微妙な偏見をうまく識別する。
  論文  参考訳（メタデータ） (2025-03-13T02:16:48Z)
• Synthetic Data Generation with Large Language Models for Personalized Community Question Answering [47.300506002171275]
  既存のデータセットであるSE-PQAに基づいてSy-SE-PQAを構築します。 以上の結果から,LCMはユーザのニーズに合わせてデータを生成する可能性が高いことが示唆された。 合成データは、たとえ生成されたデータが誤った情報を含むとしても、人書きのトレーニングデータを置き換えることができる。
  論文  参考訳（メタデータ） (2024-10-29T16:19:08Z)
• Generative AI for Secure and Privacy-Preserving Mobile Crowdsensing [74.58071278710896]
  生成AIは、学術分野と産業分野の両方から多くの注目を集めている。 セキュアでプライバシ保護のモバイルクラウドセンシング(SPPMCS)は、データ収集/取得に広く応用されている。
  論文  参考訳（メタデータ） (2024-05-17T04:00:58Z)
• Towards Biologically Plausible and Private Gene Expression Data Generation [47.72947816788821]
  差分プライバシー(DP)で訓練された生成モデルは、下流アプリケーションのための合成データの作成において、ますます顕著になりつつある。 しかし、既存の文献は主に基本的なベンチマークデータセットに焦点を当てており、基本的なメトリクスと比較的単純なデータ分布にのみ有望な結果を報告する傾向にある。 本研究では,DP生成モデルが自然応用シナリオにおいてどのように機能するかを系統的に分析し,実世界の遺伝子発現データに焦点をあてる。
  論文  参考訳（メタデータ） (2024-02-07T14:39:11Z)
• Synthetic data generation for a longitudinal cohort study -- Evaluation, method extension and reproduction of published data analysis results [0.32593385688760446]
  医療分野では、プライバシー上の懸念から個人レベルのデータへのアクセスは困難であることが多い。 有望な代替手段は、完全な合成データの生成である。 本研究では,最先端の合成データ生成手法を用いる。
  論文  参考訳（メタデータ） (2023-05-12T13:13:55Z)
• Investigating Bias with a Synthetic Data Generator: Empirical Evidence and Philosophical Interpretation [66.64736150040093]
  機械学習の応用は、私たちの社会でますます広まりつつある。 リスクは、データに埋め込まれたバイアスを体系的に広めることである。 本稿では,特定の種類のバイアスとその組み合わせで合成データを生成するフレームワークを導入することにより,バイアスを分析することを提案する。
  論文  参考訳（メタデータ） (2022-09-13T11:18:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。