論文の概要: Thesis Proposal: Toward a Human-Centered and Perspective-Aware Framework for Reproducible ML Evaluation and AI Alignment

• arxiv url: http://arxiv.org/abs/2608.30842v1
• Date: Mon, 31 Aug 2026 14:12:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.436779
• Title: Thesis Proposal: Toward a Human-Centered and Perspective-Aware Framework for Reproducible ML Evaluation and AI Alignment
• Title（参考訳）: テーマ提案: 再現可能なML評価とAIアライメントのための人間中心のパースペクティブ・アウェア・フレームワークを目指して
• Abstract要約: 人間中心のAIシステムを構築する際には、意見の相違を考慮することが不可欠である。 診断はしばしば主観的な人間の意見から生じ、自身のアイデンティティ、信念、社会的環境によって変化する。 再現可能なML評価とAIアライメントのための人間中心・視点対応フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.886462623872524
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Humans play a vital role at every stage of AI development, from data collection and curation to model development and evaluation. However, humans often disagree with each other and sometimes with themselves over time. It is essential to take disagreement into account when building human-centered AI systems, especially in domains where it is prevalent, such as AI safety, content moderation, or sentiment analysis. Disagreement often arises from subjective human opinion and can vary with one's identity, beliefs, and social environment. Despite this, current LLM evaluation approaches frequently rely on aggregating labels (often via plurality voting) to represent consensus, thereby obscuring minority perspectives. By failing to account for human disagreement, these evaluation methods contribute to the reproducibility crisis in AI. Human feedback is also crucial for ensuring that AI systems align with human values. For these systems to be trustworthy, it is critical to ensure that they reflect diverse human values and perspectives. In this thesis proposal, we present a human-centered and perspective-aware framework for reproducible ML evaluation and AI alignment.
• Abstract（参考訳）: 人間は、データ収集やキュレーションからモデル開発や評価に至るまで、AI開発の各段階で重要な役割を果たす。 しかし、人間はしばしば互いに意見が一致せず、時には時間とともに自分自身と意見が対立する。 人間中心のAIシステムを構築する際には、特にAIの安全性、コンテンツモデレーション、感情分析など、それが普及している領域において、意見の相違を考慮することが不可欠である。 診断はしばしば主観的な人間の意見から生じ、自身のアイデンティティ、信念、社会的環境によって変化する。 これにもかかわらず、現在のLLM評価アプローチは、しばしば(しばしば複数の投票を通じて)ラベルを集約してコンセンサスを表現し、少数派視点を無視する。 人間の不一致を考慮せず、これらの評価手法はAIの再現性危機に寄与する。 人間のフィードバックは、AIシステムが人間の価値観と整合することを保証する上でも不可欠である。 これらのシステムが信頼できるためには、さまざまな人間の価値観や視点を確実に反映させることが重要です。 本論文では、再現可能なML評価とAIアライメントのための人間中心・視点対応フレームワークを提案する。

関連論文リスト

• Toward a Theory of Value in AI Alignment [8.20706299979115]
  大規模言語モデルの普及は、有害なスピーチや幻覚から、不正な行動を実行するAIエージェントまで、害が増加している。 AIの安全性の分野では、これらの有害なインスタンスはアライメント問題として、あるいは人間の価値観と不一致しているモデルのフレーム化されることが多い。 AIの価値アライメントの分野は、人間の価値をどのように考えていますか? 我々は、AIにおける価値の暗黙的理論を明らかにするために94の値アライメント研究論文を注釈付けした。
  論文  参考訳（メタデータ） (2026-08-10T23:57:02Z)
• Rethinking How AI Embeds and Adapts to Human Values: Challenges and Opportunities [0.6113558800822273]
  AIシステムは長期的な推論を実装し、進化する価値に適応し続けなければならない、と私たちは主張する。 価値アライメントは、人間の価値の完全なスペクトルに対処するためにより多くの理論を必要とする。 我々は、価値アライメントに関連する課題を特定し、価値アライメント研究を進めるための方向性を示す。
  論文  参考訳（メタデータ） (2025-08-23T18:19:05Z)
• Measurement of LLM's Philosophies of Human Nature [113.47929131143766]
  大規模言語モデル(LLM)を対象とする標準化された心理尺度を設計する。 現在のLSMは、人間に対する信頼の欠如を示す。 本稿では,LLMが継続的に価値体系を最適化できるメンタルループ学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-04-03T06:22:19Z)
• On Benchmarking Human-Like Intelligence in Machines [77.55118048492021]
  現在のAI評価パラダイムは、人間のような認知能力を評価するには不十分である、と我々は主張する。 人為的なラベルの欠如、人間の反応の多様性と不確実性の表現の不適切な表現、単純で生態学的に無意味なタスクへの依存。
  論文  参考訳（メタデータ） (2025-02-27T20:21:36Z)
• Aligning Generalisation Between Humans and Machines [74.120848518198]
  AI技術は、科学的発見と意思決定において人間を支援することができるが、民主主義と個人を妨害することもある。 AIの責任ある使用と人間-AIチームへの参加は、AIアライメントの必要性をますます示している。 これらの相互作用の重要かつしばしば見落とされがちな側面は、人間と機械が一般化する異なる方法である。
  論文  参考訳（メタデータ） (2024-11-23T18:36:07Z)
• ValueCompass: A Framework for Measuring Contextual Value Alignment Between Human and LLMs [16.711615737109977]
  本稿では,心理学的理論と体系的レビューに基づく基本的価値の枠組みであるバリューを紹介する。 実世界の4つのシナリオにまたがって、人間と大規模言語モデル(LLM)の価値アライメントを測定するためにバリューを適用します。
  論文  参考訳（メタデータ） (2024-09-15T02:13:03Z)
• Position: Towards Bidirectional Human-AI Alignment [109.57781720848669]
  我々は、人間とAIの双方向的・動的関係を説明するために、研究コミュニティは「調整」を明確に定義し、批判的に反映すべきであると主張する。 このフレームワークは、AIと人間の価値を整合させる従来の取り組みを取り入れているだけでなく、人間とAIを整合させるという、重要で未解明の次元も導入しています。
  論文  参考訳（メタデータ） (2024-06-13T16:03:25Z)
• Value Kaleidoscope: Engaging AI with Pluralistic Human Values, Rights, and Duties [68.66719970507273]
  価値多元性とは、複数の正しい値が互いに緊張して保持されるという考え方である。 統計的学習者として、AIシステムはデフォルトで平均に適合する。 ValuePrismは、218kの値、権利、義務の大規模なデータセットで、31kの人間が記述した状況に関連付けられています。
  論文  参考訳（メタデータ） (2023-09-02T01:24:59Z)
• Who's Thinking? A Push for Human-Centered Evaluation of LLMs using the XAI Playbook [30.985555463848264]
  我々は、XAIの比較的成熟した分野と、大規模言語モデルを中心とした急速に発展する研究ブームの類似性を引き出す。 我々は、デプロイされた大規模言語モデルを評価する際に、人間の傾向は前後に休むべきだと論じる。
  論文  参考訳（メタデータ） (2023-03-10T22:15:49Z)
• Can Machines Imitate Humans? Integrative Turing-like tests for Language and Vision Demonstrate a Narrowing Gap [56.611702960809644]
  3つの言語タスクと3つの視覚タスクで人間を模倣するAIの能力をベンチマークする。 次に,人間1,916名,AI10名を対象に,72,191名のチューリング様試験を行った。 模倣能力は従来のAIパフォーマンス指標と最小限の相関を示した。
  論文  参考訳（メタデータ） (2022-11-23T16:16:52Z)
• A Human-Centric Assessment Framework for AI [11.065260433086024]
  説明可能なAIシステムをどのように評価すべきかに関して合意された基準はない。 チューリングテストに触発されて,人間中心のアセスメントフレームワークを導入する。 このセットアップは、広範囲の人間中心のAIシステムアセスメントのためのフレームワークとして機能する。
  論文  参考訳（メタデータ） (2022-05-25T12:59:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。