論文の概要: Towards interactive evaluations for interaction harms in human-AI systems

• arxiv url: http://arxiv.org/abs/2405.10632v6
• Date: Sun, 27 Apr 2025 15:44:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-06 16:50:48.360052
• Title: Towards interactive evaluations for interaction harms in human-AI systems
• Title（参考訳）: 人間-AIシステムにおける相互作用障害の対話的評価に向けて
• Authors: Lujain Ibrahim, Saffron Huang, Umang Bhatt, Lama Ahmad, Markus Anderljung,
• Abstract要約: 評価を中心としたパラダイムシフトを議論する。 テキスト相互作用倫理です 本稿では,インタラクションシナリオと人間への影響指標による生成モデル評価の原理を提案する。
• 参考スコア（独自算出の注目度）: 8.989911701384788
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Current AI evaluation paradigms that rely on static, model-only tests fail to capture harms that emerge through sustained human-AI interaction. As interactive AI systems, such as AI companions, proliferate in daily life, this mismatch between evaluation methods and real-world use becomes increasingly consequential. We argue for a paradigm shift toward evaluation centered on \textit{interactional ethics}, which addresses risks like inappropriate human-AI relationships, social manipulation, and cognitive overreliance that develop through repeated interaction rather than single outputs. Drawing on human-computer interaction, natural language processing, and the social sciences, we propose principles for evaluating generative models through interaction scenarios and human impact metrics. We conclude by examining implementation challenges and open research questions for researchers, practitioners, and regulators integrating these approaches into AI governance frameworks.
• Abstract（参考訳）: 静的なモデルのみのテストに依存する現在のAI評価パラダイムは、持続的な人間とAIのインタラクションを通じて発生する害を捕捉することができない。 AIコンパニオンのような対話型AIシステムが日々の生活で普及するにつれ、評価方法と実世界の利用とのミスマッチはますます重要になっている。 我々は,不適切な人間-AI関係,社会的操作,認知的過度といったリスクに対処し,単一のアウトプットではなく,反復的なインタラクションを通じて発生する評価に焦点をあてる,‘textit{interactional ethics’を中心とした評価へのパラダイムシフトを論じる。 本稿では,人間とコンピュータの相互作用,自然言語処理,社会科学を基礎として,インタラクションシナリオや人間への影響指標を通じて生成モデルを評価するための原則を提案する。 我々は、これらのアプローチをAIガバナンスフレームワークに統合する研究者、実践者、規制当局に対して、実装上の課題とオープンな研究上の疑問を調べて結論付けます。

関連論文リスト

• Confirmation Bias in Generative AI Chatbots: Mechanisms, Risks, Mitigation Strategies, and Future Research Directions [0.0]
  本稿では,AIチャットボットの確認バイアスが現れるメカニズムを解析する。 このようなバイアスに関連する倫理的・実践的なリスクを評価し、様々な緩和戦略を提案する。 この記事では、生成的AIシステムにおける確認バイアスをよりよく理解し、対処するために、学際的なコラボレーションと経験的評価の必要性を強調して、結論付けている。
  論文  参考訳（メタデータ） (2025-04-12T21:08:36Z)
• The Human Robot Social Interaction (HSRI) Dataset: Benchmarking Foundational Models' Social Reasoning [49.32390524168273]
  本研究は,実世界のソーシャルインタラクションにおいて,人工知能(AI)エージェントの社会的推論を促進することを目的としている。 我々は、言語モデル(LM)と基礎モデル(FM)の能力をベンチマークするために、大規模な実世界のヒューマンロボット社会インタラクション(HSRI)データセットを導入する。 私たちのデータセットは、400以上の現実世界の人間のソーシャルロボットインタラクションビデオと10K以上のアノテーションで構成され、ロボットの社会的エラー、能力、合理性、修正行動の詳細を記述しています。
  論文  参考訳（メタデータ） (2025-04-07T06:27:02Z)
• Towards Bidirectional Human-AI Alignment: A Systematic Review for Clarifications, Framework, and Future Directions [101.67121669727354]
  近年のAIの進歩は、AIシステムを意図された目標、倫理的原則、個人とグループの価値に向けて導くことの重要性を強調している。 人間のAIアライメントの明確な定義とスコープの欠如は、このアライメントを達成するための研究領域間の共同作業を妨げる、大きな障害となる。 我々は、2019年から2024年1月までに400以上の論文を体系的にレビューし、HCI(Human-Computer Interaction)、自然言語処理(NLP)、機械学習(ML)といった複数の分野にまたがって紹介する。
  論文  参考訳（メタデータ） (2024-06-13T16:03:25Z)
• ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
  生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。 認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。 本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
  論文  参考訳（メタデータ） (2024-05-28T22:45:28Z)
• AntEval: Evaluation of Social Interaction Competencies in LLM-Driven Agents [65.16893197330589]
  大規模言語モデル(LLM)は、幅広いシナリオで人間の振る舞いを再現する能力を示した。 しかし、複雑なマルチ文字のソーシャルインタラクションを扱う能力については、まだ完全には研究されていない。 本稿では,新しいインタラクションフレームワークと評価手法を含むマルチエージェントインタラクション評価フレームワーク(AntEval)を紹介する。
  論文  参考訳（メタデータ） (2024-01-12T11:18:00Z)
• Human-AI collaboration is not very collaborative yet: A taxonomy of interaction patterns in AI-assisted decision making from a systematic review [6.013543974938446]
  意思決定支援システムにおける人工知能の活用は、技術的進歩に不相応に焦点を合わせてきた。 人間中心の視点は、既存のプロセスとのシームレスな統合のためにAIソリューションを設計することで、この懸念を緩和しようとする。
  論文  参考訳（メタデータ） (2023-10-30T17:46:38Z)
• Sociotechnical Safety Evaluation of Generative AI Systems [13.546708226350963]
  生成AIシステムは、さまざまなリスクを生み出す。 生成AIシステムの安全性を確保するためには、これらのリスクを評価する必要がある。 本稿では,これらのリスクを評価するための構造的,社会学的アプローチを取り入れた3層フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-18T14:13:58Z)
• It HAS to be Subjective: Human Annotator Simulation via Zero-shot Density Estimation [15.8765167340819]
  人間アノテーションシミュレーション(Human Annotator Simulation, HAS)は、データアノテーションやシステムアセスメントなどの人的評価の代用として費用対効果がある。 人間の評価中の人間の知覚と行動は、多様な認知過程と主観的解釈による固有の多様性を示す。 本稿では,HASをゼロショット密度推定問題として扱うメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-30T20:54:59Z)
• Towards Objective Evaluation of Socially-Situated Conversational Robots: Assessing Human-Likeness through Multimodal User Behaviors [26.003947740875482]
  本稿では,ロボットの人間的類似度を主評価指標として評価することに焦点を当てた。 本研究の目的は,観察可能なユーザ行動に基づいてロボットの人間性を評価することであり,客観性と客観性を高めることである。
  論文  参考訳（メタデータ） (2023-08-21T20:21:07Z)
• Human-AI Coevolution [48.74579595505374]
  Coevolution AIは、人間とAIアルゴリズムが相互に連続的に影響を及ぼすプロセスである。 本稿では,AIと複雑性科学の交点における新たな研究分野の基盤として,Coevolution AIを紹介した。
  論文  参考訳（メタデータ） (2023-06-23T18:10:54Z)
• Evaluating Human-Language Model Interaction [79.33022878034627]
  我々は,対話型システムのコンポーネントを定義する,HALIE(Human-AI Language-based Interaction Evaluation)という新しいフレームワークを開発した。 ソーシャル対話,質問応答,クロスワードパズル,要約,メタファ生成という,対話のさまざまな形態をカバーする5つのタスクを設計する。 より優れた非対話的性能は、必ずしもより良い人間とLMの相互作用に必ずしも変換されない。
  論文  参考訳（メタデータ） (2022-12-19T18:59:45Z)
• Revisiting the Gold Standard: Grounding Summarization Evaluation with Robust Human Evaluation [136.16507050034755]
  要約のための既存の人間の評価研究は、アノテータ間の合意が低かったり、スケールが不十分だったりしている。 細粒度セマンティック・ユニットをベースとした改良された要約サリエンス・プロトコルであるAtomic Content Units (ACUs)を提案する。 ロバスト・サムライゼーション・アセスメント(RoSE)ベンチマークは,28の上位性能システム上で22,000の要約レベルのアノテーションからなる大規模な人的評価データセットである。
  論文  参考訳（メタデータ） (2022-12-15T17:26:05Z)
• Are Neural Topic Models Broken? [81.15470302729638]
  トピックモデルの自動評価と人的評価の関係について検討する。 ニューラルトピックモデルは、確立された古典的手法と比較して、両方の点においてより悪くなる。
  論文  参考訳（メタデータ） (2022-10-28T14:38:50Z)
• A Mental-Model Centric Landscape of Human-AI Symbiosis [31.14516396625931]
  我々は、GHAI(Generalized Human-Aware Interaction)と呼ばれる、ヒューマン・アウェア・AIインタラクション・スキームの極めて一般的なバージョンを導入する。 この新しいフレームワークによって、人間とAIのインタラクションの空間で達成されたさまざまな作業が捕捉され、これらの作業によって支えられる基本的な行動パターンが特定できるかどうかを確認します。
  論文  参考訳（メタデータ） (2022-02-18T22:08:08Z)
• Towards Automatic Evaluation of Dialog Systems: A Model-Free Off-Policy Evaluation Approach [84.02388020258141]
  強化学習におけるオフポリシ評価に基づく人間評価スコア推定のための新しいフレームワークであるENIGMAを提案する。 ENIGMAはいくつかの事前収集された経験データしか必要としないため、評価中にターゲットポリシーとのヒューマンインタラクションは不要である。 実験の結果,ENIGMAは人間の評価スコアと相関して既存手法よりも有意に優れていた。
  論文  参考訳（メタデータ） (2021-02-20T03:29:20Z)
• Adversarial Interaction Attack: Fooling AI to Misinterpret Human Intentions [46.87576410532481]
  現在の大きな成功にもかかわらず、ディープラーニングベースのAIシステムは、微妙な敵対的ノイズによって容易に騙されることを示した。 骨格に基づくヒトの相互作用のケーススタディに基づき、相互作用に対する新しい敵対的攻撃を提案する。 本研究では、安全クリティカルなアプリケーションにAIシステムをデプロイする際に慎重に対処する必要があるAIと人間との相互作用ループにおける潜在的なリスクを強調します。
  論文  参考訳（メタデータ） (2021-01-17T16:23:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。