Fugu-MT 論文翻訳(概要): Who's Thinking? A Push for Human-Centered Evaluation of LLMs using the XAI Playbook

論文の概要: Who's Thinking? A Push for Human-Centered Evaluation of LLMs using the XAI Playbook

arxiv url: http://arxiv.org/abs/2303.06223v1
Date: Fri, 10 Mar 2023 22:15:49 GMT
ステータス: 処理完了
システム内更新日: 2023-03-14 20:24:46.807965
Title: Who's Thinking? A Push for Human-Centered Evaluation of LLMs using the XAI Playbook
Title（参考訳）: 誰が考えるのか? XAIプレイブックを用いたLLMの人間中心評価の推進
Authors: Teresa Datta and John P. Dickerson
Abstract要約: 我々は、XAIの比較的成熟した分野と、大規模言語モデルを中心とした急速に発展する研究ブームの類似性を引き出す。我々は、デプロイされた大規模言語モデルを評価する際に、人間の傾向は前後に休むべきだと論じる。
参考スコア（独自算出の注目度）: 30.985555463848264
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Deployed artificial intelligence (AI) often impacts humans, and there is no one-size-fits-all metric to evaluate these tools. Human-centered evaluation of AI-based systems combines quantitative and qualitative analysis and human input. It has been explored to some depth in the explainable AI (XAI) and human-computer interaction (HCI) communities. Gaps remain, but the basic understanding that humans interact with AI and accompanying explanations, and that humans' needs -- complete with their cognitive biases and quirks -- should be held front and center, is accepted by the community. In this paper, we draw parallels between the relatively mature field of XAI and the rapidly evolving research boom around large language models (LLMs). Accepted evaluative metrics for LLMs are not human-centered. We argue that many of the same paths tread by the XAI community over the past decade will be retread when discussing LLMs. Specifically, we argue that humans' tendencies -- again, complete with their cognitive biases and quirks -- should rest front and center when evaluating deployed LLMs. We outline three developed focus areas of human-centered evaluation of XAI: mental models, use case utility, and cognitive engagement, and we highlight the importance of exploring each of these concepts for LLMs. Our goal is to jumpstart human-centered LLM evaluation.
Abstract（参考訳）: デプロイされた人工知能(AI)は、しばしば人間に影響を与える。 AIに基づくシステムの人間中心評価は、量的および質的な分析と人間の入力を組み合わせる。説明可能なAI(XAI)とHCI(Human-Computer Interaction)コミュニティで、いくつかの詳細が調査されている。ギャップは残るが、人間がAIと対話し、それに伴う説明をし、人間の要求 ― 認知バイアスとクォークを完備する ― は、コミュニティによって受け入れられるべきである、という基本的な理解は、コミュニティによって受け入れられるべきである。本稿では,XAIの比較的成熟した分野と,大規模言語モデル(LLM)を中心に急速に発展する研究ブームの並列性について述べる。 LLMに対する評価指標は人間中心ではない。我々は、過去10年間にXAIコミュニティが踏襲してきた同じパスの多くが、LSMについて議論する際に再読まれると論じている。具体的には、デプロイされたllmを評価する際には、人間の傾向 -- 認知バイアスと虚偽性と共に -- が前もって集中すべきである、と論じています。我々は,xaiの人間中心評価における3つの焦点領域であるメンタルモデル,ユースケースの有用性,認知的関与について概説し,これらの概念をllmで探求することの重要性を強調する。私たちの目標は、人間中心のllm評価を始めることです。

関連論文リスト

Aligning Generalisation Between Humans and Machines [74.120848518198]
近年のAIの進歩は、科学的発見と意思決定支援において人間を支援できる技術をもたらしたが、民主主義と個人を妨害する可能性がある。 AIの責任ある使用は、ますます人間とAIのチームの必要性を示している。これらの相互作用の重要かつしばしば見落とされがちな側面は、人間と機械が一般化する異なる方法である。
論文参考訳（メタデータ） (2024-11-23T18:36:07Z)
Entering Real Social World! Benchmarking the Theory of Mind and Socialization Capabilities of LLMs from a First-person Perspective [22.30892836263764]
人工知能(AI)の時代、特に大規模言語モデル(LLM)の開発において、興味深い疑問が浮かび上がっている。 LLMはToMとソーシャル化の機能の観点からどのように機能するか? EgoSocialArenaは,LLMのToMと社会化能力を評価するための新しいフレームワークである。
論文参考訳（メタデータ） (2024-10-08T16:55:51Z)
ValueCompass: A Framework of Fundamental Values for Human-AI Alignment [15.35489011078817]
本稿では,心理学的理論と体系的レビューに基づく基本的価値の枠組みであるバリューを紹介する。本研究では,人間と言語モデル(LM)の価値アライメントを測定するために,実世界の4つのヴィグネットに価値を適用した。以下に示すのは、人間とLMの危険な相違を明らかにすることであり、例えば、LMは人間によってほとんど意見が一致しない「自己のゴール」のような価値観と一致している。
論文参考訳（メタデータ） (2024-09-15T02:13:03Z)
Rel-A.I.: An Interaction-Centered Approach To Measuring Human-LM Reliance [73.19687314438133]
インタラクションの文脈的特徴が依存に与える影響について検討する。文脈特性が人間の信頼行動に大きく影響していることが判明した。これらの結果から,キャリブレーションと言語品質だけでは人間とLMの相互作用のリスクを評価するには不十分であることが示唆された。
論文参考訳（メタデータ） (2024-07-10T18:00:05Z)
Towards Bidirectional Human-AI Alignment: A Systematic Review for Clarifications, Framework, and Future Directions [101.67121669727354]
近年のAIの進歩は、AIシステムを意図された目標、倫理的原則、個人とグループの価値に向けて導くことの重要性を強調している。人間のAIアライメントの明確な定義とスコープの欠如は、このアライメントを達成するための研究領域間の共同作業を妨げる、大きな障害となる。我々は、2019年から2024年1月までに400以上の論文を体系的にレビューし、HCI(Human-Computer Interaction)、自然言語処理(NLP)、機械学習(ML)といった複数の分野にまたがって紹介する。
論文参考訳（メタデータ） (2024-06-13T16:03:25Z)
Explainable Human-AI Interaction: A Planning Perspective [32.477369282996385]
AIシステムは、ループ内の人間に説明可能である必要がある。我々は、AIエージェントがメンタルモデルを使用して人間の期待に沿うか、あるいは説明的コミュニケーションを通じて期待を変更する方法について論じる。本書の主な焦点は、協調的なシナリオであるが、同じ精神モデルが難読化や偽造にどのように使用できるかを指摘したい。
論文参考訳（メタデータ） (2024-05-19T22:22:21Z)
Human-Modeling in Sequential Decision-Making: An Analysis through the Lens of Human-Aware AI [20.21053807133341]
私たちは、人間を意識したAIシステムを構成するものの説明を提供しようとしています。人間を意識したAIはデザイン指向のパラダイムであり、人間と対話するかもしれないモデリングの必要性に焦点を当てている。
論文参考訳（メタデータ） (2024-05-13T14:17:52Z)
Beyond Human Norms: Unveiling Unique Values of Large Language Models through Interdisciplinary Approaches [69.73783026870998]
本研究では,大言語モデルの固有値システムをスクラッチから再構築する新しいフレームワークであるValueLexを提案する。語彙仮説に基づいて、ValueLexは30以上のLLMから様々な値を引き出すための生成的アプローチを導入している。我々は,3つのコア値次元,能力,キャラクタ,積分をそれぞれ特定の部分次元で同定し,LLMが非人間的だが構造化された価値体系を持っていることを明らかにした。
論文参考訳（メタデータ） (2024-04-19T09:44:51Z)
Beyond Static Evaluation: A Dynamic Approach to Assessing AI Assistants' API Invocation Capabilities [48.922660354417204]
人間の関与なしにアシスタントのAPIコール能力を評価するために,自動動的評価(Automated Dynamic Evaluation, AutoDE)を提案する。この枠組みでは,人間と機械の相互作用において,真の人間の会話パターンを忠実に反映するように努力する。
論文参考訳（メタデータ） (2024-03-17T07:34:12Z)
Best-Response Bayesian Reinforcement Learning with Bayes-adaptive POMDPs for Centaurs [22.52332536886295]
本稿では,人間とAIの相互作用を逐次ゲームとして新たに定式化する。このケースでは、有界人間によるより良い意思決定を支援するというAIの問題は、ベイズ対応のPOMDPに還元される。我々は、機械が自身の限界と人間の助けを借りて改善する方法について議論する。
論文参考訳（メタデータ） (2022-04-03T21:00:51Z)
On some Foundational Aspects of Human-Centered Artificial Intelligence [52.03866242565846]
人間中心人工知能(Human Centered Artificial Intelligence)の意味については明確な定義はない。本稿では,AIコンポーネントを備えた物理・ソフトウェア計算エージェントを指すHCAIエージェントについて紹介する。 HCAIエージェントの概念は、そのコンポーネントや機能とともに、人間中心のAIに関する技術的および非技術的議論を橋渡しする手段であると考えています。
論文参考訳（メタデータ） (2021-12-29T09:58:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。