論文の概要: Human irrationality: both bad and good for reward inference

• arxiv url: http://arxiv.org/abs/2111.06956v1
• Date: Fri, 12 Nov 2021 21:44:15 GMT
• ステータス: 処理完了
• システム内更新日: 2021-11-19 04:14:57.324146
• Title: Human irrationality: both bad and good for reward inference
• Title（参考訳）: 人間の不合理性:報酬推論に悪と善の両方
• Authors: Lawrence Chan, Andrew Critch, Anca Dragan
• Abstract要約: この研究は、不合理性が報酬推論に与える影響をよりよく理解することを目的としている。 MDPの言語における不合理性を、ベルマンの最適性方程式を変化させて操作する。 不合理な人間は、正しくモデル化された場合、完全に合理的な人間よりも報酬に関する情報を伝達できることが示される。
• 参考スコア（独自算出の注目度）: 3.706222947143855
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Assuming humans are (approximately) rational enables robots to infer reward functions by observing human behavior. But people exhibit a wide array of irrationalities, and our goal with this work is to better understand the effect they can have on reward inference. The challenge with studying this effect is that there are many types of irrationality, with varying degrees of mathematical formalization. We thus operationalize irrationality in the language of MDPs, by altering the Bellman optimality equation, and use this framework to study how these alterations would affect inference. We find that wrongly modeling a systematically irrational human as noisy-rational performs a lot worse than correctly capturing these biases -- so much so that it can be better to skip inference altogether and stick to the prior! More importantly, we show that an irrational human, when correctly modelled, can communicate more information about the reward than a perfectly rational human can. That is, if a robot has the correct model of a human's irrationality, it can make an even stronger inference than it ever could if the human were rational. Irrationality fundamentally helps rather than hinder reward inference, but it needs to be correctly accounted for.
• Abstract（参考訳）: 人間は(ほぼ)合理的であると仮定すれば、ロボットは人間の行動を観察して報酬機能を推測することができる。 しかし、人々は幅広い不合理さを示しており、この仕事の目標は、報酬推論に与える影響をより深く理解することにあります。 この効果を研究する上での課題は、数学的形式化の度合いが異なる様々な種類の不合理性が存在することである。 従って、ベルマン最適性方程式を変更することで、MDPの言語における不合理性を運用し、この枠組みを用いて、これらの変化が推論にどのように影響するかを研究する。 体系的に不合理な人間をノイズリレーションとしてモデル化するのは、これらのバイアスを正しく捉えているよりもはるかに悪いのです。 さらに重要なのは、不合理な人間は、正しくモデル化された場合、完全に合理的な人間よりも報酬に関する情報を伝達できるということです。 つまり、もしロボットが人間の不合理性の正しいモデルを持っているなら、人間が合理的であれば、これまで以上に強い推論をすることができる。 不合理性は、報酬の推論を妨げるのではなく、根本的に役立つが、正しく説明する必要がある。

関連論文リスト

• Can Language Models Learn to Skip Steps? [59.84848399905409]
  我々は推論においてステップをスキップする能力について研究する。 効率を高めたり認知負荷を減らすためのステップをスキップする人間とは異なり、モデルはそのようなモチベーションを持っていない。 私たちの研究は、人間のようなステップスキッピング能力に関する最初の調査である。
  論文  参考訳（メタデータ） (2024-11-04T07:10:24Z)
• Infinite Ends from Finite Samples: Open-Ended Goal Inference as Top-Down Bayesian Filtering of Bottom-Up Proposals [48.437581268398866]
  オープンエンドゴール推論のシーケンシャルなモンテカルロモデルを導入する。 我々はこのモデルをブロックワードと呼ばれるゴール推論タスクで検証する。 実験では,人間理論の速度,精度,一般性を説明する上で,トップダウンモデルとボトムアップモデルを組み合わせることの重要性を強調した。
  論文  参考訳（メタデータ） (2024-07-23T18:04:40Z)
• How Ambiguous are the Rationales for Natural Language Reasoning? A Simple Approach to Handling Rationale Uncertainty [0.0]
  答の背後にある合理性は、モデル決定を説明するだけでなく、複雑な推論タスクをうまく推理するために言語モデルを促進する。 モデルパフォーマンスを促進するのに十分な根拠が忠実である程度を見積もるのは簡単ではない。 本稿では,不完全理理性に対処する方法を提案する。
  論文  参考訳（メタデータ） (2024-02-22T07:12:34Z)
• Are Machine Rationales (Not) Useful to Humans? Measuring and Improving Human Utility of Free-Text Rationales [62.02328001381361]
  既存の合理性の人的効用は十分ではなく、人間の研究で見積もるのに費用がかかることを示す。 我々は、この発見を自動スコア GEN-U に翻訳し、人間の実用性を改善することによって、LM の合理性を生み出す能力を向上させるのに役立つ。
  論文  参考訳（メタデータ） (2023-05-11T19:01:13Z)
• On the Sensitivity of Reward Inference to Misspecified Human Models [27.94055657571769]
  人間の振る舞いから報酬関数を推論することは、価値の整合の中心であり、AIの目標と私たち、人間、実際に望むものとを整合させる。 これらのモデルは、報酬の推測が正確になるために、どの程度正確なものが必要なのか? 提案手法は, 推定報酬において, 任意に大きな誤差を生じさせるような, 行動の小さな逆バイアスを構築することが可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-09T08:16:20Z)
• Misspecification in Inverse Reinforcement Learning [80.91536434292328]
  逆強化学習(IRL)の目的は、ポリシー$pi$から報酬関数$R$を推論することである。 IRLの背後にある主要な動機の1つは、人間の行動から人間の嗜好を推測することである。 これは、それらが誤って特定され、現実世界のデータに適用された場合、不適切な推測につながる恐れが生じることを意味する。
  論文  参考訳（メタデータ） (2022-12-06T18:21:47Z)
• The Effect of Modeling Human Rationality Level on Learning Rewards from Multiple Feedback Types [38.37216644899506]
  フィードバックタイプ毎の実データに有理性係数を基礎付けることは、報奨学習に有意な影響を与えると論じる。 一つのフィードバックタイプから学習すると、人間の合理性を過度に見積もると、報酬の正確さと後悔に恐ろしい影響が生じることがわかりました。
  論文  参考訳（メタデータ） (2022-08-23T02:19:10Z)
• Inductive Biases for Deep Learning of Higher-Level Cognition [108.89281493851358]
  興味深い仮説は、人間と動物の知性はいくつかの原則によって説明できるということである。 この研究は、主に高いレベルとシーケンシャルな意識的処理に関心のある人を中心に、より大きなリストを考察する。 これらの特定の原則を明確にする目的は、人間の能力から恩恵を受けるAIシステムを構築するのに役立つ可能性があることである。
  論文  参考訳（メタデータ） (2020-11-30T18:29:25Z)
• Machine Common Sense [77.34726150561087]
  機械の常識は、人工知能(AI)において広範で潜在的に無拘束な問題のままである 本稿では、対人インタラクションのようなドメインに焦点を当てたコモンセンス推論のモデル化の側面について論じる。
  論文  参考訳（メタデータ） (2020-06-15T13:59:47Z)
• Implications of Human Irrationality for Reinforcement Learning [26.76732313120685]
  人間の意思決定は、機械学習の問題がどのように定義されているかを制限するためのアイデアのより良い源であるかもしれない、と私たちは主張する。 ある有望なアイデアは、選択コンテキストの明らかに無関係な側面に依存する人間の意思決定に関するものである。 本研究では,文脈選択タスクのための新しいPOMDPモデルを提案する。
  論文  参考訳（メタデータ） (2020-06-07T07:44:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。