Fugu-MT 論文翻訳(概要): Measuring Goal-Directedness

論文の概要: Measuring Goal-Directedness

arxiv url: http://arxiv.org/abs/2412.04758v1
Date: Fri, 06 Dec 2024 03:48:47 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-09 15:57:19.114252
Title: Measuring Goal-Directedness
Title（参考訳）: ゴール指向性の測定
Authors: Matt MacDermott, James Fox, Francesco Belardinelli, Tom Everitt,
Abstract要約: 因果モデルとマルコフ決定過程におけるゴール指向性の公式尺度である最大エントロピー目標指向性(MEG)を定義する。 MEGは、逆強化学習に使用される最大因果エントロピーフレームワークの適応に基づいている。
参考スコア（独自算出の注目度）: 13.871986295154782
License:
Abstract: We define maximum entropy goal-directedness (MEG), a formal measure of goal-directedness in causal models and Markov decision processes, and give algorithms for computing it. Measuring goal-directedness is important, as it is a critical element of many concerns about harm from AI. It is also of philosophical interest, as goal-directedness is a key aspect of agency. MEG is based on an adaptation of the maximum causal entropy framework used in inverse reinforcement learning. It can measure goal-directedness with respect to a known utility function, a hypothesis class of utility functions, or a set of random variables. We prove that MEG satisfies several desiderata and demonstrate our algorithms with small-scale experiments.
Abstract（参考訳）: 我々は、因果モデルとマルコフ決定プロセスにおけるゴール指向性の公式な尺度である最大エントロピー目標指向性(MEG)を定義し、それを計算するアルゴリズムを提供する。目標指向性の測定は、AIからの害に関する多くの懸念の重要な要素であるため、重要である。目的指向性はエージェンシーの重要な側面であるため、哲学的な関心もある。 MEGは、逆強化学習に使用される最大因果エントロピーフレームワークの適応に基づいている。既知のユーティリティ関数、ユーティリティ関数の仮説クラス、あるいはランダム変数の集合に関して、ゴール指向性を測定することができる。我々はMEGがいくつかのデシラタを満たすことを証明し、我々のアルゴリズムを小規模な実験で実証する。

関連論文リスト

Towards Measuring Goal-Directedness in AI Systems [0.0]
意図しない目標を追求するAIシステムにとって重要な前提条件は、一貫性のあるゴール指向の方法で振る舞うかどうかである。そこで本稿では,多くの報酬関数に準最適であるかどうかをモデル化する政策の目的指向性の定義を新たに提案する。私たちの貢献は、AIシステムが危険な目標を追求できるかどうかという問題にアプローチするために、シンプルで計算が容易なゴール指向性の定義です。
論文参考訳（メタデータ） (2024-10-07T01:34:42Z)
Expectation Alignment: Handling Reward Misspecification in the Presence of Expectation Mismatch [19.03141646688652]
我々は、人間のAIエージェントに対する信念である心の理論を基礎として、公式な説明的枠組みを開発する。ユーザからの期待を推測するために,特定報酬を用いた対話型アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-04-12T19:43:37Z)
Value-Distributional Model-Based Reinforcement Learning [59.758009422067]
政策の長期的業績に関する不確実性の定量化は、シーケンシャルな意思決定タスクを解決するために重要である。モデルに基づくベイズ強化学習の観点から問題を考察する。本稿では,値分布関数を学習するモデルに基づくアルゴリズムであるEpicemic Quantile-Regression(EQR)を提案する。
論文参考訳（メタデータ） (2023-08-12T14:59:19Z)
Solution and Fitness Evolution (SAFE): Coevolving Solutions and Their Objective Functions [4.149117182410553]
戦略をテキスト化するための効果的な客観的関数は、目的への距離の単純な関数ではないかもしれない。我々はtextbfSolution textbfAnd textbfFitness textbfSAFE, textitcommensalistic coevolutionary algorithmを提案する。
論文参考訳（メタデータ） (2022-06-25T18:41:00Z)
Sequential Information Design: Markov Persuasion Process and Its Efficient Reinforcement Learning [156.5667417159582]
本稿では,逐次情報設計の新たなモデル,すなわちマルコフ説得過程(MPP)を提案する。 MPPのプランニングは、ミオピックレシーバーに同時に説得されるシグナルポリシーを見つけ、送信者の最適な長期累積ユーティリティを誘導する、というユニークな課題に直面している。我々は,楽観主義と悲観主義の両原理の新たな組み合わせを特徴とする,実証可能な効率のよい非回帰学習アルゴリズム,Optimism-Pessimism Principle for Persuasion Process (OP4) を設計する。
論文参考訳（メタデータ） (2022-02-22T05:41:43Z)
Many Objective Bayesian Optimization [0.0]
マルチオブジェクトベイズ最適化(MOBO)は、ブラックボックスの同時最適化に成功している一連の手法である。特に、MOBO法は、多目的最適化問題における目的の数が3以上である場合に問題があり、これは多くの目的設定である。 GPが測定値とアルゴリズムの有効性の予測分布を予測できるような,玩具,合成,ベンチマーク,実実験のセットで実証的な証拠を示す。
論文参考訳（メタデータ） (2021-07-08T21:57:07Z)
Adversarial Intrinsic Motivation for Reinforcement Learning [60.322878138199364]
政策状態の訪問分布と目標分布とのワッサースタイン-1距離が強化学習タスクに有効に活用できるかどうかを検討する。我々のアプローチは、AIM (Adversarial Intrinsic Motivation) と呼ばれ、このワッサーシュタイン-1距離をその双対目的を通して推定し、補足報酬関数を計算する。
論文参考訳（メタデータ） (2021-05-27T17:51:34Z)
Understanding the origin of information-seeking exploration in probabilistic objectives for control [62.997667081978825]
探索と探索のトレードオフは適応行動の記述の中心である。このトレードオフを解決する1つのアプローチは、エージェントが固有の「探索駆動」を持っていることを装備または提案することであった。汎用的最大化と情報参照行動の組み合わせは, 目的の全く異なる分類の最小化から生じることを示す。
論文参考訳（メタデータ） (2021-03-11T18:42:39Z)
Meta-Gradient Reinforcement Learning with an Objective Discovered Online [54.15180335046361]
本稿では,深層ニューラルネットワークによって柔軟にパラメータ化される,自己目的のメタ段階的降下に基づくアルゴリズムを提案する。目的はオンラインで発見されるため、時間とともに変化に適応することができる。 Atari Learning Environmentでは、メタグラディエントアルゴリズムが時間とともに適応して、より効率よく学習する。
論文参考訳（メタデータ） (2020-07-16T16:17:09Z)
Automatic Curriculum Learning through Value Disagreement [95.19299356298876]
新しい未解決タスクを継続的に解決することが、多様な行動を学ぶための鍵です。エージェントが複数の目標を達成する必要があるマルチタスク領域では、トレーニング目標の選択はサンプル効率に大きな影響を与える可能性がある。そこで我々は,エージェントが解決すべき目標のための自動カリキュラムを作成することを提案する。提案手法は,13のマルチゴールロボットタスクと5つのナビゲーションタスクにまたがって評価し,現在の最先端手法よりも高い性能を示す。
論文参考訳（メタデータ） (2020-06-17T03:58:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。