論文の概要: Limitations of Agents Simulated by Predictive Models

• arxiv url: http://arxiv.org/abs/2402.05829v1
• Date: Thu, 8 Feb 2024 17:08:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-09 13:48:35.099157
• Title: Limitations of Agents Simulated by Predictive Models
• Title（参考訳）: 予測モデルによるエージェントの制限
• Authors: Raymond Douglas, Jacek Karwowski, Chan Bae, Andis Draguns, Victoria Krakovna
• Abstract要約: エージェントとなると予測モデルが失敗する2つの構造的理由を概説する。 いずれの障害も環境からのフィードバックループを組み込むことで修正可能であることを示す。 我々の治療は、これらの障害モードの統一的なビューを提供し、オンライン学習でオフライン学習ポリシーを微調整することで、より効果的になる理由を疑問視する。
• 参考スコア（独自算出の注目度）: 1.6649383443094403
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: There is increasing focus on adapting predictive models into agent-like systems, most notably AI assistants based on language models. We outline two structural reasons for why these models can fail when turned into agents. First, we discuss auto-suggestive delusions. Prior work has shown theoretically that models fail to imitate agents that generated the training data if the agents relied on hidden observations: the hidden observations act as confounding variables, and the models treat actions they generate as evidence for nonexistent observations. Second, we introduce and formally study a related, novel limitation: predictor-policy incoherence. When a model generates a sequence of actions, the model's implicit prediction of the policy that generated those actions can serve as a confounding variable. The result is that models choose actions as if they expect future actions to be suboptimal, causing them to be overly conservative. We show that both of those failures are fixed by including a feedback loop from the environment, that is, re-training the models on their own actions. We give simple demonstrations of both limitations using Decision Transformers and confirm that empirical results agree with our conceptual and formal analysis. Our treatment provides a unifying view of those failure modes, and informs the question of why fine-tuning offline learned policies with online learning makes them more effective.
• Abstract（参考訳）: エージェントのようなシステム、特に言語モデルに基づくAIアシスタントへの予測モデルの適用に焦点が当てられている。 これらのモデルがエージェントになるときに失敗する2つの構造的理由を概説する。 まず,自己提案的妄想について論じる。 先行研究は、モデルが隠れた観察に依存するエージェントがトレーニングデータを生成するエージェントを模倣しないことを理論的に証明した:隠れた観察は変数の結合として作用し、モデルが生成したアクションは存在していない観察の証拠として扱う。 第2に、関連する新しい制限、予測と政治の不整合を正式に導入し、研究する。 モデルが一連のアクションを生成するとき、モデルがこれらのアクションを生成するポリシーの暗黙の予測は、相反する変数として機能する。 その結果、モデルが将来のアクションが最適でないと期待するようなアクションを選択し、それらは過度に保守的になる。 これら2つの障害は、環境からのフィードバックループ、すなわち、自身のアクションでモデルを再トレーニングすることで、それぞれが修正されていることを示す。 決定変換器を用いて,両制約の簡単な実演を行い,実験結果が我々の概念的および形式的分析と一致することを確認した。 我々の治療は、これらの障害モードの統一的なビューを提供し、オンライン学習でオフライン学習ポリシーを微調整することで、より効果的になる理由を質問する。

関連論文リスト

• Interpretable Imitation Learning with Dynamic Causal Relations [65.18456572421702]
  得られた知識を有向非巡回因果グラフの形で公開することを提案する。 また、この因果発見プロセスを状態依存的に設計し、潜在因果グラフのダイナミクスをモデル化する。 提案するフレームワークは,動的因果探索モジュール,因果符号化モジュール,予測モジュールの3つの部分から構成され,エンドツーエンドで訓練される。
  論文  参考訳（メタデータ） (2023-09-30T20:59:42Z)
• Pathologies of Pre-trained Language Models in Few-shot Fine-tuning [50.3686606679048]
  実例が少ない事前学習言語モデルはラベル間に強い予測バイアスを示すことを示す。 わずかな微調整で予測バイアスを軽減できるが,本分析では,非タスク関連の特徴を捉えることで,モデルの性能向上を図っている。 これらの観察は、より少ない例でモデルのパフォーマンスを追求することは、病理学的予測行動を引き起こす可能性があることを警告する。
  論文  参考訳（メタデータ） (2022-04-17T15:55:18Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Exploring Social Posterior Collapse in Variational Autoencoder for Interaction Modeling [26.01824780050843]
  変分オートエンコーダ(VAE)は多エージェント相互作用モデリングに広く応用されている。 VAEは、エージェントの将来の軌跡を予測する際に、歴史的社会的文脈を無視しやすい。 本稿では,ソーシャルな後部崩壊を検知する新しいスパースグラフアテンションメッセージパッシング層を提案する。
  論文  参考訳（メタデータ） (2021-12-01T06:20:58Z)
• Shaking the foundations: delusions in sequence models for interaction and control [45.34593341136043]
  我々は、シーケンスモデルが「行動の原因と効果の理解を欠く」ことを示し、それらが自己提案的妄想によって誤った推論を引き出す結果となった。 教師付き学習では,実ミス信号と反実エラー信号とをそれぞれ学習することで,データに対する条件付けや介入をシステムに教えることができることを示す。
  論文  参考訳（メタデータ） (2021-10-20T23:31:05Z)
• You Mostly Walk Alone: Analyzing Feature Attribution in Trajectory Prediction [52.442129609979794]
  軌道予測のための最近の深層学習手法は有望な性能を示す。 そのようなブラックボックスモデルが実際にどのモデルを予測するために使うのかは、まだ不明である。 本稿では,モデル性能に対する異なるキューの貢献度を定量化する手法を提案する。
  論文  参考訳（メタデータ） (2021-10-11T14:24:15Z)
• Mismatched No More: Joint Model-Policy Optimization for Model-Based RL [172.37829823752364]
  本稿では,モデルとポリシーを共同でトレーニングする単一目的について提案する。 我々の目標は、期待されるリターンのグローバルな低い境界であり、この境界は特定の仮定の下で厳密になる。 結果のアルゴリズム(MnM)は概念的にはGANと似ている。
  論文  参考訳（メタデータ） (2021-10-06T13:43:27Z)
• Beyond Trivial Counterfactual Explanations with Diverse Valuable Explanations [64.85696493596821]
  コンピュータビジョンの応用において、生成的対実法はモデルの入力を摂動させて予測を変更する方法を示す。 本稿では,多様性強化損失を用いて制約される不連続潜在空間における摂動を学習する反事実法を提案する。 このモデルは, 従来の最先端手法と比較して, 高品質な説明を生産する成功率を向上させる。
  論文  参考訳（メタデータ） (2021-03-18T12:57:34Z)
• Learning Opinion Dynamics From Social Traces [25.161493874783584]
  本稿では,現実の社会的トレースに,生成的,エージェントライクな意見力学モデルを適用するための推論機構を提案する。 本稿では,古典的エージェントに基づく意見力学モデルから,その生成的モデルへの変換による提案について紹介する。 われわれのモデルをRedditの現実世界のデータに適用して、バックファイア効果の影響に関する長年にわたる疑問を探る。
  論文  参考訳（メタデータ） (2020-06-02T14:48:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。