論文の概要: Controlling Large Language Model Agents with Entropic Activation Steering
- arxiv url: http://arxiv.org/abs/2406.00244v1
- Date: Sat, 1 Jun 2024 00:25:00 GMT
- ステータス: 処理完了
- システム内更新日: 2024-06-06 08:04:10.314097
- Title: Controlling Large Language Model Agents with Entropic Activation Steering
- Title（参考訳）: エントロピー的アクティベーションステアリングによる大規模言語モデルエージェントの制御
- Authors: Nate Rahn, Pierluca D'Oro, Marc G. Bellemare,
- Abstract要約: 本研究では,大規模言語モデル(LLM)が,制御された逐次意思決定タスクにおいて実験を行うことで,信念にどのように作用するかを検討する。
不十分な証拠に基づいて何をすべきかという強い結論を導き、結果として爆発的な振る舞いが不十分になる。
In-context LLMエージェントのアクティベーションステアリング法であるEntropic Activation Steering (EAST)を導入する。
- 参考スコア（独自算出の注目度）: 20.56909601159833
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The generality of pretrained large language models (LLMs) has prompted increasing interest in their use as in-context learning agents. To be successful, such agents must form beliefs about how to achieve their goals based on limited interaction with their environment, resulting in uncertainty about the best action to take at each step. In this paper, we study how LLM agents form and act on these beliefs by conducting experiments in controlled sequential decision-making tasks. To begin, we find that LLM agents are overconfident: They draw strong conclusions about what to do based on insufficient evidence, resulting in inadequately explorative behavior. We dig deeper into this phenomenon and show how it emerges from a collapse in the entropy of the action distribution implied by sampling from the LLM. We then demonstrate that existing token-level sampling techniques are by themselves insufficient to make the agent explore more. Motivated by this fact, we introduce Entropic Activation Steering (EAST), an activation steering method for in-context LLM agents. EAST computes a steering vector as an entropy-weighted combination of representations, and uses it to manipulate an LLM agent's uncertainty over actions by intervening on its activations during the forward pass. We show that EAST can reliably increase the entropy in an LLM agent's actions, causing more explorative behavior to emerge. Finally, EAST modifies the subjective uncertainty an LLM agent expresses, paving the way to interpreting and controlling how LLM agents represent uncertainty about their decisions.
- Abstract（参考訳）: 事前訓練された大規模言語モデル(LLM)の汎用性は、文脈内学習エージェントとしての使用に対する関心を高めている。
成功させるためには、このようなエージェントは環境との限られた相互作用に基づいて目標を達成する方法についての信念を定めなければならない。
本稿では,LLMエージェントがこれらの信念に対してどのように作用するかを,制御された逐次意思決定タスクにおける実験により検討する。
まず、LSMのエージェントは過信であり、不十分な証拠に基づいて何をすべきかという強い結論を導き、結果として爆発的な振る舞いが不十分になる。
我々は,この現象を深く掘り下げ,LLMからのサンプリングによって引き起こされる作用分布のエントロピーの崩壊からどのように現れるかを示す。
次に,既存のトークンレベルのサンプリング技術は,エージェントの探索に不十分であることを示す。
この事実に感銘を受けて, テキスト内LCMエージェントのアクティベーションステアリング法であるEntropic Activation Steering (EAST)を導入する。
EASTは、エントロピー重み付けされた表現の組み合わせとしてステアリングベクトルを計算し、前方通過中にその活性化に介入することで、LDMエージェントの動作に対する不確実性を操作する。
EAST は LLM エージェントの作用のエントロピーを確実に増加させ,より爆発的な挙動を生じさせることを示す。
最後に、EASTは、LLMエージェントが表現する主観的不確実性を修正し、LLMエージェントがそれらの決定に対して不確実性をどう表現するかを解釈し、制御する方法を舗装する。
関連論文リスト
- Flooding Spread of Manipulated Knowledge in LLM-Based Multi-Agent Communities [28.244283407749265]
マルチエージェントシステムにおける大規模言語モデル(LLM)のセキュリティへの影響について検討する。
本稿では,説得力注入と操作的知識注入を含む2段階攻撃手法を提案する。
本手法は, LLMをベースとしたエージェントを誘導し, 有害な知識の拡散に有効であることを示す。
論文 参考訳（メタデータ） (2024-07-10T16:08:46Z) - Watch Every Step! LLM Agent Learning via Iterative Step-Level Process Refinement [50.481380478458945]
反復的なステップレベルプロセスリファインメント(IPR)フレームワークは、エージェントトレーニングを強化するためのステップバイステップのガイダンスを提供する。
3つの複雑なエージェントタスクに関する我々の実験は、我々のフレームワークが様々な強力なベースラインより優れていることを示した。
論文 参考訳（メタデータ） (2024-06-17T03:29:13Z) - On the Brittle Foundations of ReAct Prompting for Agentic Large Language Models [16.701242561345786]
LLM(Large Language Models)のパフォーマンスは、入力の例タスクとクエリの類似性によって駆動される。
本研究は, LLMの知覚的推論能力は, 従来の類似性と近似的検索に起因していることを示す。
論文 参考訳（メタデータ） (2024-05-22T20:05:49Z) - The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。
LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。
以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
論文 参考訳（メタデータ） (2024-03-25T19:07:32Z) - The Wolf Within: Covert Injection of Malice into MLLM Societies via an MLLM Operative [55.08395463562242]
MLLM(Multimodal Large Language Models)は、AGI(Artificial General Intelligence)の新たな境界を常に定義している。
本稿では,MLLM社会において,悪意のあるコンテンツの間接的伝播という新たな脆弱性について検討する。
論文 参考訳（メタデータ） (2024-02-20T23:08:21Z) - Formally Specifying the High-Level Behavior of LLM-Based Agents [24.645319505305316]
LLMはタスク固有の微調整モデルを必要とせずに、課題を解決するための有望なツールとして登場した。
現在、このようなエージェントの設計と実装はアドホックであり、LLMベースのエージェントが自然に適用できる様々なタスクは、エージェント設計に一律に適合するアプローチが存在しないことを意味する。
エージェント構築のプロセスを簡単にする最小主義的生成フレームワークを提案する。
論文 参考訳（メタデータ） (2023-10-12T17:24:15Z) - ExpeL: LLM Agents Are Experiential Learners [60.54312035818746]
実験学習エージェント(ExpeL)を導入し、パラメトリック更新を必要とせずにエージェント体験から学習できるようにする。
我々のエージェントは、経験を自律的に収集し、学習課題の集合から自然言語を用いて知識を抽出する。
推論において、エージェントは抽出された洞察と過去の経験をリコールし、情報的決定を行う。
論文 参考訳（メタデータ） (2023-08-20T03:03:34Z) - Deception Abilities Emerged in Large Language Models [0.0]
大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を備えた人工知能(AI)システムの最前線にある。
本研究は, GPT-4 などの最先端 LLM にそのような戦略が出現したが, 初期の LLM には存在しなかったことを明らかにする。
我々は、最先端のLLMが他のエージェントの誤った信念を理解し、誘導できることを示す一連の実験を行う。
論文 参考訳（メタデータ） (2023-07-31T09:27:01Z) - Do Embodied Agents Dream of Pixelated Sheep: Embodied Decision Making
using Language Guided World Modelling [101.59430768507997]
強化学習 (Reinforcement Learning, RL) エージェントは通常、世界の事前の知識なしに、タブラララザを学習する。
抽象世界モデル (AWM) を仮定するために, 少数ショット大言語モデル (LLM) を提案する。
LLMを用いてAWMを仮定し, エージェント経験に基づくAWMの検証を行うことで, 従来手法よりもサンプル効率を桁違いに向上させることができる。
論文 参考訳（メタデータ） (2023-01-28T02:04:07Z) - What is Going on Inside Recurrent Meta Reinforcement Learning Agents? [63.58053355357644]
recurrent meta reinforcement learning (meta-rl)エージェントは「学習アルゴリズムの学習」を目的としてrecurrent neural network (rnn)を使用するエージェントである。
部分観測可能なマルコフ決定プロセス(POMDP)フレームワークを用いてメタRL問題を再構成することにより,これらのエージェントの内部動作機構を明らかにする。
論文 参考訳（メタデータ） (2021-04-29T20:34:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。