論文の概要: Controlling Large Language Model Agents with Entropic Activation Steering

• arxiv url: http://arxiv.org/abs/2406.00244v1
• Date: Sat, 1 Jun 2024 00:25:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 08:04:10.314097
• Title: Controlling Large Language Model Agents with Entropic Activation Steering
• Title（参考訳）: エントロピー的アクティベーションステアリングによる大規模言語モデルエージェントの制御
• Authors: Nate Rahn, Pierluca D'Oro, Marc G. Bellemare,
• Abstract要約: 本研究では,大規模言語モデル(LLM)が,制御された逐次意思決定タスクにおいて実験を行うことで,信念にどのように作用するかを検討する。 不十分な証拠に基づいて何をすべきかという強い結論を導き、結果として爆発的な振る舞いが不十分になる。 In-context LLMエージェントのアクティベーションステアリング法であるEntropic Activation Steering (EAST)を導入する。
• 参考スコア（独自算出の注目度）: 20.56909601159833
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The generality of pretrained large language models (LLMs) has prompted increasing interest in their use as in-context learning agents. To be successful, such agents must form beliefs about how to achieve their goals based on limited interaction with their environment, resulting in uncertainty about the best action to take at each step. In this paper, we study how LLM agents form and act on these beliefs by conducting experiments in controlled sequential decision-making tasks. To begin, we find that LLM agents are overconfident: They draw strong conclusions about what to do based on insufficient evidence, resulting in inadequately explorative behavior. We dig deeper into this phenomenon and show how it emerges from a collapse in the entropy of the action distribution implied by sampling from the LLM. We then demonstrate that existing token-level sampling techniques are by themselves insufficient to make the agent explore more. Motivated by this fact, we introduce Entropic Activation Steering (EAST), an activation steering method for in-context LLM agents. EAST computes a steering vector as an entropy-weighted combination of representations, and uses it to manipulate an LLM agent's uncertainty over actions by intervening on its activations during the forward pass. We show that EAST can reliably increase the entropy in an LLM agent's actions, causing more explorative behavior to emerge. Finally, EAST modifies the subjective uncertainty an LLM agent expresses, paving the way to interpreting and controlling how LLM agents represent uncertainty about their decisions.
• Abstract（参考訳）: 事前訓練された大規模言語モデル(LLM)の汎用性は、文脈内学習エージェントとしての使用に対する関心を高めている。 成功させるためには、このようなエージェントは環境との限られた相互作用に基づいて目標を達成する方法についての信念を定めなければならない。 本稿では,LLMエージェントがこれらの信念に対してどのように作用するかを,制御された逐次意思決定タスクにおける実験により検討する。 まず、LSMのエージェントは過信であり、不十分な証拠に基づいて何をすべきかという強い結論を導き、結果として爆発的な振る舞いが不十分になる。 我々は,この現象を深く掘り下げ,LLMからのサンプリングによって引き起こされる作用分布のエントロピーの崩壊からどのように現れるかを示す。 次に,既存のトークンレベルのサンプリング技術は,エージェントの探索に不十分であることを示す。 この事実に感銘を受けて, テキスト内LCMエージェントのアクティベーションステアリング法であるEntropic Activation Steering (EAST)を導入する。 EASTは、エントロピー重み付けされた表現の組み合わせとしてステアリングベクトルを計算し、前方通過中にその活性化に介入することで、LDMエージェントの動作に対する不確実性を操作する。 EAST は LLM エージェントの作用のエントロピーを確実に増加させ,より爆発的な挙動を生じさせることを示す。 最後に、EASTは、LLMエージェントが表現する主観的不確実性を修正し、LLMエージェントがそれらの決定に対して不確実性をどう表現するかを解釈し、制御する方法を舗装する。

関連論文リスト

• SAC-GLAM: Improving Online RL for LLM agents with Soft Actor-Critic and Hindsight Relabeling [29.29604779151457]
  本稿では,LSM剤に適応するソフトアクター・クライトと後方視の適応について検討する。 本手法は,従来のマルチゴールRL環境において,オンライン学習を行う自動LLMエージェントへの道筋を示す。
  論文  参考訳（メタデータ） (2024-10-16T11:59:27Z)
• CtrlA: Adaptive Retrieval-Augmented Generation via Inherent Control [26.21425058462886]
  大規模言語モデル(LLM)の幻覚を、検索された外部知識で緩和するための有望な解決策として、検索拡張世代(RAG)が出現している。 本稿では,適応的なRAGを表現的視点から解決し,固有な制御ベースフレームワークであるnameを開発するための最初の試みについて述べる。 実験により、名前は様々なタスクにおいて既存の適応RAG法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2024-05-29T03:17:16Z)
• The Strong Pull of Prior Knowledge in Large Language Models and Its Impact on Emotion Recognition [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理のための強力なパラダイムとして登場した。 LLMには、感情認識において強いが矛盾する先行性があり、その予測に影響を及ぼすことが示される。 以上の結果から,ICLをより大きなLCMで事前学習領域外の情動中心タスクに使用する場合,注意が必要であることが示唆された。
  論文  参考訳（メタデータ） (2024-03-25T19:07:32Z)
• Empowering Large Language Model Agents through Action Learning [85.39581419680755]
  大規模言語モデル(LLM)エージェントは最近ますます関心を集めているが、試行錯誤から学ぶ能力は限られている。 我々は、経験から新しい行動を学ぶ能力は、LLMエージェントの学習の進歩に欠かせないものであると論じる。 我々はPython関数の形式でアクションを作成し改善するための反復学習戦略を備えたフレームワークLearningActを紹介した。
  論文  参考訳（メタデータ） (2024-02-24T13:13:04Z)
• Formally Specifying the High-Level Behavior of LLM-Based Agents [24.645319505305316]
  LLMはタスク固有の微調整モデルを必要とせずに、課題を解決するための有望なツールとして登場した。 現在、このようなエージェントの設計と実装はアドホックであり、LLMベースのエージェントが自然に適用できる様々なタスクは、エージェント設計に一律に適合するアプローチが存在しないことを意味する。 エージェント構築のプロセスを簡単にする最小主義的生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-12T17:24:15Z)
• LanguageMPC: Large Language Models as Decision Makers for Autonomous Driving [87.1164964709168]
  この作業では、複雑な自律運転シナリオの意思決定コンポーネントとして、Large Language Models(LLM)を採用している。 大規模実験により,提案手法は単車載タスクのベースラインアプローチを一貫して超えるだけでなく,複数車載コーディネートにおいても複雑な運転動作の処理にも有効であることが示された。
  論文  参考訳（メタデータ） (2023-10-04T17:59:49Z)
• ExpeL: LLM Agents Are Experiential Learners [60.54312035818746]
  実験学習エージェント(ExpeL)を導入し、パラメトリック更新を必要とせずにエージェント体験から学習できるようにする。 我々のエージェントは、経験を自律的に収集し、学習課題の集合から自然言語を用いて知識を抽出する。 推論において、エージェントは抽出された洞察と過去の経験をリコールし、情報的決定を行う。
  論文  参考訳（メタデータ） (2023-08-20T03:03:34Z)
• AgentBench: Evaluating LLMs as Agents [88.45506148281379]
  大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。 我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
  論文  参考訳（メタデータ） (2023-08-07T16:08:11Z)
• Do Embodied Agents Dream of Pixelated Sheep: Embodied Decision Making using Language Guided World Modelling [101.59430768507997]
  強化学習 (Reinforcement Learning, RL) エージェントは通常、世界の事前の知識なしに、タブラララザを学習する。 抽象世界モデル (AWM) を仮定するために, 少数ショット大言語モデル (LLM) を提案する。 LLMを用いてAWMを仮定し, エージェント経験に基づくAWMの検証を行うことで, 従来手法よりもサンプル効率を桁違いに向上させることができる。
  論文  参考訳（メタデータ） (2023-01-28T02:04:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。