論文の概要: Predictive Minds: LLMs As Atypical Active Inference Agents
- arxiv url: http://arxiv.org/abs/2311.10215v1
- Date: Thu, 16 Nov 2023 22:11:12 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-22 15:24:23.411687
- Title: Predictive Minds: LLMs As Atypical Active Inference Agents
- Title(参考訳): 予測的思考:非定型的アクティブ推論エージェントとしてのLLM
- Authors: Jan Kulveit, Clem von Stengel and Roman Leventov
- Abstract要約: GPTのような大きな言語モデル(LLM)は、しばしば受動的予測器、シミュレータ、さらにはオウムとして概念化される。
我々は認知科学と神経科学を起源とする能動推論理論を基礎としてLSMを概念化する。
- 参考スコア(独自算出の注目度): 0.276240219662896
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) like GPT are often conceptualized as passive
predictors, simulators, or even stochastic parrots. We instead conceptualize
LLMs by drawing on the theory of active inference originating in cognitive
science and neuroscience. We examine similarities and differences between
traditional active inference systems and LLMs, leading to the conclusion that,
currently, LLMs lack a tight feedback loop between acting in the world and
perceiving the impacts of their actions, but otherwise fit in the active
inference paradigm. We list reasons why this loop may soon be closed, and
possible consequences of this including enhanced model self-awareness and the
drive to minimize prediction error by changing the world.
- Abstract(参考訳): GPTのような大きな言語モデル(LLM)は、しばしば受動的予測器、シミュレータ、あるいは確率オウムとして概念化される。
代わりに、認知科学と神経科学を起源とする能動推論理論に基づいて、LSMを概念化する。
従来の能動推論システムとllmの類似性と相違について検討し,現在,llmは世界の行動と行動の影響を知覚する上での密接なフィードバックループを欠いているが,それ以外は能動推論パラダイムに適合していると結論づけている。
このループがすぐにクローズされる理由をリストアップし、拡張されたモデル自己認識や、世界を変えることによって予測エラーを最小限に抑える駆動など、この結果の可能性を挙げる。
関連論文リスト
- Language Model Evolution: An Iterated Learning Perspective [27.63295869974611]
我々は,Large Language Models (LLMs) の行動と人間の文化の進化の類似性を描いている。
我々のアプローチは、人間の文化進化においてどのように微妙なバイアスが拡大されるかを解明するベイズ的枠組みである反復学習(IL)を活用することである。
本稿では,ベイジアン・イルフレームワークにおけるエージェントの行動の特徴を概説する。
論文 参考訳(メタデータ) (2024-04-04T02:01:25Z) - Wait, It's All Token Noise? Always Has Been: Interpreting LLM Behavior Using Shapley Value [1.223779595809275]
大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。
しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。
本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
論文 参考訳(メタデータ) (2024-03-29T22:49:43Z) - What if...?: Counterfactual Inception to Mitigate Hallucination Effects in Large Multimodal Models [50.97705264224828]
本稿では,LMMに反現実的思考を埋め込む新しい手法である反現実的インセプションを紹介する。
この人間ライクな推論機構をLMMに適用することにより、幻覚効果を低減し、モデルの信頼性を向上させることを目指している。
論文 参考訳(メタデータ) (2024-03-20T11:27:20Z) - Characterizing Truthfulness in Large Language Model Generations with
Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。
モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文 参考訳(メタデータ) (2024-02-28T04:56:21Z) - Systematic Biases in LLM Simulations of Debates [14.12892960275563]
本研究では,人間の相互作用をシミュレーションする際のLLM(Large Language Models)の限界を明らかにする。
以上の結果から,LLMエージェントが特定の政治的視点から議論される一方で,モデル固有の社会的バイアスに適合する傾向が示唆された。
この傾向は、人間の間で確立された社会的ダイナミクスから逸脱しているように見える行動パターンをもたらす。
論文 参考訳(メタデータ) (2024-02-06T14:51:55Z) - Sparsity-Guided Holistic Explanation for LLMs with Interpretable
Inference-Time Intervention [53.896974148579346]
大規模言語モデル(LLM)は、様々な自然言語処理領域において前例のないブレークスルーを達成した。
LLMの謎的なブラックボックスの性質は、透過的で説明可能なアプリケーションを妨げる、解釈可能性にとって重要な課題である。
本稿では,LLMの全体的解釈を提供することを目的として,スポーシティ誘導技術に係わる新しい方法論を提案する。
論文 参考訳(メタデータ) (2023-12-22T19:55:58Z) - Interpreting Pretrained Language Models via Concept Bottlenecks [55.47515772358389]
事前訓練された言語モデル(PLM)は、様々な自然言語処理タスクにおいて大きな進歩を遂げてきた。
ブラックボックスの性質による解釈可能性の欠如は、責任ある実装に課題をもたらす。
本研究では,人間にとって理解しやすい高レベルで有意義な概念を用いて,PLMを解釈する新しい手法を提案する。
論文 参考訳(メタデータ) (2023-11-08T20:41:18Z) - Improving Language Models Meaning Understanding and Consistency by
Learning Conceptual Roles from Dictionary [65.268245109828]
現代事前訓練言語モデル(PLM)の非人間的行動は、その信頼性を損なう主要な原因である。
驚くべき現象は、矛盾した結果を生み出す不整合予測の生成である。
本研究では,PLMの認知度を向上させることで,一貫性のない行動問題を緩和する実践的アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-24T06:15:15Z) - An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning [70.48605869773814]
カタストロフィック・ナッシング(英: Catastrophic forgetting、CF)は、機械学習において、モデルが新しい知識を取得しながら学習した情報を忘れたときに発生する現象である。
本研究では,大規模言語モデル(LLM)における連続的指導調律時の忘れ現象を実験的に評価する。
論文 参考訳(メタデータ) (2023-08-17T02:53:23Z) - Deception Abilities Emerged in Large Language Models [0.0]
大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を備えた人工知能(AI)システムの最前線にある。
本研究は, GPT-4 などの最先端 LLM にそのような戦略が出現したが, 初期の LLM には存在しなかったことを明らかにする。
我々は、最先端のLLMが他のエージェントの誤った信念を理解し、誘導できることを示す一連の実験を行う。
論文 参考訳(メタデータ) (2023-07-31T09:27:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。