論文の概要: Large Language Models Think Too Fast To Explore Effectively

• arxiv url: http://arxiv.org/abs/2501.18009v1
• Date: Wed, 29 Jan 2025 21:51:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-31 15:14:21.747501
• Title: Large Language Models Think Too Fast To Explore Effectively
• Title（参考訳）: 大規模な言語モデルは、効果的に探索するには早すぎると考える
• Authors: Lan Pan, Hanbo Xie, Robert C. Wilson,
• Abstract要約: 大規模言語モデルが、特にオープンなタスクにおいて、効果的に探索できる範囲は、まだ不明である。 本研究では、Little Alchemy 2をパラダイムとして、オープンエンドタスクにおいて、LLMが人間を超えることができるかどうかを検討する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Large Language Models have emerged many intellectual capacities. While numerous benchmarks assess their intelligence, limited attention has been given to their ability to explore, an essential capacity for discovering new information and adapting to novel environments in both natural and artificial systems. The extent to which LLMs can effectively explore, particularly in open-ended tasks, remains unclear. This study investigates whether LLMs can surpass humans in exploration during an open-ended task, using Little Alchemy 2 as a paradigm, where agents combine elements to discover new ones. Results show most LLMs underperform compared to humans, except for the o1 model, with those traditional LLMs relying primarily on uncertainty driven strategies, unlike humans who balance uncertainty and empowerment. Representational analysis of the models with Sparse Autoencoders revealed that uncertainty and choices are represented at earlier transformer blocks, while empowerment values are processed later, causing LLMs to think too fast and make premature decisions, hindering effective exploration. These findings shed light on the limitations of LLM exploration and suggest directions for improving their adaptability.
• Abstract（参考訳）: 大規模言語モデルは多くの知的能力を生み出している。 多くのベンチマークがインテリジェンスを評価する一方で、新しい情報を発見し、自然システムと人工システムの両方で新しい環境に適応するための重要な能力である探索能力に限定的に注意が向けられている。 LLMが、特にオープンなタスクにおいて、効果的に探索できる範囲は、まだ不明である。 本研究では、Little Alchemy 2を、エージェントが要素を結合して新しいものを発見するパラダイムとして用いて、オープンエンドタスク中にLLMが人間を超えることができるかどうかを調査する。 その結果、従来のLSMは、不確実性とエンパワーメントのバランスをとる人間とは異なり、主に不確実性駆動戦略に依存している。 スパースオートエンコーダを用いたモデルの表現解析により、初期変圧器ブロックで不確実性と選択が表現される一方で、エンパワーメント値が後続処理され、LCMの思考が早すぎ、早すぎる決定が下され、効率的な探索が妨げられることが明らかになった。 これらの知見は, LLM探査の限界に光を当て, 適応性向上の方向性を示唆した。

関連論文リスト

• Satori: Reinforcement Learning with Chain-of-Action-Thought Enhances LLM Reasoning via Autoregressive Search [57.28671084993782]
  大規模言語モデル(LLM)は、様々な領域にまたがる顕著な推論能力を示している。 近年の研究では、テスト時間計算の増加はLLMの推論能力を高めることが示されている。 そこで我々は,1)COAT推論形式を内部化するための小規模な形式調整段階,2)強化学習を活用した大規模自己改善段階を提案する。
  論文  参考訳（メタデータ） (2025-02-04T17:26:58Z)
• Should You Use Your Large Language Model to Explore or Exploit? [55.562545113247666]
  探索・探索トレードオフに直面した意思決定エージェントを支援するために,大規模言語モデルの能力を評価する。 現在のLLMは、しばしば利用に苦労するが、小規模タスクのパフォーマンスを大幅に改善するために、コンテキスト内緩和が用いられる可能性がある。
  論文  参考訳（メタデータ） (2025-01-31T23:42:53Z)
• Causality for Large Language Models [37.10970529459278]
  数十億または数兆のパラメータを持つ大規模言語モデル(LLM)は、膨大なデータセットでトレーニングされており、一連の言語タスクで前例のない成功を収めている。 近年の研究では、LLMは因果オウムとして機能し、因果知識を真に理解したり応用したりすることなくリサイクリングすることができることが強調されている。 本調査は, ライフサイクルのすべての段階において, 因果性がどのようにLCMを強化するかを検討することを目的としている。
  論文  参考訳（メタデータ） (2024-10-20T07:22:23Z)
• Can Large Language Models Create New Knowledge for Spatial Reasoning Tasks? [0.0]
  本研究では,Large Language Models (LLM) が空間次元を持つ問題に対して洗練された推論を行うことができることを示した。 これは、最先端のLLMが今や達成できるという、かなりのレベルの理解を示している。
  論文  参考訳（メタデータ） (2024-05-23T09:54:54Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Deception Abilities Emerged in Large Language Models [0.0]
  大規模言語モデル(LLM)は、現在、人間のコミュニケーションと日常の生活を備えた人工知能(AI)システムの最前線にある。 本研究は, GPT-4 などの最先端 LLM にそのような戦略が出現したが, 初期の LLM には存在しなかったことを明らかにする。 我々は、最先端のLLMが他のエージェントの誤った信念を理解し、誘導できることを示す一連の実験を行う。
  論文  参考訳（メタデータ） (2023-07-31T09:27:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。