論文の概要: From task structures to world models: What do LLMs know?

• arxiv url: http://arxiv.org/abs/2310.04276v1
• Date: Fri, 6 Oct 2023 14:21:59 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-09 16:09:50.490317
• Title: From task structures to world models: What do LLMs know?
• Title（参考訳）: タスク構造から世界モデル: LLMは何を知っているのか?
• Authors: Ilker Yildirim, L.A. Paul
• Abstract要約: 大規模言語モデルにはどのような意味があるのでしょうか? 我々は LLM に「制度的な知識」を与えることで答える。 そして、そのような知識が、人間のエージェントによって提示されるより普通の「現実的な」知識とどのように関連しているかを問う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In what sense does a large language model have knowledge? The answer to this question extends beyond the capabilities of a particular AI system, and challenges our assumptions about the nature of knowledge and intelligence. We answer by granting LLMs "instrumental knowledge"; knowledge defined by a certain set of abilities. We then ask how such knowledge is related to the more ordinary, "worldly" knowledge exhibited by human agents, and explore this in terms of the degree to which instrumental knowledge can be said to incorporate the structured world models of cognitive science. We discuss ways LLMs could recover degrees of worldly knowledge, and suggest such recovery will be governed by an implicit, resource-rational tradeoff between world models and task demands.
• Abstract（参考訳）: ところで、大きな言語モデルはどんな意味で知識を持っていますか。 この質問に対する答えは、特定のAIシステムの能力を超えて、知識と知性の性質に関する私たちの仮定に挑戦する。 我々は LLM に「制度的な知識」を与えることで答える。 次に、そのような知識が、人間のエージェントが提示するより普通の「ワールドリー」な知識とどのように関係しているかを問うとともに、認知科学の構造化された世界モデルが組み込まれていると言えそうなインストゥルメンタル知識の程度の観点から、これを探求する。 我々は、LLMが世界の知識の度合いを回復する方法について議論し、そのようなリカバリは世界モデルとタスク要求の間の暗黙的なリソース・リレーショナルなトレードオフによって管理されることを示唆する。

関連論文リスト

• Knowledge Mechanisms in Large Language Models: A Survey and Perspective [88.51320482620679]
  本稿では,知識利用と進化を含む新しい分類法から知識メカニズムの解析をレビューする。 LLMが学んだ知識、パラメトリック知識の脆弱性の理由、そして解決が難しい潜在的な暗黒知識(仮説)について論じる。
  論文  参考訳（メタデータ） (2024-07-22T06:15:59Z)
• Chain-of-Knowledge: Integrating Knowledge Reasoning into Large Language Models by Learning from Knowledge Graphs [55.317267269115845]
  Chain-of-Knowledge (CoK)は知識推論のための包括的なフレームワークである。 CoKにはデータセット構築とモデル学習の両方のための方法論が含まれている。 KnowReasonで広範な実験を行う。
  論文  参考訳（メタデータ） (2024-06-30T10:49:32Z)
• What's in an embedding? Would a rose by any embedding smell as sweet? [0.0]
  大規模言語モデル(LLM)は、真の「理解」と知識を「理解」する能力に欠けるとしてしばしば批判される。 我々は, LLM が「幾何学的」な経験的「下地」を発達させ, NLP の様々な応用に適していると考えられることを示唆する。 これらの制限を克服するために、LLMはシンボリックAI要素を含む知識の「代数的」表現と統合されるべきである。
  論文  参考訳（メタデータ） (2024-06-11T01:10:40Z)
• KnowTuning: Knowledge-aware Fine-tuning for Large Language Models [83.5849717262019]
  本研究では,LLMの微粒で粗粒な知識認識を改善するための知識認識ファインタニング(KnowTuning)手法を提案する。 KnowTuningは、きめ細かい事実評価の下で、より少ない事実エラー率で多くの事実を生成する。
  論文  参考訳（メタデータ） (2024-02-17T02:54:32Z)
• Large Knowledge Model: Perspectives and Challenges [37.42721596964844]
  emphLarge Language Models (LLMs) は、広範囲なシーケンスベースの世界知識をニューラルネットワークに事前学習する。 本稿では,「知識」のレンズを用いた大規模モデルについて考察する。 人間の知識の複雑な性質を考えると、私たちはEmphLarge Knowledge Models(LKM)の作成を提唱する。
  論文  参考訳（メタデータ） (2023-12-05T12:07:30Z)
• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
  本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。 本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
  論文  参考訳（メタデータ） (2023-11-14T13:24:19Z)
• Do Large Language Models Know What They Don't Know? [74.65014158544011]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。 膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。 本研究の目的は,LLMの自己理解能力を評価することである。
  論文  参考訳（メタデータ） (2023-05-29T15:30:13Z)
• Learning by Applying: A General Framework for Mathematical Reasoning via Enhancing Explicit Knowledge Learning [47.96987739801807]
  本稿では,既存のモデル(バックボーン)を明示的な知識学習によって原則的に拡張する枠組みを提案する。 LeApでは,新しい問題知識表現パラダイムで知識学習を行う。 LeApはすべてのバックボーンのパフォーマンスを改善し、正確な知識を習得し、より解釈可能な推論プロセスを実現する。
  論文  参考訳（メタデータ） (2023-02-11T15:15:41Z)
• Towards a Universal Continuous Knowledge Base [49.95342223987143]
  複数のニューラルネットワークからインポートされた知識を格納できる継続的知識基盤を構築する方法を提案する。 テキスト分類実験は有望な結果を示す。 我々は複数のモデルから知識ベースに知識をインポートし、そこから融合した知識を単一のモデルにエクスポートする。
  論文  参考訳（メタデータ） (2020-12-25T12:27:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。