論文の概要: What's in an embedding? Would a rose by any embedding smell as sweet?

• arxiv url: http://arxiv.org/abs/2406.06870v2
• Date: Wed, 12 Jun 2024 18:38:13 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-14 11:35:08.671729
• Title: What's in an embedding? Would a rose by any embedding smell as sweet?
• Title（参考訳）: 埋め込みには何が入っていますか。埋め込みの匂いは甘いでしょうか?
• Authors: Venkat Venkatasubramanian,
• Abstract要約: 大規模言語モデル(LLM)は、真の「理解」と知識を「理解」する能力に欠けるとしてしばしば批判される。 我々は LLM が「幾何学的」な経験的な「下地」を開発しており, NLP の応用には十分と思われることを示唆する。 これらの制限を克服するために、私たちはLLMをエキスパートシステムで使用されるシンボリックAI要素を含む知識の「代数的」表現に統合すべきだと提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are often criticized for lacking true "understanding" and an ability to "reason" with their knowledge, being seen merely as advanced autocomplete systems. We believe that this perspective might be missing an important insight. We suggest that LLMs do develop a kind of empirical "understanding" that is "geometry"-like, which seems quite sufficient for a range of applications in NLP, computer vision, coding assistance, etc. However, this "geometric" understanding, built from incomplete and noisy data, makes them unreliable, difficult to generalize, and lacking in inference capabilities and explanations, similar to the challenges faced by heuristics-based expert systems decades ago. To overcome these limitations, we suggest that LLMs should be integrated with an "algebraic" representation of knowledge that includes symbolic AI elements used in expert systems. This integration aims to create large knowledge models (LKMs) that not only possess "deep" knowledge grounded in first principles, but also have the ability to reason and explain, mimicking human expert capabilities. To harness the full potential of generative AI safely and effectively, a paradigm shift from LLMs to the more comprehensive LKMs is needed.
• Abstract（参考訳）: LLM(Large Language Models)はしばしば、真の「理解」が欠如しており、その知識を「理解する」能力が欠如しているとして批判されている。 私たちはこの視点が重要な洞察を欠いていると信じています。 我々はLSMが「幾何学的」のような経験的な「下地」を開発しており、NLP、コンピュータビジョン、コーディング支援など様々な応用に十分と思われることを示唆している。 しかし、この「幾何学的」理解は、不完全でノイズの多いデータから構築され、数十年前にヒューリスティックスベースのエキスパートシステムによって直面した課題と同様に、信頼できない、一般化が難しい、推論能力や説明が欠如している。 これらの制限を克服するために、私たちはLLMをエキスパートシステムで使用されるシンボリックAI要素を含む知識の「代数的」表現に統合すべきだと提案する。 この統合の目的は、第一原理に根ざした「深い」知識を持つだけでなく、人間専門家の能力を模倣し、説明し、説明する能力を持つ、大きな知識モデル(LKM)を作ることである。 生成AIの潜在能力を安全かつ効果的に活用するためには、LLMからより包括的なLKMへのパラダイムシフトが必要である。

関連論文リスト

• Knowledge Mechanisms in Large Language Models: A Survey and Perspective [88.51320482620679]
  本稿では,知識利用と進化を含む新しい分類法から知識メカニズムの解析をレビューする。 LLMが学んだ知識、パラメトリック知識の脆弱性の理由、そして解決が難しい潜在的な暗黒知識(仮説)について論じる。
  論文  参考訳（メタデータ） (2024-07-22T06:15:59Z)
• Should We Fear Large Language Models? A Structural Analysis of the Human Reasoning System for Elucidating LLM Capabilities and Risks Through the Lens of Heidegger's Philosophy [0.0]
  本研究では,Large Language Models(LLM)の能力とリスクについて検討する。 LLM内の単語関係の統計的パターンと、Martin Heidegger氏の概念である"ready-to-hand"と"present-at-hand"の間には、革新的な並列性がある。 以上の結果から, LLMには直接的説明推論と擬似論理推論の能力があるが, 真理的推論に乏しく, 創造的推論能力がないことが明らかとなった。
  論文  参考訳（メタデータ） (2024-03-05T19:40:53Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [57.747888532651]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Large Knowledge Model: Perspectives and Challenges [37.42721596964844]
  emphLarge Language Models (LLMs) は、広範囲なシーケンスベースの世界知識をニューラルネットワークに事前学習する。 本稿では,「知識」のレンズを用いた大規模モデルについて考察する。 人間の知識の複雑な性質を考えると、私たちはEmphLarge Knowledge Models(LKM)の作成を提唱する。
  論文  参考訳（メタデータ） (2023-12-05T12:07:30Z)
• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
  本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。 本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
  論文  参考訳（メタデータ） (2023-11-14T13:24:19Z)
• Democratizing Reasoning Ability: Tailored Learning from Large Language Model [97.4921006089966]
  そこで我々は,そのような推論能力をより小さなLMに蒸留する,適切な学習手法を提案する。 対話型多ラウンド学習パラダイムを構築することにより,理科教員としてのLLMの可能性を活用する。 より小さなLMの推論可能性を活用するために,学生が自作ミスから学習する動機付けを目的とした自己回帰学習を提案する。
  論文  参考訳（メタデータ） (2023-10-20T07:50:10Z)
• From task structures to world models: What do LLMs know? [0.0]
  大規模言語モデルにはどのような意味があるのでしょうか? 我々は LLM に「制度的な知識」を与えることで答える。 そして、そのような知識が、人間のエージェントによって提示されるより普通の「現実的な」知識とどのように関連しているかを問う。
  論文  参考訳（メタデータ） (2023-10-06T14:21:59Z)
• Generative AI vs. AGI: The Cognitive Strengths and Weaknesses of Modern LLMs [0.0]
  このようなLCMの漸進的な改善は、人間レベルのAGIに向けた取り組みにおいて、実現可能なアプローチではない、と論じられている。 LLMに関する社会的・倫理的事項は、この観点から非常に簡潔に扱われる。
  論文  参考訳（メタデータ） (2023-09-19T07:12:55Z)
• Knowledge Solver: Teaching LLMs to Search for Domain Knowledge from Knowledge Graphs [19.0797968186656]
  大規模言語モデル(LLM)は汎用的であり、その創発的能力と一般化性のために異なるタスクを解くことができる。 以前の研究では、グラフニューラルネットワーク(GNN)のような追加モジュールは、外部の知識ベースから取得した知識に基づいて訓練されている。
  論文  参考訳（メタデータ） (2023-09-06T15:55:01Z)
• Brain in a Vat: On Missing Pieces Towards Artificial General Intelligence in Large Language Models [83.63242931107638]
  本稿では,知的エージェントの4つの特徴について述べる。 実世界の物体との活発な関わりは、概念的表現を形成するためのより堅牢な信号をもたらすと我々は主張する。 我々は、人工知能分野における将来的な研究の方向性を概説して結論付ける。
  論文  参考訳（メタデータ） (2023-07-07T13:58:16Z)
• Do Large Language Models Know What They Don't Know? [74.65014158544011]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクに優れた知識を持つ。 膨大な知識にもかかわらず、LLMはそれらが適合し理解できる情報の量によって制限されている。 本研究の目的は,LLMの自己理解能力を評価することである。
  論文  参考訳（メタデータ） (2023-05-29T15:30:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。