論文の概要: Open Problems and a Hypothetical Path Forward in LLM Knowledge Paradigms

• arxiv url: http://arxiv.org/abs/2504.06823v1
• Date: Wed, 09 Apr 2025 12:31:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-10 13:06:44.945290
• Title: Open Problems and a Hypothetical Path Forward in LLM Knowledge Paradigms
• Title（参考訳）: LLM知識パラダイムにおける開放的問題と仮説的経路
• Authors: Xiaotian Ye, Mengqi Zhang, Shu Wu,
• Abstract要約: この記事では、モデル機能を制限する3つの重要なオープン問題を取り上げている。 文脈知識スケーリングに基づく仮説パラダイムを提案する。 エビデンスによれば、このアプローチは現在の欠点に対処する可能性を秘めており、将来のモデルパラダイムのビジョンとして役立ちます。
• 参考スコア（独自算出の注目度）: 14.222205207889543
• License:
• Abstract: Knowledge is fundamental to the overall capabilities of Large Language Models (LLMs). The knowledge paradigm of a model, which dictates how it encodes and utilizes knowledge, significantly affects its performance. Despite the continuous development of LLMs under existing knowledge paradigms, issues within these frameworks continue to constrain model potential. This blog post highlight three critical open problems limiting model capabilities: (1) challenges in knowledge updating for LLMs, (2) the failure of reverse knowledge generalization (the reversal curse), and (3) conflicts in internal knowledge. We review recent progress made in addressing these issues and discuss potential general solutions. Based on observations in these areas, we propose a hypothetical paradigm based on Contextual Knowledge Scaling, and further outline implementation pathways that remain feasible within contemporary techniques. Evidence suggests this approach holds potential to address current shortcomings, serving as our vision for future model paradigms. This blog post aims to provide researchers with a brief overview of progress in LLM knowledge systems, while provide inspiration for the development of next-generation model architectures.
• Abstract（参考訳）: 知識は、Large Language Models (LLM) の全体的な機能の基本である。 モデルの知識パラダイムは、その知識をコード化し利用する方法を規定するものであり、その性能に大きな影響を及ぼす。 既存の知識パラダイムの下でのLLMの継続的な開発にもかかわらず、これらのフレームワーク内の問題はモデルポテンシャルを制限し続けている。 本ブログ記事は, LLMにおける知識更新の課題, 逆知識一般化の失敗(逆の呪い), 内的知識の対立の3つの重要なオープン問題について述べる。 これらの課題に対処する上での最近の進歩を振り返り、今後の一般的な解決策について論じる。 本研究は,これらの領域における観察に基づいて,文脈知識スケーリングに基づく仮説パラダイムを提案し,現代技術で実現可能な実装経路をさらに概説する。 エビデンスによれば、このアプローチは現在の欠点に対処する可能性を秘めており、将来のモデルパラダイムのビジョンとして役立ちます。 このブログ記事は、研究者にLLM知識システムの進歩の簡単な概要を提供し、次世代モデルアーキテクチャの開発にインスピレーションを与えることを目的としている。

関連論文リスト

• How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training [92.88889953768455]
  大きな言語モデル(LLM)は、どのようにして新しい知識を内部化するかを理解する上で、重大なギャップに直面します。 知識記憶と処理を容易にする計算サブグラフを同定する。
  論文  参考訳（メタデータ） (2025-02-16T16:55:43Z)
• Knowledge Boundary of Large Language Models: A Survey [75.67848187449418]
  大規模言語モデル(LLM)はパラメータに膨大な量の知識を格納するが、特定の知識の記憶と利用に制限がある。 これは、LLMの知識境界を理解するための重要な必要性を強調している。 本稿では,LLM知識境界の包括的定義を提案し,知識を4つの異なるタイプに分類する形式化された分類法を提案する。
  論文  参考訳（メタデータ） (2024-12-17T02:14:02Z)
• Knowledge Mechanisms in Large Language Models: A Survey and Perspective [88.51320482620679]
  本稿では,知識利用と進化を含む新しい分類法から知識メカニズムの解析をレビューする。 LLMが学んだ知識、パラメトリック知識の脆弱性の理由、そして解決が難しい潜在的な暗黒知識(仮説)について論じる。
  論文  参考訳（メタデータ） (2024-07-22T06:15:59Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• InfuserKI: Enhancing Large Language Models with Knowledge Graphs via Infuser-Guided Knowledge Integration [58.61492157691623]
  知識を統合する手法が開発され、外部モジュールを通してLLMをドメイン固有の知識グラフに拡張した。 本研究は,未知の知識をLLMに効率的に統合することで,未知の知識を不要に重複させるという,新たな問題に焦点をあてる。 新しい知識を導入するリスクは、既存の知識を忘れることである。
  論文  参考訳（メタデータ） (2024-02-18T03:36:26Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Knowledge Unlearning for LLMs: Tasks, Methods, and Challenges [11.228131492745842]
  大規模言語モデル(LLM)は、自然言語処理における新しい研究パラダイムを刺激している。 知識に基づく質問応答と推論の優れた能力にもかかわらず、欠陥や有害な知識を保持する可能性は、悪意のあるアプリケーションにリスクをもたらす。 機械学習の類似研究から派生した知識アンラーニングは、この問題に対処するための有望な道を示す。
  論文  参考訳（メタデータ） (2023-11-27T12:37:51Z)
• Challenges and Contributing Factors in the Utilization of Large Language Models (LLMs) [10.039589841455136]
  本稿では,大規模言語モデル (LLM) がニッチ分野における専門的な質問に対して正確な回答を提供するのに苦慮する領域特異性の問題について考察する。 トレーニングデータを多様化し、きめ細かいモデルを作成し、透明性と解釈可能性を高め、倫理と公正なトレーニングを取り入れることが推奨されている。
  論文  参考訳（メタデータ） (2023-10-20T08:13:36Z)
• Augmenting LLMs with Knowledge: A survey on hallucination prevention [0.0]
  この調査は言語モデル(LM)の領域を掘り下げ、外部の知識ソースをタップする機能を備えている。 欠落したトークンを予測するという標準的な目的に固執する一方で、これらの拡張LMは多種多様で、おそらくパラメトリックでない外部モジュールを活用する。
  論文  参考訳（メタデータ） (2023-09-28T14:09:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。