論文の概要: Open Problems and a Hypothetical Path Forward in LLM Knowledge Paradigms

• arxiv url: http://arxiv.org/abs/2504.06823v1
• Date: Wed, 09 Apr 2025 12:31:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-17 17:36:46.500626
• Title: Open Problems and a Hypothetical Path Forward in LLM Knowledge Paradigms
• Title（参考訳）: LLM知識パラダイムにおける開放的問題と仮説的経路
• Authors: Xiaotian Ye, Mengqi Zhang, Shu Wu,
• Abstract要約: この記事では、モデル機能を制限する3つの重要なオープン問題を取り上げている。 文脈知識スケーリングに基づく仮説パラダイムを提案する。 エビデンスによれば、このアプローチは現在の欠点に対処する可能性を秘めており、将来のモデルパラダイムのビジョンとして役立ちます。
• 参考スコア（独自算出の注目度）: 14.222205207889543
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge is fundamental to the overall capabilities of Large Language Models (LLMs). The knowledge paradigm of a model, which dictates how it encodes and utilizes knowledge, significantly affects its performance. Despite the continuous development of LLMs under existing knowledge paradigms, issues within these frameworks continue to constrain model potential. This blog post highlight three critical open problems limiting model capabilities: (1) challenges in knowledge updating for LLMs, (2) the failure of reverse knowledge generalization (the reversal curse), and (3) conflicts in internal knowledge. We review recent progress made in addressing these issues and discuss potential general solutions. Based on observations in these areas, we propose a hypothetical paradigm based on Contextual Knowledge Scaling, and further outline implementation pathways that remain feasible within contemporary techniques. Evidence suggests this approach holds potential to address current shortcomings, serving as our vision for future model paradigms. This blog post aims to provide researchers with a brief overview of progress in LLM knowledge systems, while provide inspiration for the development of next-generation model architectures.
• Abstract（参考訳）: 知識は、Large Language Models (LLM) の全体的な機能の基本である。 モデルの知識パラダイムは、その知識をコード化し利用する方法を規定するものであり、その性能に大きな影響を及ぼす。 既存の知識パラダイムの下でのLLMの継続的な開発にもかかわらず、これらのフレームワーク内の問題はモデルポテンシャルを制限し続けている。 本ブログ記事は, LLMにおける知識更新の課題, 逆知識一般化の失敗(逆の呪い), 内的知識の対立の3つの重要なオープン問題について述べる。 これらの課題に対処する上での最近の進歩を振り返り、今後の一般的な解決策について論じる。 本研究は,これらの領域における観察に基づいて,文脈知識スケーリングに基づく仮説パラダイムを提案し,現代技術で実現可能な実装経路をさらに概説する。 エビデンスによれば、このアプローチは現在の欠点に対処する可能性を秘めており、将来のモデルパラダイムのビジョンとして役立ちます。 このブログ記事は、研究者にLLM知識システムの進歩の簡単な概要を提供し、次世代モデルアーキテクチャの開発にインスピレーションを与えることを目的としている。

関連論文リスト

• A Call for New Recipes to Enhance Spatial Reasoning in MLLMs [85.67171333213301]
  MLLM(Multimodal Large Language Models)は、一般的な視覚言語タスクにおいて印象的な性能を示す。 近年の研究では、空間的推論能力の限界が明らかにされている。 この空間的推論の欠如は、MLLMが物理的世界と効果的に相互作用する能力を著しく制限する。
  論文  参考訳（メタデータ） (2025-04-21T11:48:39Z)
• Towards Understanding How Knowledge Evolves in Large Vision-Language Models [55.82918299608732]
  我々はマルチモーダル知識がどのように進化し、最終的にLVLM(Large Vision-Language Models)において自然言語を誘導するかを考察する。 知識進化における2つの重要なノードを同定する: 臨界層と突然変異層、進化過程を3段階に分割する: 急速な進化、安定化、突然変異。 我々の研究は、LVLMにおける知識進化の軌跡を初めて明らかにし、その基盤となるメカニズムを理解するための新たな視点を提供する。
  論文  参考訳（メタデータ） (2025-03-31T17:35:37Z)
• When Continue Learning Meets Multimodal Large Language Model: A Survey [7.250878248686215]
  特定のタスクに対する微調整MLLMは、しばしばモデルの事前知識領域のパフォーマンス低下を引き起こす。 本報告では,本領域における440件の研究論文の概要と分析について述べる。
  論文  参考訳（メタデータ） (2025-02-27T03:39:10Z)
• How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training [92.88889953768455]
  大きな言語モデル(LLM)は、どのようにして新しい知識を内部化するかを理解する上で、重大なギャップに直面します。 知識記憶と処理を容易にする計算サブグラフを同定する。
  論文  参考訳（メタデータ） (2025-02-16T16:55:43Z)
• Knowledge Boundary of Large Language Models: A Survey [75.67848187449418]
  大規模言語モデル(LLM)はパラメータに膨大な量の知識を格納するが、特定の知識の記憶と利用に制限がある。 これは、LLMの知識境界を理解するための重要な必要性を強調している。 本稿では,LLM知識境界の包括的定義を提案し,知識を4つの異なるタイプに分類する形式化された分類法を提案する。
  論文  参考訳（メタデータ） (2024-12-17T02:14:02Z)
• Coding for Intelligence from the Perspective of Category [66.14012258680992]
  符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
  論文  参考訳（メタデータ） (2024-07-01T07:05:44Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Knowledge Unlearning for LLMs: Tasks, Methods, and Challenges [11.228131492745842]
  大規模言語モデル(LLM)は、自然言語処理における新しい研究パラダイムを刺激している。 知識に基づく質問応答と推論の優れた能力にもかかわらず、欠陥や有害な知識を保持する可能性は、悪意のあるアプリケーションにリスクをもたらす。 機械学習の類似研究から派生した知識アンラーニングは、この問題に対処するための有望な道を示す。
  論文  参考訳（メタデータ） (2023-11-27T12:37:51Z)
• Challenges and Contributing Factors in the Utilization of Large Language Models (LLMs) [10.039589841455136]
  本稿では,大規模言語モデル (LLM) がニッチ分野における専門的な質問に対して正確な回答を提供するのに苦慮する領域特異性の問題について考察する。 トレーニングデータを多様化し、きめ細かいモデルを作成し、透明性と解釈可能性を高め、倫理と公正なトレーニングを取り入れることが推奨されている。
  論文  参考訳（メタデータ） (2023-10-20T08:13:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。