論文の概要: Rethinking Language Models as Symbolic Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2308.13676v1
• Date: Fri, 25 Aug 2023 21:25:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 19:44:49.710402
• Title: Rethinking Language Models as Symbolic Knowledge Graphs
• Title（参考訳）: 記号的知識グラフとしての言語モデルの再考
• Authors: Vishwas Mruthyunjaya, Pouya Pezeshkpour, Estevam Hruschka, Nikita Bhutani
• Abstract要約: シンボリック・ナレッジグラフ(英語版)(KG)は、検索、質問応答、レコメンデーションといった知識中心のアプリケーションにおいて重要な役割を果たす。 我々は、対称性、非対称性、階層性、双方向性、構成性、パス、エンティティ中心性、バイアス、曖昧さを含む属性のスペクトルを含む9つの定性的ベンチマークを構築した。
• 参考スコア（独自算出の注目度）: 7.192286645674803
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Symbolic knowledge graphs (KGs) play a pivotal role in knowledge-centric applications such as search, question answering and recommendation. As contemporary language models (LMs) trained on extensive textual data have gained prominence, researchers have extensively explored whether the parametric knowledge within these models can match up to that present in knowledge graphs. Various methodologies have indicated that enhancing the size of the model or the volume of training data enhances its capacity to retrieve symbolic knowledge, often with minimal or no human supervision. Despite these advancements, there is a void in comprehensively evaluating whether LMs can encompass the intricate topological and semantic attributes of KGs, attributes crucial for reasoning processes. In this work, we provide an exhaustive evaluation of language models of varying sizes and capabilities. We construct nine qualitative benchmarks that encompass a spectrum of attributes including symmetry, asymmetry, hierarchy, bidirectionality, compositionality, paths, entity-centricity, bias and ambiguity. Additionally, we propose novel evaluation metrics tailored for each of these attributes. Our extensive evaluation of various LMs shows that while these models exhibit considerable potential in recalling factual information, their ability to capture intricate topological and semantic traits of KGs remains significantly constrained. We note that our proposed evaluation metrics are more reliable in evaluating these abilities than the existing metrics. Lastly, some of our benchmarks challenge the common notion that larger LMs (e.g., GPT-4) universally outshine their smaller counterparts (e.g., BERT).
• Abstract（参考訳）: 記号的知識グラフ(KG)は、検索、質問応答、レコメンデーションといった知識中心のアプリケーションにおいて重要な役割を果たす。 膨大なテキストデータに基づいて訓練された現代言語モデル (LM) が注目されているため、研究者はこれらのモデル内のパラメトリック知識が知識グラフのそれと一致するかどうかを幅広く研究してきた。 様々な方法論は、モデルのサイズやトレーニングデータの量を増やすことで象徴的な知識を得られる能力が増すことを示している。 これらの進歩にもかかわらず、LMがKGの複雑なトポロジカル・セマンティック属性(推論過程に不可欠な属性)を包含できるかどうかを包括的に評価するヴォイドが存在する。 本研究では,様々なサイズと能力を持つ言語モデルの徹底的な評価を行う。 我々は、対称性、非対称性、階層構造、双方向性、構成性、パス、エンティティ中心性、バイアス、曖昧性を含む属性のスペクトルを包含する9つの質的ベンチマークを構築した。 さらに,これらの属性に合わせた新しい評価指標を提案する。 様々なLMについて広範囲に評価したところ、これらのモデルは事実情報を記憶する上で大きな可能性を秘めているが、KGsの複雑なトポロジカル・セマンティックな特性を捉える能力は著しく制約されている。 提案した評価指標は,既存の指標よりも信頼性が高いことに留意する。 最後に、我々のベンチマークのいくつかは、より大きなLM(例えば GPT-4)がより小さなLM(例えば BERT)を普遍的に上回っているという共通概念に挑戦している。

関連論文リスト

• When Context Leads but Parametric Memory Follows in Large Language Models [4.567122178196834]
  大規模言語モデル (LLM) は多様な知識源の活用において顕著な進歩を見せている。 本研究では,9つのLLMがオープンな質問に対して,局所的な文脈とグローバルなパラメータの知識を割り当てる方法について検討した。
  論文  参考訳（メタデータ） (2024-09-13T00:03:19Z)
• Evaluating the Impact of Advanced LLM Techniques on AI-Lecture Tutors for a Robotics Course [0.35132421583441026]
  本研究では,大規模言語モデル(LLM)を人工知能を用いた大学授業用チューターとして評価する。 特に、プロンプトエンジニアリング、Retrieval-Augmented-Generation (RAG)、ファインチューニングなど、様々な高度な技術が利用されている。 以上の結果から,RAGと迅速なエンジニアリングを組み合わせることで,モデル応答が大幅に向上し,より優れた事実解が得られることが示唆された。
  論文  参考訳（メタデータ） (2024-08-02T19:49:19Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Towards Verifiable Generation: A Benchmark for Knowledge-aware Language Model Attribution [48.86322922826514]
  本稿では,知識認識型言語モデル属性(KaLMA)の新たな課題について述べる。 まず、属性のソースを構造化されていないテキストから知識グラフ(KG)に拡張し、そのリッチな構造は属性のパフォーマンスと作業シナリオの両方に役立ちます。 第2に,不完全な知識リポジトリを考慮した「意識的非能力」の設定を提案する。 第3に,テキスト品質,引用品質,引用アライメントを含む総合的な自動評価指標を提案する。
  論文  参考訳（メタデータ） (2023-10-09T11:45:59Z)
• KoLA: Carefully Benchmarking World Knowledge of Large Language Models [87.96683299084788]
  我々は知識指向LLMアセスメントベンチマーク(KoLA)を構築した。 人間の認知を模倣して、知識関連能力の4段階の分類を形成し、19ドルのタスクをカバーします。 私たちは、LLMによって事前訓練されたコーパスであるウィキペディアと、継続的に収集された新興コーパスを使用して、目に見えないデータや進化する知識を扱う能力を評価します。
  論文  参考訳（メタデータ） (2023-06-15T17:20:46Z)
• Sem@$K$: Is my knowledge graph embedding model semantic-aware? [1.8024397171920883]
  我々は、モデルが有効なエンティティw.r.t.ドメインと範囲制約を予測する能力を測定する、以前に紹介したメトリクスSem@Kを拡張した。 実験の結果,Sem@KはKGEMの品質に対する新たな視点を提供することがわかった。 一部のKGEMは本質的に他のものよりも優れているが、この意味上の優位性は、ランクベースのメトリクスのパフォーマンスを示すものではない。
  論文  参考訳（メタデータ） (2023-01-13T15:06:47Z)
• BertNet: Harvesting Knowledge Graphs with Arbitrary Relations from Pretrained Language Models [65.51390418485207]
  本稿では,事前学習したLMから任意の関係を持つ大規模KGを抽出する手法を提案する。 関係定義の最小限の入力により、アプローチは膨大な実体対空間を効率的に探索し、多様な正確な知識を抽出する。 我々は、異なるLMから400以上の新しい関係を持つKGを収穫するためのアプローチを展開している。
  論文  参考訳（メタデータ） (2022-06-28T19:46:29Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• CogME: A Cognition-Inspired Multi-Dimensional Evaluation Metric for Story Understanding [19.113385429326808]
  本稿では,物語理解に着目したAIモデルを対象とした認知型多次元評価指標であるCogMEを紹介する。 我々は,タスクの性質を理解することに基づくメトリクスの必要性を論じ,人間の認知過程と密接に整合するように設計されている。 このアプローチは、従来の全体的なスコアを超えて洞察を提供し、より高い認知機能をターゲットにしたより洗練されたAI開発のための道を開く。
  論文  参考訳（メタデータ） (2021-07-21T02:33:37Z)
• COMET-ATOMIC 2020: On Symbolic and Neural Commonsense Knowledge Graphs [82.8453695903687]
  我々は,手作業で構築したコモンセンス知識グラフ(CSKG)が,NLPエージェントが遭遇するすべての状況に適用可能な範囲を達成できないことを示す。 我々は、事前訓練された言語モデルでは利用できない知識を含む汎用コモンセンス知識の新しいCSKGであるATOMIC 2020を提案する。 我々は,他のCSKGと比較してその特性を評価し,コモンセンス知識資源の大規模一対研究を行った。
  論文  参考訳（メタデータ） (2020-10-12T18:27:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。