論文の概要: Locating and Extracting Relational Concepts in Large Language Models

• arxiv url: http://arxiv.org/abs/2406.13184v1
• Date: Wed, 19 Jun 2024 03:29:51 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-21 23:19:12.000979
• Title: Locating and Extracting Relational Concepts in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける関係概念の配置と抽出
• Authors: Zijian Wang, Britney White, Chang Xu,
• Abstract要約: 我々は,事実記憶過程における因果解析を通じて,実体と関係概念を表現できる隠された状態を特定する。 その結果,リレーショナル表現はリライトによる制御可能なファクトリコールに有意な可能性を示唆している。
• 参考スコア（独自算出の注目度）: 17.868358723188155
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Relational concepts are indeed foundational to the structure of knowledge representation, as they facilitate the association between various entity concepts, allowing us to express and comprehend complex world knowledge. By expressing relational concepts in natural language prompts, people can effortlessly interact with large language models (LLMs) and recall desired factual knowledge. However, the process of knowledge recall lacks interpretability, and representations of relational concepts within LLMs remain unknown to us. In this paper, we identify hidden states that can express entity and relational concepts through causal mediation analysis in fact recall processes. Our finding reveals that at the last token position of the input prompt, there are hidden states that solely express the causal effects of relational concepts. Based on this finding, we assume that these hidden states can be treated as relational representations and we can successfully extract them from LLMs. The experimental results demonstrate high credibility of the relational representations: they can be flexibly transplanted into other fact recall processes, and can also be used as robust entity connectors. Moreover, we also show that the relational representations exhibit significant potential for controllable fact recall through relation rewriting.
• Abstract（参考訳）: 関係概念は、様々な実体概念の関連を助長し、複雑な世界知識を表現し理解できるようにするため、知識表現の構造に根ざしている。 自然言語のプロンプトでリレーショナルな概念を表現することで、人々は大規模言語モデル(LLM)と懸命に対話し、望ましい事実知識を思い出すことができる。 しかし、知識リコールのプロセスは解釈可能性に欠けており、LLMにおける関係概念の表現はいまだに不明である。 本稿では,事実記憶過程における因果媒介分析を通じて実体と関係概念を表現できる隠蔽状態を特定する。 我々の発見は、入力プロンプトの最後のトークン位置において、リレーショナル概念の因果効果のみを表現する隠れ状態が存在することを示している。 このことから,これらの隠れ状態はリレーショナル表現として扱えると仮定し,LLMから抽出することに成功した。 実験の結果、リレーショナル表現の信頼性が高く、他のファクトリコールプロセスに柔軟に移植でき、ロバストなエンティティコネクタとしても使用できることがわかった。 また,リレーショナル表現は,リレーショナルリライトによる制御可能なファクトリコールに有意な可能性を示すことを示す。

関連論文リスト

• Do Vision-Language Models Really Understand Visual Language? [43.893398898373995]
  ダイアグラムは、複雑な概念とその関係をイメージとして表現した視覚言語の典型例である。 近年の研究では、LVLM(Large Vision-Language Models)が図を含む複雑な推論タスクに対処できることが示唆されている。 本稿では,LVLMのダイアグラム理解能力を評価するための総合的なテストスイートを開発する。
  論文  参考訳（メタデータ） (2024-09-30T19:45:11Z)
• Evaluating and Analyzing Relationship Hallucinations in Large Vision-Language Models [69.79709804046325]
  視覚関係の幻覚を評価するための新しいベンチマークであるR-Benchを紹介する。 R-Benchは、関係の存在に焦点を当てたイメージレベルの質問と、局所的な視覚的理解を評価するインスタンスレベルの質問を特徴としている。 我々は,関係関連性,主観関連性,関係対象性という,幻覚につながる3つの関係共起関係を同定する。
  論文  参考訳（メタデータ） (2024-06-24T08:42:42Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Prompt-based Logical Semantics Enhancement for Implicit Discourse Relation Recognition [4.7938839332508945]
  Inlicit Discourse Relation Recognition (IDRR) のための Prompt-based Logical Semantics Enhancement (PLSE) 法を提案する。 提案手法は,事前学習した言語モデルに対する対話関係に関する知識を,素早い接続予測によってシームレスに注入する。 PDTB 2.0 と CoNLL16 データセットによる実験結果から,本手法は現状の最先端モデルに対して優れた一貫した性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-11-01T08:38:08Z)
• Linearity of Relation Decoding in Transformer Language Models [82.47019600662874]
  トランスフォーマー言語モデル(LM)で符号化された知識の多くは、関係性の観点から表現することができる。 関係のサブセットに対して、この計算は対象表現上の1つの線形変換によってよく近似されることを示す。
  論文  参考訳（メタデータ） (2023-08-17T17:59:19Z)
• Causality-aware Concept Extraction based on Knowledge-guided Prompting [17.4086571624748]
  概念は自然言語理解の恩恵を受けるが、既存の知識グラフ(KG)では完全とは程遠い。 近年,テキストベースの概念抽出において,事前学習言語モデル (PLM) が広く用いられている。 本稿では, PLM を用いた抽出器に知識誘導型プロンプトを装着することで, 概念バイアスを軽減することを提案する。
  論文  参考訳（メタデータ） (2023-05-03T03:36:20Z)
• Relate to Predict: Towards Task-Independent Knowledge Representations for Reinforcement Learning [11.245432408899092]
  強化学習は、エージェントが複雑なタスクを学習できるようにする。 知識を解釈し、タスク間で再利用することは難しい。 本稿では,対象中心の知識分離を明示する帰納的バイアスを導入する。 知識分離における明示性の程度は、学習の高速化、精度の向上、一般化の向上、理解可能性の向上と相関していることを示す。
  論文  参考訳（メタデータ） (2022-12-10T13:33:56Z)
• A Probabilistic-Logic based Commonsense Representation Framework for Modelling Inferences with Multiple Antecedents and Varying Likelihoods [5.87677276882675]
  コモンセンス・ナレッジグラフ(英: Commonsense knowledge-graphs、CKG)は、テキストや環境入力で「推論」でき、知覚を超えた推論ができる機械を構築するための重要なリソースである。 本研究は,コモンセンス知識の表現方法として, (i) 複合的推論知識をモデル化し,様々な可能性で概念的信念を表現するための確率論的論理表現スキーム, (ii) 健全な概念関連関係を同定し,異なる概念レベルで信念を整理する階層的概念オントロジーを取り入れることにより, コモンセンス知識をより良く表現することができるかを検討する。
  論文  参考訳（メタデータ） (2022-11-30T08:44:30Z)
• On Binding Objects to Symbols: Learning Physical Concepts to Understand Real from Fake [155.6741526791004]
  我々は、ディープニューラルネットワークが合成データを生成する驚くべき能力に照らして、古典的な信号と記号の障壁を再考する。 物理オブジェクトを抽象概念として特徴付け,それ以前の解析を用いて,物理オブジェクトが有限なアーキテクチャで符号化可能であることを示す。 我々は、有限時間でデジタルIDに物理的実体を結合することは、有限資源で可能であると結論付けた。
  論文  参考訳（メタデータ） (2022-07-25T17:21:59Z)
• Acquiring and Modelling Abstract Commonsense Knowledge via Conceptualization [49.00409552570441]
  本研究では,コモンセンス推論における概念化の役割について検討し,人間の概念化を再現する枠組みを定式化する。 ATOMIC は大規模な人為的注釈付き CKG であり,この枠組みを分類プロベースで支援している。
  論文  参考訳（メタデータ） (2022-06-03T12:24:49Z)
• Constellation: Learning relational abstractions over objects for compositional imagination [64.99658940906917]
  静的な視覚シーンのリレーショナル抽象化を学習するネットワークであるConstellationを紹介する。 この研究は、視覚的関係を明確に表現し、それらを複雑な認知手続きに使用するための第一歩である。
  論文  参考訳（メタデータ） (2021-07-23T11:59:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。