論文の概要: Detecting Conceptual Abstraction in LLMs
- arxiv url: http://arxiv.org/abs/2404.15848v2
- Date: Thu, 25 Apr 2024 23:11:20 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-29 12:15:51.737835
- Title: Detecting Conceptual Abstraction in LLMs
- Title(参考訳): LLMにおける概念抽象化の検出
- Authors: Michaela Regneri, Alhassan Abdelhalim, Sören Laue,
- Abstract要約: ハイパーナミーを示す表面パターンをインスタンス化し,BERTが生成する注目行列を解析する。
我々の発見は、大規模言語モデルにおける概念的抽象性の説明可能性への第一歩である。
- 参考スコア(独自算出の注目度): 6.873264441045805
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We present a novel approach to detecting noun abstraction within a large language model (LLM). Starting from a psychologically motivated set of noun pairs in taxonomic relationships, we instantiate surface patterns indicating hypernymy and analyze the attention matrices produced by BERT. We compare the results to two sets of counterfactuals and show that we can detect hypernymy in the abstraction mechanism, which cannot solely be related to the distributional similarity of noun pairs. Our findings are a first step towards the explainability of conceptual abstraction in LLMs.
- Abstract(参考訳): 本稿では,大言語モデル (LLM) 内で名詞の抽象化を検出する新しい手法を提案する。
分類学関係における名詞対の心理的動機付けから始めると、ハイパーネミーを示す表面パターンをインスタンス化し、BERTが生成する注意行列を解析する。
結果を2つの反事実集合と比較し、名詞対の分布的類似性にのみ関連付けられない抽象機構においてハイパーネミーを検出できることを示す。
我々の発見は、LLMにおける概念的抽象性の説明可能性への第一歩である。
関連論文リスト
- VisualPredicator: Learning Abstract World Models with Neuro-Symbolic Predicates for Robot Planning [86.59849798539312]
本稿では,記号的・神経的知識表現の強みを組み合わせた一階抽象言語Neuro-Symbolic Predicatesを提案する。
提案手法は, サンプルの複雑さの向上, 分布外一般化の強化, 解釈可能性の向上を実現する。
論文 参考訳(メタデータ) (2024-10-30T16:11:05Z) - Evidence from fMRI Supports a Two-Phase Abstraction Process in Language Models [1.534667887016089]
本研究では,大規模言語モデルから抽出した中間的隠れ状態が,自然言語刺激による脳の反応を予測可能であることを示す。
また,レイヤワイド符号化性能とLLMからの表現の内在的次元性との間にも強い対応性を示す。
論文 参考訳(メタデータ) (2024-09-09T16:33:16Z) - A Hybrid Approach To Aspect Based Sentiment Analysis Using Transfer Learning [3.30307212568497]
本稿では,移動学習を用いたアスペクトベース感性分析のためのハイブリッド手法を提案する。
このアプローチは、大きな言語モデル(LLM)と従来の構文的依存関係の両方の長所を利用して、弱い教師付きアノテーションを生成することに焦点を当てている。
論文 参考訳(メタデータ) (2024-03-25T23:02:33Z) - A Novel Energy based Model Mechanism for Multi-modal Aspect-Based
Sentiment Analysis [85.77557381023617]
マルチモーダル感情分析のための新しいフレームワークDQPSAを提案する。
PDQモジュールは、プロンプトをビジュアルクエリと言語クエリの両方として使用し、プロンプト対応の視覚情報を抽出する。
EPEモジュールはエネルギーベースモデルの観点から解析対象の境界ペアリングをモデル化する。
論文 参考訳(メタデータ) (2023-12-13T12:00:46Z) - AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph [62.685920585838616]
抽象能力は人間の知性において必須であり、言語モデルでは未探索のままである。
本稿では、抽象知識の221Kテキスト記述を統一したエンテーメントグラフであるAbsPyramidを提案する。
論文 参考訳(メタデータ) (2023-11-15T18:11:23Z) - Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。
融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。
我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
論文 参考訳(メタデータ) (2023-08-19T09:12:13Z) - Systematic Visual Reasoning through Object-Centric Relational
Abstraction [5.914610036560008]
対象と抽象的関係の明示的な表現を抽出するモデルであるOCRAを紹介する。
複雑な視覚ディスプレイを含むタスクにおいて、強力な体系的な一般化を実現する。
論文 参考訳(メタデータ) (2023-06-04T22:47:17Z) - Finding Alignments Between Interpretable Causal Variables and
Distributed Neural Representations [62.65877150123775]
因果抽象化は、説明可能な人工知能のための有望な理論的枠組みである。
既存の因果抽象法では、高レベルモデルと低レベルモデルの間のアライメントをブルートフォースで探索する必要がある。
これらの制約を克服する分散アライメントサーチ(DAS)を提案する。
論文 参考訳(メタデータ) (2023-03-05T00:57:49Z) - Does Deep Learning Learn to Abstract? A Systematic Probing Framework [69.2366890742283]
抽象化はディープラーニングモデルにとって望ましい機能であり、具体的なインスタンスから抽象概念を誘導し、学習コンテキストを超えて柔軟に適用することを意味する。
本稿では,伝達可能性の観点から,ディープラーニングモデルの抽象化能力を検討するための体系的探索フレームワークを提案する。
論文 参考訳(メタデータ) (2023-02-23T12:50:02Z) - Semantic Extractor-Paraphraser based Abstractive Summarization [40.05739160204135]
本稿では,意味的重複を利用した抽出-パラフレーザーベース抽象要約システムを提案する。
私達のモデルはROUGE、METEORおよび単語の類似性(WMS)の点では最先端のベースラインを上回ります。
論文 参考訳(メタデータ) (2021-05-04T05:24:28Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。