Fugu-MT 論文翻訳(概要): Detecting Conceptual Abstraction in LLMs

論文の概要: Detecting Conceptual Abstraction in LLMs

arxiv url: http://arxiv.org/abs/2404.15848v2
Date: Thu, 25 Apr 2024 23:11:20 GMT
ステータス: 翻訳完了
システム内更新日: 2024-04-29 12:15:51.737835
Title: Detecting Conceptual Abstraction in LLMs
Title（参考訳）: LLMにおける概念抽象化の検出
Authors: Michaela Regneri, Alhassan Abdelhalim, Sören Laue,
Abstract要約: ハイパーナミーを示す表面パターンをインスタンス化し,BERTが生成する注目行列を解析する。我々の発見は、大規模言語モデルにおける概念的抽象性の説明可能性への第一歩である。
参考スコア（独自算出の注目度）: 6.873264441045805
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present a novel approach to detecting noun abstraction within a large language model (LLM). Starting from a psychologically motivated set of noun pairs in taxonomic relationships, we instantiate surface patterns indicating hypernymy and analyze the attention matrices produced by BERT. We compare the results to two sets of counterfactuals and show that we can detect hypernymy in the abstraction mechanism, which cannot solely be related to the distributional similarity of noun pairs. Our findings are a first step towards the explainability of conceptual abstraction in LLMs.
Abstract（参考訳）: 本稿では,大言語モデル (LLM) 内で名詞の抽象化を検出する新しい手法を提案する。分類学関係における名詞対の心理的動機付けから始めると、ハイパーネミーを示す表面パターンをインスタンス化し、BERTが生成する注意行列を解析する。結果を2つの反事実集合と比較し、名詞対の分布的類似性にのみ関連付けられない抽象機構においてハイパーネミーを検出できることを示す。我々の発見は、LLMにおける概念的抽象性の説明可能性への第一歩である。

関連論文リスト

Stable Language Guidance for Vision-Language-Action Models [62.80963701282789]
残留セマンティックステアリング(Residual Semantic Steering)は、セマンティック実行から身体的余裕を逸脱する確率的フレームワークである。 RSSは最先端の堅牢性を実現し、敵対的な言語摂動の下でも性能を維持する。
論文参考訳（メタデータ） (2026-01-07T16:16:10Z)
Discrete Semantic States and Hamiltonian Dynamics in LLM Embedding Spaces [0.0]
数学的概念,特に線形代数とハミルトン形式を用いた大言語モデル埋め込み空間の構造について検討する。 LLM埋め込みが異なる状態を示すという観察に動機付けられ、これらの数学的ツールを用いて意味的関係を解析する。
論文参考訳（メタデータ） (2025-12-29T15:01:43Z)
Causal Abstraction Inference under Lossy Representations [53.18851962820361]
我々は、既存の定義を一般化して損失表現に適合させる、投影抽象化と呼ばれる新しいタイプの抽象化を導入する。低レベルモデルから投影された抽象化を構築する方法と、それと等価な観察的、介入的、および反ファクト的因果クエリを低レベルから高レベルに翻訳する方法を示す。
論文参考訳（メタデータ） (2025-09-25T21:20:42Z)
Large Language Models Show Signs of Alignment with Human Neurocognition During Abstract Reasoning [0.0]
本研究では,大言語モデル(LLM)が抽象的推論中に人間の神経認知を反映するかどうかを検討する。我々は,抽象パターン補完タスクにおいて,人体の性能と神経表現を8つのオープンソースLCMと比較した。
論文参考訳（メタデータ） (2025-08-12T21:38:46Z)
Benchmarking Abstract and Reasoning Abilities Through A Theoretical Perspective [59.7140089198992]
抽象的推論を本質的なパターンを抽出する能力として定義する数学的枠組みを開発する。基本的な推論精度を計測する(scoreGamma)と、特定のシンボルに依存するモデルの定量化(scoreDelta)である。
論文参考訳（メタデータ） (2025-05-28T09:02:45Z)
Sparks of Explainability: Recent Advancements in Explaining Large Vision Models [6.1642231492615345]
この論文は、ディープニューラルネットワークによって利用される特徴を分析し、モデル化することにより、コンピュータビジョンにおける説明可能性を改善するための高度なアプローチを探求する。アルゴリズム的安定性に基づく計量とソボル指標を用いたアプローチを導入することにより、帰属法、特にサリエンシマップを評価する。モデルと人間の推論を一致させ、概念的説明可能性アプローチを採用するという2つの仮説が検討されている。
論文参考訳（メタデータ） (2025-02-03T04:49:32Z)
VisualPredicator: Learning Abstract World Models with Neuro-Symbolic Predicates for Robot Planning [86.59849798539312]
本稿では,記号的・神経的知識表現の強みを組み合わせた一階抽象言語Neuro-Symbolic Predicatesを提案する。提案手法は, サンプルの複雑さの向上, 分布外一般化の強化, 解釈可能性の向上を実現する。
論文参考訳（メタデータ） (2024-10-30T16:11:05Z)
Evidence from fMRI Supports a Two-Phase Abstraction Process in Language Models [1.534667887016089]
本研究では,大規模言語モデルから抽出した中間的隠れ状態が,自然言語刺激による脳の反応を予測可能であることを示す。また,レイヤワイド符号化性能とLLMからの表現の内在的次元性との間にも強い対応性を示す。
論文参考訳（メタデータ） (2024-09-09T16:33:16Z)
A Hybrid Approach To Aspect Based Sentiment Analysis Using Transfer Learning [3.30307212568497]
本稿では,移動学習を用いたアスペクトベース感性分析のためのハイブリッド手法を提案する。このアプローチは、大きな言語モデル(LLM)と従来の構文的依存関係の両方の長所を利用して、弱い教師付きアノテーションを生成することに焦点を当てている。
論文参考訳（メタデータ） (2024-03-25T23:02:33Z)
A Novel Energy based Model Mechanism for Multi-modal Aspect-Based Sentiment Analysis [85.77557381023617]
マルチモーダル感情分析のための新しいフレームワークDQPSAを提案する。 PDQモジュールは、プロンプトをビジュアルクエリと言語クエリの両方として使用し、プロンプト対応の視覚情報を抽出する。 EPEモジュールはエネルギーベースモデルの観点から解析対象の境界ペアリングをモデル化する。
論文参考訳（メタデータ） (2023-12-13T12:00:46Z)
AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph [62.685920585838616]
抽象能力は人間の知性において必須であり、言語モデルでは未探索のままである。本稿では、抽象知識の221Kテキスト記述を統一したエンテーメントグラフであるAbsPyramidを提案する。
論文参考訳（メタデータ） (2023-11-15T18:11:23Z)
Semantics Meets Temporal Correspondence: Self-supervised Object-centric Learning in Videos [63.94040814459116]
自己教師付き手法は、高レベルの意味論と低レベルの時間対応の学習において顕著な進歩を見せている。融合した意味特徴と対応地図の上に,意味認識型マスキングスロットアテンションを提案する。我々は、時間的コヒーレントなオブジェクト中心表現を促進するために、セマンティックおよびインスタンスレベルの時間的一貫性を自己スーパービジョンとして採用する。
論文参考訳（メタデータ） (2023-08-19T09:12:13Z)
Systematic Visual Reasoning through Object-Centric Relational Abstraction [5.914610036560008]
対象と抽象的関係の明示的な表現を抽出するモデルであるOCRAを紹介する。複雑な視覚ディスプレイを含むタスクにおいて、強力な体系的な一般化を実現する。
論文参考訳（メタデータ） (2023-06-04T22:47:17Z)
Finding Alignments Between Interpretable Causal Variables and Distributed Neural Representations [62.65877150123775]
因果抽象化は、説明可能な人工知能のための有望な理論的枠組みである。既存の因果抽象法では、高レベルモデルと低レベルモデルの間のアライメントをブルートフォースで探索する必要がある。これらの制約を克服する分散アライメントサーチ(DAS)を提案する。
論文参考訳（メタデータ） (2023-03-05T00:57:49Z)
Does Deep Learning Learn to Abstract? A Systematic Probing Framework [69.2366890742283]
抽象化はディープラーニングモデルにとって望ましい機能であり、具体的なインスタンスから抽象概念を誘導し、学習コンテキストを超えて柔軟に適用することを意味する。本稿では,伝達可能性の観点から,ディープラーニングモデルの抽象化能力を検討するための体系的探索フレームワークを提案する。
論文参考訳（メタデータ） (2023-02-23T12:50:02Z)
Semantic Extractor-Paraphraser based Abstractive Summarization [40.05739160204135]
本稿では,意味的重複を利用した抽出-パラフレーザーベース抽象要約システムを提案する。私達のモデルはROUGE、METEORおよび単語の類似性(WMS)の点では最先端のベースラインを上回ります。
論文参考訳（メタデータ） (2021-05-04T05:24:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。