論文の概要: Measuring Concept Content in Text from LLM Activations: ESG Evidence from Concept Vectors and Linear Probes
- arxiv url: http://arxiv.org/abs/2608.07208v1
- Date: Fri, 07 Aug 2026 13:21:50 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-10 16:21:25.504538
- Title: Measuring Concept Content in Text from LLM Activations: ESG Evidence from Concept Vectors and Linear Probes
- Title(参考訳): LLMアクティベーションからテキスト中の概念内容を測定する:概念ベクトルと線形プローブからのESG証拠
- Abstract要約: 概念に関するテキストの量に関する既存の尺度は、テキストの表面を読み取る。
最近の研究は、Large Language Models(LLM)が内部的に知っているものと、それらが反応で表現しているものの間にギャップが存在することを示している。
本稿では,フリーズ・オブ・ザ・ボックスのLCMの活性化をモニタすることで,内部知識がタスク固有の微調整に役立てられるかどうかを問う。
- 参考スコア(独自算出の注目度): 18.346517033220284
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing measures of how much a text is about a concept read the surface of the text: dictionary word shares, topic proportions, embedding similarities. They score the words a text uses, not the judgment a reader forms about it. Recent work has shown that a gap exists in what Large Language Models (LLMs) know internally versus what they express in their response. This paper asks whether that internal knowledge, read by monitoring the activations of frozen, out-of-the-box LLMs, can stand in for task-specific fine-tuning when measuring concept content, and which extraction method reads it best. We extract such measures via the Recursive Feature Machine (RFM) algorithm and via linear probing, and compare these against an embedding baseline, surface baselines, and the same model's own answer to the question. We demonstrate the approach on financial text, a domain studied extensively and served by established annotated resources, using a human-annotated Environmental, Social and Governance (ESG) dataset. The best linear probe comes within 0.6 percentage points of a fine-tuned domain classifier's accuracy without any task-specific fine-tuning, and outscores the same model's own answer to the question in eleven of twelve comparisons, so the activations carry concept content the response does not report. The simple probe consistently beats the RFM concept vectors, which in turn provide what classification alone does not: a continuous score intended to reflect how strongly a concept is present in a text, whose validation awaits graded labels.
- Abstract(参考訳): 概念に関するテキストの量に関する既存の尺度は、辞書語共有、トピック比例、埋め込み類似性といったテキストの表面を読み取る。
テキストが使用する単語をスコアし、読者がそれについて判断するのではない。
最近の研究は、Large Language Models(LLM)が内部的に知っているものと、それらが反応で表現しているものの間にギャップが存在することを示している。
本論文は, 冷凍庫内LCMの活性化をモニタして読み取った内部知識が, 概念内容を測定する際に, タスク固有の微調整に役立てられるか, 抽出方法が最も優れているか, を問うものである。
本稿では, 線形探索と再帰的特徴マシン (RFM) アルゴリズムを用いてこれらの指標を抽出し, 埋め込みベースライン, 表面ベースライン, および質問に対する同じモデル独自の回答と比較する。
本研究では,人為的アノテート環境・社会・ガバナンス(ESG)データセットを用いて,広く研究され,確立されたアノテートリソースによって機能するドメインである金融テキストのアプローチを実証する。
最良の線形プローブは、タスク固有の微調整を行わずに、微調整されたドメイン分類器の精度の0.6ポイント以内に到達し、12個の比較のうち11個の比較において、同じモデル自身の回答を上回っているため、アクティベーションは、応答が報告されない概念内容を運ぶ。
単純なプローブは、RAMの概念ベクトルを常に打ち負かし、その結果、分類だけではできないものを提供する: テキストに概念がどれほど強く存在しているかを反映した連続スコア。
関連論文リスト
- Structuring Semantic Embeddings for Principle Evaluation: A Prototype-Guided Contrastive Learning Approach [58.15427952222424]
汎用的なテキスト埋め込みはそのようなタスクに広くデプロイされているが、意味的類似性は意味的に似ているがタスク固有の例を示すことができる。
本稿では,凍結したテキスト埋め込み上に構築された幾何正規化モジュールであるPGCL(Prototype-Guided Contrastive Learning)を紹介する。
論文 参考訳(メタデータ) (2026-08-15T13:19:25Z) - Context is Enough: Empirical Validation of $\textit{Sequentiality}$ on Essays [1.338174941551702]
コンテクスト版の連続性は, 談話レベルの特徴の人間による評価とより密接に一致していることを示す。
本研究は,自動エッセイ評価および関連するNLPタスクの検証,解釈,補完機能としてコンテキストベースのシーケンシャル性の利用を支援する。
論文 参考訳(メタデータ) (2025-11-12T10:31:07Z) - Regularization Through Reasoning: Systematic Improvements in Language Model Classification via Explanation-Enhanced Fine-Tuning [2.247737938202007]
細調整中に各ラベルに簡単な説明を付けると、より優れたモデルが得られるかどうかを評価する。
我々は、人間による説明を、構文的に不整合でありながら原文と一致するテキストに置き換える。
この効果はデータセットにまたがって持続し、種子を訓練することで、ゲインは構造よりも意味から生じないことを示している。
論文 参考訳(メタデータ) (2025-11-03T20:25:42Z) - RepreGuard: Detecting LLM-Generated Text by Revealing Hidden Representation Patterns [50.401907401444404]
大規模言語モデル(LLM)は、誤用を防止し、信頼できるAIシステムを構築するために不可欠である。
本稿では,統計量に基づく効率的な検出手法であるRepreGuardを提案する。
実験結果から、RepreGuardは、平均94.92%のAUROCですべてのベースラインでID(in-distriion)とOOD(OOD)の両方のシナリオでパフォーマンスが向上していることが示された。
論文 参考訳(メタデータ) (2025-08-18T17:59:15Z) - GUM-SAGE: A Novel Dataset and Approach for Graded Entity Salience Prediction [12.172254885579706]
格付けされたエンティティサリエンス(英語版)は、テキストにおける相対的な重要性を反映したエンティティスコアを割り当てる。
両アプローチの強みを組み合わせた,格付けされたエンティティ・サリエンスのための新しいアプローチを提案する。
提案手法は,人間の要約やアライメントに基づくスコアとの相関が強く,既存の手法よりも優れていた。
論文 参考訳(メタデータ) (2025-04-15T01:26:14Z) - On Context Utilization in Summarization with Large Language Models [83.84459732796302]
大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。
最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。
要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
論文 参考訳(メタデータ) (2023-10-16T16:45:12Z) - Textual Entailment Recognition with Semantic Features from Empirical
Text Representation [60.31047947815282]
テキストが仮説を包含するのは、仮説の真の価値がテキストに従う場合に限る。
本稿では,テキストと仮説のテキストの包含関係を同定する新しい手法を提案する。
本手法では,テキスト・ハイブリッド・ペア間の意味的含意関係を識別できる要素ワイド・マンハッタン距離ベクトルベースの特徴を用いる。
論文 参考訳(メタデータ) (2022-10-18T10:03:51Z) - Weakly-Supervised Aspect-Based Sentiment Analysis via Joint
Aspect-Sentiment Topic Embedding [71.2260967797055]
アスペクトベース感情分析のための弱教師付きアプローチを提案する。
We learn sentiment, aspects> joint topic embeddeds in the word embedding space。
次に、ニューラルネットワークを用いて単語レベルの識別情報を一般化する。
論文 参考訳(メタデータ) (2020-10-13T21:33:24Z) - Constructing interval variables via faceted Rasch measurement and
multitask deep learning: a hate speech application [63.10266319378212]
本稿では,教師付き深層学習と多面的ラッシュアイテム応答理論(IRT)構築手法を組み合わせることで,連続区間スペクトル上の複素変数を測定する手法を提案する。
われわれは、YouTube、Twitter、Redditから5万件のソーシャルメディアコメントを収集し、1万1000人の米国拠点のAmazon Mechanical Turkの労働者によってラベル付けされたデータセット上で、この新しい手法を実証した。
論文 参考訳(メタデータ) (2020-09-22T02:15:05Z) - Word Embedding-based Text Processing for Comprehensive Summarization and
Distinct Information Extraction [1.552282932199974]
オンラインレビューの分析に特化して設計された2つの自動テキスト処理フレームワークを提案する。
最初のフレームワークは、本質的な文章を抽出してレビューデータセットを要約することである。
第2のフレームワークは、複数の異なる質問に対する回答を抽出するように訓練された質問回答ニューラルネットワークモデルに基づいている。
論文 参考訳(メタデータ) (2020-04-21T02:43:31Z) - Extending Text Informativeness Measures to Passage Interestingness
Evaluation (Language Model vs. Word Embedding) [1.2998637003026272]
本稿では、インフォマティヴネスの概念をインフォマティヴネスの一般化として定義する。
次に、この一般化に対応するために、アートインフォーマティヴネス対策の状態を調査する。
CLEF-INEX Tweet Contextualization 2012 Logarithm similarity measure が最適であることを示す。
論文 参考訳(メタデータ) (2020-04-14T18:22:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。