論文の概要: Some Emotions Run Deeper: Layer-wise Probing and Causal Intervention in Large Language Models
- arxiv url: http://arxiv.org/abs/2609.01279v1
- Date: Tue, 01 Sep 2026 14:14:13 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.724039
- Title: Some Emotions Run Deeper: Layer-wise Probing and Causal Intervention in Large Language Models
- Title（参考訳）: より深い感情:大規模言語モデルにおけるレイヤーワイドな探索と因果干渉
- Authors: Tian Fang, Gaël Guibon, Davide Buscaldi,
- Abstract要約: 感情がアクセス可能になった深さがモデルの特性なのか、あるいはテキストソースなのかを考察する。
レイヤワイズ探索とオフライン機能スケーリング、オンライン前方介入、転送分析、早期退行分類器を組み合わせる。
i) 最良な探索層は, (i) コーパス全体にわたって, 入力隣接層から半モデル深度まで体系的に変化し, この順序はラベル・バイ・ラスト・ビン分布の一致後に持続することがわかった。
- 参考スコア（独自算出の注目度）: 9.27161859802683
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Emotion is expressed in text along a wide spectrum, from surface lexical cues to inferences entangled with content. Most layer-wise analyses of emotion in LLMs use a single corpus, leaving open whether the depth at which emotion becomes accessible is a property of the model or also of the text source. We investigate this across three datasets spanning different degrees of explicitness and contextualization in emotion expression (Twitter posts, Reddit comments, and autobiographical narratives) and eight 1B--9B open-weight LLMs from the Llama, Qwen, and Granite families. We combine layer-wise probing with offline feature scaling and online forward interventions, transfer analyses, and an early-exit classifier. We find that (i) the best probing layer shifts systematically across corpora, from input-adjacent layers to over half model depth, and this ordering persists after matching label-by-length-bin distributions; (ii) across the evaluated settings, forward-pass interventions on probe-selected bands reduce test accuracy by 5--6 points more than same-width random bands ($q < 0.01$); (iii) selected bands transfer across datasets and emotion categories, suggesting partially shared affective information rather than strictly per-emotion substrates; and (iv) probe-selected early-exit representations outperform full-depth exits by $6.9$ percentage points on average.
- Abstract（参考訳）: 感情は、表面の語彙の手がかりから内容と絡み合った推論まで、幅広いスペクトルに沿ってテキストで表される。
LLMにおける感情の階層的な分析のほとんどは、単一のコーパスを使用しており、感情がアクセス可能な深さがモデルの特性であるか、あるいはテキストソースの特性であるかは、未解決のままである。
本研究では,Llama,Qwen,Graniteの8つのオープンウェイトLLMを,感情表現の明瞭度と文脈化(Twitter投稿,Redditコメント,自伝的物語)の3つのデータセットで比較検討した。
レイヤワイズ探索とオフライン機能スケーリング、オンライン前方介入、転送分析、早期退行分類器を組み合わせる。
私たちはそれを見つける。
(i)最良探索層は、入力隣接層から半モデル深度に体系的にシフトし、この順序はラベル単位の分布に一致した後も持続する。
(ii) 同幅ランダムバンド(q < 0.01$)よりも5～6ポイントの精度を低下させる(q < 0.01$)。
三 データセット及び感情カテゴリーをまたいで選択した帯域を移動させ、厳密に感情ごとの基質ではなく、部分的に共有された情緒情報を提案すること。
(4)プローブ選択された早期退避表現は、平均して6.9ドルの割合で出口の深さを上回ります。
関連論文リスト
- LLMs Encode Relevance as a Layer-Wise Cross-Lingual Signal [8.33491432828288]
命令調整言語モデルにおける残差ストリームアクティベーションから,クエリ文書の関連性が線形に除去可能であるかを検討する。
以上の結果から,q-d関係は深さ依存信号として符号化されていることが示唆された。
いくつかのモデルでは、バリデーション選択されたプローブが生成された判断にマッチするか、性能が良くなり、システムランキングがより保存される。
論文 参考訳（メタデータ） (2026-07-17T01:54:45Z) - VoxAfford: Multi-Scale Voxel-Token Fusion for Open-Vocabulary 3D Affordance Detection [46.776206263724355]
オープンボキャブラリー3Dアベイランス検出は、新しいアベイランス記述を与えられた点雲上の相互作用領域をローカライズする必要がある。
凍結した3次元VQVAEエンコーダを生成後に出力トークンに注入することにより,このボトルネックを回避するVoxel-enhanced Afford Detection (VoxAfford)を提案する。
VoxAffordはmIoUの約8%の改善で最先端のパフォーマンスを達成し、実際のロボット実験で新しいオブジェクトへのゼロショット転送が確認された。
論文 参考訳（メタデータ） (2026-05-02T10:21:13Z) - D$^2$HScore: Reasoning-Aware Hallucination Detection via Semantic Breadth and Depth Analysis in LLMs [15.665202830841046]
この研究は、モデルアーキテクチャと生成ダイナミクスの観点から幻覚検出を再考する。
textbfD$2$HScore (Dispersion and Drift-based Hallucination Score) を提案する。
5つのオープンソースのLanguage Modelと5つの広く使用されているベンチマークの実験は、D$2$HScoreが既存のトレーニング不要のベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2025-09-15T04:28:38Z) - Dynamic Bundling with Large Language Models for Zero-Shot Inference on Text-Attributed Graphs [56.73437142790496]
大規模言語モデル(LLM)は多くのゼロショット学習問題で使われている。
LLMは、グラフトポロジから分離されたテキスト属性と競合する。
これらは、情報不足とLLMの固有の弱点の両方により、信頼性の低い予測をもたらす。
論文 参考訳（メタデータ） (2025-05-23T08:12:16Z) - Multimodal Language Models See Better When They Look Shallower [54.5303326937134]
マルチモーダル大言語モデル(MLLM)は、通常、事前訓練された視覚変換器(ViT)の最終層から視覚的特徴を抽出する。
MLLMの視覚層選択に関する最初の総合的研究を行い,VT層間の表現類似性を解析した。
我々は、深い層がOCRのようなセマンティックリッチなタスクに優れているのに対して、浅い層と中層の層は、きめ細かい視覚的なタスクでそれらを著しく上回っていることに気付きました。
論文 参考訳（メタデータ） (2025-04-30T09:07:10Z) - Speech Emotion Detection Based on MFCC and CNN-LSTM Architecture [0.0]
本稿では,最初の音声入力をウェーブプロットとスペクトルに処理して分析し,特徴抽出の対象としてMFCCを含む複数の特徴に集中する。
このアーキテクチャは、テストセットに対して総合的に61.07%の精度を達成し、怒りと中立性の検出はそれぞれ75.31%と71.70%のパフォーマンスに達した。
論文 参考訳（メタデータ） (2025-01-18T06:15:54Z) - LESS: Label-Efficient and Single-Stage Referring 3D Segmentation [55.06002976797879]
参照3Dは、クエリの文で記述された3Dポイントクラウドから、指定されたオブジェクトのすべてのポイントをセグメントする視覚言語タスクである。
本稿では,LESSと呼ばれるレファレンス3次元パイプラインを提案する。
ScanReferデータセット上での最先端のパフォーマンスは、バイナリラベルのみを使用して、以前の3.7% mIoUの手法を上回ります。
論文 参考訳（メタデータ） (2024-10-17T07:47:41Z) - Textualized and Feature-based Models for Compound Multimodal Emotion Recognition in the Wild [45.29814349246784]
マルチモーダルな大言語モデル(LLM)は、異なる非テクストのモダリティからテキストに変換される可能性のある明示的な非言語的手がかりに依存している。
本稿では,ビデオにおける複合マルチモーダルERのテキストと特徴に基づくアプローチの可能性について比較する。
論文 参考訳（メタデータ） (2024-07-17T18:01:25Z) - Entropy Guided Extrapolative Decoding to Improve Factuality in Large Language Models [55.45444773200529]
大きな言語モデル(LLM)は印象的な自然言語能力を示すが、幻覚に苦しむ。
最近の研究は推論時の事実性を改善するための復号化技術に焦点を当てている。
論文 参考訳（メタデータ） (2024-04-14T19:45:35Z) - Take an Emotion Walk: Perceiving Emotions from Gaits Using Hierarchical Attention Pooling and Affective Mapping [55.72376663488104]
本稿では、ビデオやモーションキャプチャーデータから得られた歩行スタイルから、知覚された人間の感情を分類するためのオートエンコーダに基づくアプローチを提案する。
3次元ポーズシーケンスから抽出した各ステップのポーズにおける各関節の動きを考慮し、これらの関節の動きをエンコーダに階層的にプールする。
我々はデコーダを訓練し、潜伏埋め込みからトップダウン方式で1ステップ当たりの関節の動きを再構築する。
論文 参考訳（メタデータ） (2019-11-20T05:04:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。