論文の概要: LLM Assertiveness can be Mechanistically Decomposed into Emotional and Logical Components

• arxiv url: http://arxiv.org/abs/2508.17182v1
• Date: Sun, 24 Aug 2025 01:43:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.388775
• Title: LLM Assertiveness can be Mechanistically Decomposed into Emotional and Logical Components
• Title（参考訳）: LLM挿入性は機械的に感情成分と論理成分に分解できる
• Authors: Hikaru Tsujimura, Arush Tagade,
• Abstract要約: LLM(Large Language Models)は、しばしば過剰な自信を示し、高い文脈で不確実性のある情報を提示する。 我々は、人間の注釈付きアサーション性データセットを微調整したオープンソースのLlama 3.2モデルを使用している。 分析により,アサーションのコントラストに最も敏感な層が同定され,高いアサーティブ表現が感情的・論理的クラスタの2つのサブコンポーネントに分解されることが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.17188280334580197
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) often display overconfidence, presenting information with unwarranted certainty in high-stakes contexts. We investigate the internal basis of this behavior via mechanistic interpretability. Using open-sourced Llama 3.2 models fine-tuned on human annotated assertiveness datasets, we extract residual activations across all layers, and compute similarity metrics to localize assertive representations. Our analysis identifies layers most sensitive to assertiveness contrasts and reveals that high-assertive representations decompose into two orthogonal sub-components of emotional and logical clusters-paralleling the dual-route Elaboration Likelihood Model in Psychology. Steering vectors derived from these sub-components show distinct causal effects: emotional vectors broadly influence prediction accuracy, while logical vectors exert more localized effects. These findings provide mechanistic evidence for the multi-component structure of LLM assertiveness and highlight avenues for mitigating overconfident behavior.
• Abstract（参考訳）: LLM(Large Language Models)は、しばしば過剰な自信を示し、高い文脈で不確実性のある情報を提示する。 メカニスティック・インタプリタビリティによる動作の内部基盤について検討する。 人間の注釈付きアサーティブネスデータセットを微調整したオープンソースのLlama 3.2モデルを用いて、すべての層にわたる残余のアクティベーションを抽出し、類似度メトリクスを計算してアサーティブ表現をローカライズする。 本分析では,感情的・論理的クラスタの2つの直交的サブコンポーネントに分解され,二重経路的協調的心理学的モデルが並列化されることを明らかにする。 これらのサブコンポーネントから派生したステアリングベクターは、感情的ベクターが予測精度に大きく影響し、論理的ベクターはより局所的な効果を示す。 これらの知見は, LLM断定性の多成分構造を示すメカニカルな証拠となり, 過信行動の緩和に寄与する。

関連論文リスト

• Decomposing MLP Activations into Interpretable Features via Semi-Nonnegative Matrix Factorization [17.101290138120564]
  現在の手法は、スパースオートエンコーダ(SAE)を用いた辞書学習に依存している。 ここでは、セミ非負行列分解(SNMF)によるアクティベーションを直接分解することで、これらの制限に対処する。 Llama 3.1, Gemma 2, GPT-2の実験では、SNMFはSAEよりも優れており、因果的ステアリングに強い教師付きベースライン(差-in-means)がある。
  論文  参考訳（メタデータ） (2025-06-12T17:33:29Z)
• Factual Self-Awareness in Language Models: Representation, Robustness, and Scaling [56.26834106704781]
  大規模言語モデル(LLM)のユビキタス展開における主要な関心事の一つは、生成されたコンテンツの事実的誤りである。 我々は, LLMの内部コンパスの存在を裏付ける証拠を提供し, 生成時の事実的リコールの正しさを規定する。 モデルサイズにわたる実験のスケールとトレーニングのダイナミクスは、トレーニング中に自己認識が急速に出現し、中間層でピークとなることを浮き彫りにしている。
  論文  参考訳（メタデータ） (2025-05-27T16:24:02Z)
• Hallucination Detection in LLMs with Topological Divergence on Attention Graphs [64.74977204942199]
  幻覚(Halucination)、すなわち、事実的に誤ったコンテンツを生成することは、大きな言語モデルにとって重要な課題である。 本稿では,TOHA (Topology-based HAllucination detector) をRAG設定に導入する。
  論文  参考訳（メタデータ） (2025-04-14T10:06:27Z)
• Integration of Explainable AI Techniques with Large Language Models for Enhanced Interpretability for Sentiment Analysis [0.5120567378386615]
  大規模言語モデル(LLM)による感情分析における解釈可能性の重要性 本研究では,LLMを埋め込み層,エンコーダ,デコーダ,アテンション層などのコンポーネントに分解することでSHAP(Shapley Additive Explanations)を適用する手法を提案する。 この方法はStanford Sentiment Treebank (SST-2)データセットを用いて評価され、異なる文が異なる層にどのように影響するかを示す。
  論文  参考訳（メタデータ） (2025-03-15T01:37:54Z)
• Calibrating Reasoning in Language Models with Internal Consistency [18.24350001344488]
  大規模言語モデル(LLM)は、様々な推論タスクにおいて印象的な機能を示している。 LLMは、しばしば明らかな誤りと矛盾のあるテキストを生成する。 本研究では,LLMにおける内部表現のレンズによる推論について検討する。
  論文  参考訳（メタデータ） (2024-05-29T02:44:12Z)
• Quantifying In-Context Reasoning Effects and Memorization Effects in LLMs [101.51435599249234]
  大規模言語モデル (LLM) が用いた, 正確な記憶と文脈内推論効果を定義し, 定量化するための公理系を提案する。 具体的には,公理系により,記憶効果を基礎記憶効果とカオス記憶効果に分類することができる。 実験により, 暗記効果と文脈内推論効果の明確な乱れが, LLMによって符号化された詳細な推論パターンの簡易な検証を可能にした。
  論文  参考訳（メタデータ） (2024-05-20T08:51:03Z)
• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Estimating the Causal Effects of Natural Logic Features in Transformer-Based NLI Models [16.328341121232484]
  文脈介入の効果を測定するために因果効果推定手法を適用した。 本研究はトランスフォーマーの無関係な変化に対する堅牢性と影響の高い変化に対する感受性について検討する。
  論文  参考訳（メタデータ） (2024-04-03T10:22:35Z)
• Counterfactual Reasoning for Out-of-distribution Multimodal Sentiment Analysis [56.84237932819403]
  本稿では,OODの高次一般化に対するテキストモダリティの悪影響を推定・緩和することを目的とする。 そこで本研究では,マルチモーダル感情分析のためのモデルに依存しない反現実的フレームワークを考案した。
  論文  参考訳（メタデータ） (2022-07-24T03:57:40Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。