論文の概要: Where Do Models Find Happiness? Emotion Vectors in Open-Source LLMs

• arxiv url: http://arxiv.org/abs/2606.26987v1
• Date: Thu, 25 Jun 2026 13:01:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-26 18:46:32.288415
• Title: Where Do Models Find Happiness? Emotion Vectors in Open-Source LLMs
• Title（参考訳）: モデルはどこが幸福か? オープンソースのLDMにおける感情ベクトル
• Abstract要約: 近年の研究では、感情の概念を符号化し、人間の心理的構造を反映する幾何学を示す内部表現であるクロード・ソネット4.5の感情ベクトルが特定されている。 Apertus-8B-Instruct-2509 と Gemma-4-E4B-it の2つのオープンウェイトモデルにおいて,これらの発見の一般性を検証する。
• 参考スコア（独自算出の注目度）: 14.325651313297081
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work identified emotion vectors in Claude Sonnet 4.5, which are internal representations that encode emotion concepts, causally influence behavior, and exhibit geometry mirroring human psychological structure. We test the generality of these findings in two open-weight models, Apertus-8B-Instruct-2509 and Gemma-4-E4B-it, extracting emotion contrast vectors across all layers, using two model-generated corpora. We recover valence geometry for both models, with peak PC1--valence correlations of $r = 0.76$ and $r = 0.83$, approaching the $r = 0.81$ reported for Claude.Beyond replication, we observe notable differences in how valence representations emerge across model depth. In Gemma-4-E4B-it, valence is strongly encoded in early layers but collapses towards later layers, whereas Apertus-8B-Instruct-2509 exhibits the opposite pattern, with valence representations absent in early layers, but emerging at mid depths. Arousal encoding, in contrast, is sensitive to the extraction corpus: both models show stronger PC2--arousal alignment with Gemma-generated stories ($r$ up to $0.45$) than Apertus-generated ones ($r \leq 0.21$), suggesting arousal-relevant cues are unevenly distributed across generated corpora. We open-source our experiment code and dataset for reproducible investigation of emotion representations across language model architectures.
• Abstract（参考訳）: 近年の研究では、感情の概念をエンコードする内部表現であるクロード・ソネット4.5(Claude Sonnet 4.5)の感情ベクトルを特定し、人間の心理的構造を映し出す幾何学を示す。 Apertus-8B-Instruct-2509 と Gemma-4-E4B-it の2つのオープンウェイトモデルにおいて,これらの発見の一般性を検証する。 両モデルの値幾何を復元し、最大PC1-価相関は$r = 0.76$ と $r = 0.83$ となり、Claude の $r = 0.81$ に近づいた。 Gemma-4-E4B-itでは、原子価は初期層に強くエンコードされるが、後層に向かって崩壊する。 どちらのモデルも、ジェマが生成したストーリー(r$$$0.45$)と、Apertusが生成したストーリー(r$r \leq 0.21$)より強いPC2-アレンジメントを示しており、Arousal-relevant cueが生成したコーパスに不均一に分散されていることを示唆している。 我々は、言語モデルアーキテクチャ全体にわたる感情表現の再現可能な調査のための実験コードとデータセットをオープンソース化した。

関連論文リスト

• Marigold V2: Revisiting Diffusion Transformers for Monocular Depth Estimation [68.73567966621631]
  最新の画像生成および編集モデルを再開発する一連の手法であるMarigoldを、最先端の単眼深度推定器に再検討する。 我々のレシピは、事前訓練されたマルチステップフローマッチングモデルから単一ステップの推論を目標とし、必要に応じて量子化を行い、安価な実行環境を維持しながらモデルキャパシティを保存する。 その結果,AbsRel は KITTI や ETH3D よりも16～26% 向上した。
  論文  参考訳（メタデータ） (2026-09-08T00:52:01Z)
• Output Dilution: Redundant but Fragile Representations in MoE Models [1.0829694003408499]
  Mixture-of-Experts (MoE)モデルは、道徳的コンテンツを密度の高いモデルのように堅牢にエンコードしているように見えるが、そのエンコーディングにおいてはるかに脆弱である。 OLMoE-1B-7Bでは、線形プローブは、ほぼすべての専門家層の組み合わせから、平均ピーク層精度を90%以上で復元する。 しかし、これらの表現は、一致した大きさの密度のモデルが容易に許容できるようなアクティベーションノイズのレベルの下で崩壊し、強靭性の4.2倍の違いがある。 MoEブロックは、残留するストリームに寄与する前に、アクティブな専門家によって平均されるため、下流層に到達するフィードフォワード信号は、インよりも2桁近く小さい。
  論文  参考訳（メタデータ） (2026-08-25T23:41:07Z)
• Topological Simplification in Predictive Coding Networks [0.8399542059465145]
  本研究では,予測符号化ネットワーク(PCN)における学習のトポロジについて,定量的に永続的なホモロジー解析を用いて検討する。 以上の結果から,PCNの圧縮構造と層構造に永続的ホモロジーが有用であることが示唆された。
  論文  参考訳（メタデータ） (2026-08-03T19:12:11Z)
• Data-Driven Decoding of Russell's Circumplex Model of Affect [1.3066182802188202]
  本稿ではトランスフォーマーの埋め込みがラッセルの複素モデルの幾何学的正則性を取り戻すかどうかを考察する。 テキストと音声のマルチモーダル融合は ラッセルの第一の感情の順序と 完全なトポロジカルアライメントをもたらす 私たちの貢献は、感情モデルを検証するための、新しくてデータ駆動のフレームワークです。
  論文  参考訳（メタデータ） (2026-06-15T15:22:30Z)
• Navigating the Emotion Tree: Hierarchical Hyperbolic RAG for Multimodal Emotion Recognition [56.650820426231284]
  マルチモーダル感情認識は、人間の感情状態を理解するためにテキスト、音声、ビデオソースを統合することを目的としている。 大規模言語モデルは多モーダル推論において優れているが、感情カテゴリーを独立したラベルとして扱うのが一般的である。 本稿では,bftextHyperEmo-RAGを提案する。
  論文  参考訳（メタデータ） (2026-05-16T10:04:48Z)
• Concepts Whisper While Syntax Shouts: Spectral Anti-Concentration and the Dual Geometry of Transformer Representations [0.0]
  5つのアーキテクチャファミリにまたがる残留ストリーム差分ベクトルでは,反集束が観察される。 その結果、コンテクスト化された処理中に意味内容をスペクトル的に静かな領域に回転させることが示唆された。
  論文  参考訳（メタデータ） (2026-05-02T21:20:55Z)
• When Agents Look the Same: Quantifying Distillation-Induced Similarity in Tool-Use Behaviors [66.18091962164219]
  既存のメトリクスは、タスクの成功に必要な義務的な振る舞いと、モデルの自律的な嗜好を反映した命令的でないパターンを区別することができない。 言語アライメントのための textbfResponse Pattern similarity (RPS) と、有向グラフとしてモデル化されたツール使用習慣のための textbfAction Graph similarity (AGS) である。
  論文  参考訳（メタデータ） (2026-04-23T03:48:56Z)
• Shared Emotion Geometry Across Small Language Models: A Cross-Architecture Study of Representation, Behavior, and Methodological Confounds [4.358468367889626]
  我々は、fp16精度で統合理解モードパイプラインの下で、12個の小言語モデルから21個の感情ベクトル集合を抽出する。 5つの成熟したアーキテクチャは、ほぼ同じ21-感情幾何学を共有し、対の RDM Spearman 相関は 0.74-0.92 である。 本研究は, 従来の研究成果を, 単一の理解と生成の方法の効果として, 4つの異なる層に分解したことを示す。
  論文  参考訳（メタデータ） (2026-04-13T06:27:40Z)
• Extracting and Steering Emotion Representations in Small Language Models: A Methodological Comparison [4.358468367889626]
  100M-10Bパラメータの小さな言語モデル (SLM) は、ますます電力生産システムに発展していった。 本研究では,SLMにおける感情ベクトル抽出法の比較分析を行った。 生成に基づく抽出は統計的に優れた感情分離を生成する。 我々はQwenにおける言語間感情の絡み合いを文書化し、そこではステアリングが意味的に整合した中国のトークンを活性化する。
  論文  参考訳（メタデータ） (2026-04-05T11:09:27Z)
• UniF$^2$ace: A Unified Fine-grained Face Understanding and Generation Model [62.66515621965686]
  本稿では,2次元離散拡散(D3Diff)損失を伴う新しい理論枠組みを導入し,離散的なスコアマッチング拡散を伴うマスク付き生成モデルを統一する。 このD3Diffは、テキスト入力に沿った高忠実度顔の詳細を合成するモデルの能力を大幅に向上させる。 提案するUniF$2$aceD-1Mは,130Kの微細な画像キャプチャ対と100Mの視覚的質問応答対からなる大規模データセットである。
  論文  参考訳（メタデータ） (2025-03-11T07:34:59Z)
• Emergent effects of scaling on the functional hierarchies within large language models [0.0]
  小型モデルによる解析(Llama-3.2-3b; 28層) アイテムレベルのセマンティクスは、最も早く強く表される(層2-7)、次に2-item関係(層8-12)、続いて4-item類似(層10-15) 深いレイヤは、意味のある抽象化なしで、コンテキストウィンドウの初期部分から情報を圧縮する。
  論文  参考訳（メタデータ） (2025-01-13T14:27:39Z)
• Unveiling Induction Heads: Provable Training Dynamics and Feature Learning in Transformers [54.20763128054692]
  我々は,2層変換器が$n$-gramのマルコフ連鎖データ上でICLを実行するためにどのように訓練されているかを検討する。 クロスエントロピー ICL 損失に対する勾配流が極限モデルに収束することを証明する。
  論文  参考訳（メタデータ） (2024-09-09T18:10:26Z)
• Layer-wise Linear Mode Connectivity [52.6945036534469]
  ニューラルネットワークパラメータの平均化は、2つの独立したモデルの知識の直感的な方法である。 フェデレートラーニングにおいて最も顕著に用いられている。 私たちは、単一グループやグループを平均化するモデルの性能を分析します。
  論文  参考訳（メタデータ） (2023-07-13T09:39:10Z)
• Towards an Understanding of Benign Overfitting in Neural Networks [104.2956323934544]
  現代の機械学習モデルは、しばしば膨大な数のパラメータを使用し、通常、トレーニング損失がゼロになるように最適化されている。 ニューラルネットワークの2層構成において、これらの良質な過適合現象がどのように起こるかを検討する。 本稿では,2層型ReLUネットワーク補間器を極小最適学習率で実現可能であることを示す。
  論文  参考訳（メタデータ） (2021-06-06T19:08:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。