論文の概要: Replicating the Geometry of Emotion Representations in a Base Open-Weights Model
- arxiv url: http://arxiv.org/abs/2609.22208v1
- Date: Tue, 01 Sep 2026 13:50:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-28 05:09:55.772094
- Title: Replicating the Geometry of Emotion Representations in a Base Open-Weights Model
- Title（参考訳）: ベースオープンウェイトモデルにおける感情表現の幾何学の再現
- Abstract要約: 新たに生成された205,200個のClaude Sonnet 4.5のストーリーから171個の感情ベクトルを抽出し,コアを復元する。
主成分の主成分は感情的な概略(PC1は27%、PC2 13.4%は14%)、感情は同様の直感的な家系に集まっており、幾何学は幅広い中盤の帯域にまたがっている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Sofroniew et al. (2026) report that emotion concepts in Claude Sonnet 4.5 are represented as vectors whose geometry mirrors human affect psychology. We replicate the representational core of that study on the base pretrained model google/gemma-2-27b, inheriting every disclosed parameter, resolving unspecified steps by disclosed rules, and changing only the subject model. From 205,200 newly generated Claude Sonnet 4.5 stories matching the original corpus design, we extract 171 emotion vectors and recover the core results. The leading principal components form an affective circumplex (PC1 carries 26.7% of variance against the original study's ~27%, PC2 13.4% against ~14%), emotions cluster into similar intuitive families, and the geometry holds across a broad late-middle band. The valence axis aligns with human norms (r = 0.72, against 0.81) and is stable across scales and depth. Arousal aligns at r = 0.67 (against 0.66) but only at the full 171-emotion scale and late depth, so we do not classify it as replicated. Extending the original analysis, a 46-layer sweep locates a sharp seam at L22-26, where the geometry consolidates and the vocabulary readout becomes legible. An embedding-layer baseline finds much of the geometry already present in the static token embeddings, with arousal as the exception. On top-activating held-out text, the geometry predicts token-level co-activation at r = 0.907. At least 52% of vectors peak on structurally non-conceptual tokens, a measured floor for max-activation confounds. Even when a document contains the vector's emotion word, the peak lands on that word only 6.1% of the time. Because the subject is a base model and the stimuli are Claude-generated fiction, the recovered structure is a property of the pretrained representation of Claude-rendered emotion. The original's causal and assistant-facing analyses are out of scope. Code and data are released.
- Abstract（参考訳）: Sofroniew et al (2026) は、クロード・ソネット4.5の感情概念は、人間の幾何学鏡が心理学に影響を与えるベクトルとして表現されていると報告している。
我々は,その研究の表現コアを,ベースとなる事前学習モデル google/gemma-2-27b で再現し,すべてのパラメータを継承し,未特定ステップを公開ルールで解決し,対象モデルのみを変更する。
新たに生成された205,200個のClaude Sonnet 4.5のストーリーから171個の感情ベクトルを抽出し,コアを復元する。
主成分の主成分は感情的な概略(PC1は27%、PC2 13.4%は14%)、感情は同様の直感的な家系に集まっており、幾何学は幅広い中盤の帯域にまたがっている。
原子価軸は人間のノルム(r = 0.72、対 0.81)と一致し、スケールと深さで安定である。
arousal は r = 0.67 (0.66) で整列するが、完全な 171-感情スケールと遅延深さでしか整列しないので、複製として分類することはできない。
元の解析を拡張して、46層スイープは鋭いシームをL22-26に配置する。
埋め込み層ベースラインは、静的トークン埋め込みに既に存在する幾何の多くを例外として発見する。
トップアクティベートされた保留テキストでは、幾何学はトークンレベルのコアクティベーションを r = 0.907 で予測する。
ベクトルの少なくとも52%は、最大活性化コンファウンドのための測定フロアである、構造的に非概念トークン上でピークに達した。
文書がベクトルの感情語を含む場合でも、ピークは6.1%の時間しか到達しない。
主題はベースモデルであり、刺激はクロード生成フィクションであるため、復元された構造はクロードレンダリングされた感情の事前訓練された表現の特性である。
原典の因果的・補助的分析は対象外である。
コードとデータはリリースされます。
関連論文リスト
- Vision Models Predict Urban Scene Appraisal with Limited Neural Alignment [0.0]
高い予測精度は、事前訓練された視覚埋め込みが、人間の知覚のようにシーンを整理することを証明しない。
我々は、時間とともにシーンの表現幾何学、説明可能な幾何学の比率、および17の特徴空間との対応性を推定する。
同じ埋め込みによる評価評価は、r = 0.87まで良好に予測され、2つの測度はモデル間では追跡されない。
論文 参考訳（メタデータ） (2026-08-31T15:28:39Z) - MicroVerse: An Instrument for Measuring Self-Authored Identity Drift in Long-Horizon Multi-Agent Language-Model Simulations [47.771518253102975]
MicroVerseは、生成エージェントのアイデンティティドリフトを測定する行動科学機器である。
エージェントは不変の"ソウルファイル"(コア値、モラル境界、パーソナリティ、目標)を持ち、50 x 50の環境に生息する。
反自己偽装は、アイデンティティー修飾の単一の最大の意味圏として現れない。
論文 参考訳（メタデータ） (2026-08-16T16:31:42Z) - Rewriting or Reweighting? A Geometric Account in Language Models [44.66056836026845]
ポストトレーニングは言語モデルの振る舞いを大きく変えることができる。
本研究は, 機械的に異なる2つの障害, 復号器病理としての繰り返しと, 選好関連アライメント障害としての梅毒症について検討した。
本稿では,スパースな挙動関連座標を選択することによって,行動特異的な幾何学を分離する挙動多様体解析を紹介する。
論文 参考訳（メタデータ） (2026-08-03T07:46:28Z) - Where Do Models Find Happiness? Emotion Vectors in Open-Source LLMs [14.325651313297081]
近年の研究では、感情の概念を符号化し、人間の心理的構造を反映する幾何学を示す内部表現であるクロード・ソネット4.5の感情ベクトルが特定されている。
Apertus-8B-Instruct-2509 と Gemma-4-E4B-it の2つのオープンウェイトモデルにおいて,これらの発見の一般性を検証する。
論文 参考訳（メタデータ） (2026-06-25T13:01:11Z) - A Shared Valence Axis Across Modern LLMs and Human EEG: The Saturation Regularity [45.39795199208249]
大規模言語モデル(LLM)は、人間の認知と内部的特徴がますます一致している強力な表現学習者として登場した。
我々は、現代のLLMが人間の脳内の神経表現を理解するためのレンズとして機能するかどうかを考察する。
論文 参考訳（メタデータ） (2026-05-28T19:42:10Z) - Self-Training Doesn't Flatten Language -- It Restructures It: Surface Markers Amplify While Deep Syntax Dies [4.738949927143789]
言語モデル自身の出力に対する連続的な自己学習は、フラット化のプロセスとして広く特徴づけられる。
この特徴が不完全であることを示す。
5つのモデルでの11世代にわたるセルフトレーニングでは、言語は均一にフラット化されていない。
論文 参考訳（メタデータ） (2026-05-20T01:44:47Z) - Weber's Law in Transformer Magnitude Representations: Efficient Coding, Representational Geometry, and Psychophysical Laws in Language Models [0.0]
表現幾何学は3大領域にわたって一貫して対数圧縮的であることを示す。
1つのモデルは人間の範囲ウェバー分率(WF = 0.20)を生成し、もう1つのモデルはそうではない。
因果干渉は層解離を示す:初期の層は大きさ処理(4.1xの特異性)に機能的に関連付けられ、その後の層は幾何学が最強である。
論文 参考訳（メタデータ） (2026-03-21T04:38:30Z) - Thinking in Different Spaces: Domain-Specific Latent Geometry Survives Cross-Architecture Translation [0.7162422068114824]
独立に訓練された言語モデルが幾何学的に互換性のある潜在表現に収束するかどうかを検討する。
我々は,大規模教師モデルの活性化ベクトルをより小さな学生モデルの座標系にマッピングする線形投影行列を学習する。
幾何アライメントの品質と行動補正率のほぼゼロの相関を報告する。
論文 参考訳（メタデータ） (2026-03-20T18:26:23Z) - Cross-Embodiment Dexterous Hand Articulation Generation via Morphology-Aware Learning [82.63833405368159]
既存のエンドツーエンドメソッドでは、特定の手で大規模なデータセットをトレーニングする必要がある。
本稿では,固有グラフに基づくクロスボデーメントグリップ生成のためのエンドツーエンドフレームワークを提案する。
論文 参考訳（メタデータ） (2025-10-07T15:57:00Z) - Pre-training and Diagnosing Knowledge Base Completion Models [58.07183284468881]
我々は,事実の集合から他の集合への知識伝達へのアプローチを,エンティティや関係マッチングを必要とせずに導入し,分析する。
主な貢献は、構造化されていないテキストから収集された事実の大規模事前学習を利用する方法である。
得られた事前学習モデルをよりよく理解するために,オープン知識ベースコンプリートのための事前学習モデルの解析のための新しいデータセットを導入する。
論文 参考訳（メタデータ） (2024-01-27T15:20:43Z) - Understanding writing style in social media with a supervised
contrastively pre-trained transformer [57.48690310135374]
オンラインソーシャルネットワークは、ヘイトスピーチから偽情報の拡散まで、有害な行動の場として機能している。
本稿では, 4.5 x 106テキストの公開資料から得られた大規模コーパスに基づいて学習したStyle Transformer for Authorship Representations (STAR)を紹介する。
512個のトークンからなる8つのドキュメントからなるサポートベースを使用して、著者を最大1616人の著者のセットから、少なくとも80%の精度で識別することができる。
論文 参考訳（メタデータ） (2023-10-17T09:01:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。