論文の概要: The Geometry of Emotion Representations Across Scale, Depth, and Instruction Tuning
- arxiv url: http://arxiv.org/abs/2610.35411v1
- Date: Mon, 26 Oct 2026 13:23:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.938172
- Title: The Geometry of Emotion Representations Across Scale, Depth, and Instruction Tuning
- Title（参考訳）: スケール・深さ・指導訓練における感情表現の幾何学
- Abstract要約: GoogleのGemma 2ファミリーにまたがる6つのLLMの感情幾何学を測定した。
Gemma 2 2B, 9B, 27Bのベースおよび命令調整された変種間で感情の幾何学を比較した。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We measure the emotion geometry of six LLMs spanning Google's Gemma 2 family. Using an extraction pipeline established by Sofroniew et al. (2026) on Claude Sonnet 4.5 and replicated by Hollowell (2026) on Gemma 2 27B base, we compare emotion geometry across base and instruction-tuned variants of Gemma 2 2B, 9B, and 27B. First, all six model cells exhibit the core emotion geometry. A linear map fit between two cells places held-out emotions nearest their own vectors in the target model. Across all fifteen model pairs, fit in one direction each, this failed exactly once, and the median rank was 1 in every pair. Linear maps refit on cleaned embedding-table vectors recover every held-out emotion at rank 1 in all thirty ordered pairs. Second, scale spreads the geometry's variance across more directions without weakening its tie to valence. The leading component's share of variance falls from 31.6 percent (2B) to 29.8 (9B) to 26.7 (27B) in the base models and from 31.9 (2B) to 29.2 (9B) to 27.3 (27B) in the tuned ones, while its correlation with human valence ratings stays between .71 and .78 in all six models. Third, we project each emotion vector onto the output vocabulary and ask at what depth the vector's own emotion word enters the top 10,000 of the 256,000 tokens. In the 2B and 9B models the median emotion word is there from layer 0, while in the 27B models it begins near chance, stays outside the top 10,000 for half the network, and enters at layer 23 in one step. Fourth, tuning leaves every registered analysis-layer measure within its floor. At every size, valence correlation rises and arousal correlation falls by amounts within their floors, the latter against prediction. PC2's variance share also falls, with a pooled decrease significant after correction. Mid-late layer stability exceeds its floor and traces to base 27B's final layer. Code, data, and audit reports are released.
- Abstract（参考訳）: GoogleのGemma 2ファミリーにまたがる6つのLLMの感情幾何学を測定した。
Sofroniew et al (2026) が Claude Sonnet 4.5 で確立し,Holowell (2026) が Gemma 2 27B ベースで再現した抽出パイプラインを用いて, Gemma 2 2B, 9B, 27B のベースおよびインストラクション調整された変種間の感情幾何学を比較した。
まず、6つのモデル細胞が中心となる感情構造を示す。
2つのセル間の線形マップは、ターゲットモデルに最も近いベクトルを保留する感情を配置する。
15組のモデルペアは、それぞれ1つの方向に収まるが、これは正確に1回失敗し、各ペアの中央のランクは1つだった。
線形写像は、クリーニングされた埋め込みテーブルベクトルに適合し、30の順序対すべてにおいてランク1で保持されたすべての感情を回復する。
第二に、スケールは幾何の分散を、その結合と原子価を弱めることなく、より多くの方向にわたって広げる。
主成分の分散のシェアは、ベースモデルでは31.6% (2B) から29.8 (9B) から26.7 (27B) に、チューニングされたモデルでは31.9 (2B) から29.2 (9B) から27.3 (27B) に、人間の原子価評価との相関は6モデルすべてで.71 から .78 に留まる。
第三に、各感情ベクトルを出力語彙に投影し、ベクトル自身の感情ワードが256,000トークンのトップ10,000に入る深さを問う。
2Bと9Bモデルでは、中央の感情語は0層から存在しており、27Bモデルではほぼ偶然に始まり、ネットワークの半分でトップ10,000の外に留まり、1ステップで23層に入る。
第4に、チューニングは、すべての登録された分析層をフロア内に残します。
あらゆる大きさにおいて、原子価相関は上昇し、覚醒相関は床の量によって減少し、後者は予測に反する。
PC2のばらつきも減少し、修正後のプール化は顕著に減少した。
中層層の安定性は床を超え、ベース27Bの最終層まで遡る。
コード、データ、監査レポートがリリースされている。
関連論文リスト
- ProteinGeoBench: Frontier Structural-Biology Agents Are Fluent at Lookup but Lost in Geometry [0.0]
4モデルから4,249回,26モデルから4,486回,タンパク質構造タスクのスイートであるProteinGeoBenchについて検討した。
4つのフロンティアモデルのうち3つは互いに0.031(0.785から0.816)の範囲内にあり、その差は解消されず、第4スコアは0.707、第3スコアは0である。
評価予算にも依存しており、タスク毎に1回実行され、23.9%の複製がまず異なるモデルで実行される。
論文 参考訳（メタデータ） (2026-10-19T17:55:38Z) - Predicting and Repairing Merge Collapse in Large Language Models [31.640093683161766]
専門家のタスクベクトルの統計は、この崩壊を予測し、修理を校正することを示している。
PRISMは、まずタスクベクトルを平均化し、次に各レイヤを干渉によって設定されたレベルでソフトスレッショルドする演算子である。
論文 参考訳（メタデータ） (2026-10-02T12:11:43Z) - Does the VGGT Family Need All Its Layers? [55.81487806596663]
VGGT,3ドル,VGGT-$:3,018プルーニング構成における層冗長性について検討した。
取り外し可能な層が2つの冗長領域に集結しているのに対して、層間をまたがる削除は、常に破壊的である。
CKAは、間隔分解のためのより安価な表現ベースのプロキシを提供し、プルーニング品質とキャリブレーションコストのトレードオフを提供する。
論文 参考訳（メタデータ） (2026-09-29T06:52:07Z) - Quantization Thresholds Replicate, Failure Modes Do Not: A Three-Model Study of Agentic Tool Use in Polish from 8-bit to 2-bit [0.0]
PolAgentBenchはポーランドのプロンプトと英語のツールスキーマを用いた決定論的ベンチマークである。
ビエリク-11B-v3.0とその熟成された蒸留子ビエリク-ミニトロン-7B-v3.0はモデル圧縮を分離する。
論文 参考訳（メタデータ） (2026-09-25T22:13:11Z) - ICE: Task-Aligned Clifford Latent Fields for Multimodal Graph Foundation Models [37.927624558881035]
ICE(Interaction-aware Clifford)は、ノードインデックスのCliffordフィールド上に構築されたグラフ基盤モデルである。
トポロジー、テキスト、画像は観察された近傍のCl(3)アドレスを明示的に入力する。
保護されたグレード1ルートはエンティティのセマンティクスを保持し、フルグレードとディープバンクは、新しいノードとリンクヘッドで利用可能である。
実験は、11のグラフ、6つのノード分類データセット、3つのリンク予測データセット、および数ショットタスクにマッチする1つの共有基盤にまたがる。
論文 参考訳（メタデータ） (2026-09-24T11:24:08Z) - Replicating the Geometry of Emotion Representations in a Base Open-Weights Model [0.0]
新たに生成された205,200個のClaude Sonnet 4.5のストーリーから171個の感情ベクトルを抽出し,コアを復元する。
主成分の主成分は感情的な概略(PC1は27%、PC2 13.4%は14%)、感情は同様の直感的な家系に集まっており、幾何学は幅広い中盤の帯域にまたがっている。
論文 参考訳（メタデータ） (2026-09-01T13:50:45Z) - Where a New Concept Must Enter: Entry Point Gates Cross-Task Usability in Unified Multimodal Models [29.95046057406594]
統一マルチモーダルモデル(UMM)は、理解と生成が互いに強化されるという希望によって動機付けられている。
建設によるUMMにおける2方向の関係について検討する。
どちらの方向でもチャネルが本物であることは分かるが、方向は様々である。
論文 参考訳（メタデータ） (2026-08-18T09:23:35Z) - From Isolated Tasks to Structured Capabilities: A Multilayer Taxonomy for Large Language Models [41.36461541603076]
大規模言語モデル(LLM)の評価は多様なタスクとベンチマークにまたがる。
証拠は、調査する能力よりも、タスクを中心に組織化されている。
14の能力ドメインと91のサブスキルからなる多層分類を導入した。
論文 参考訳（メタデータ） (2026-07-24T10:49:50Z) - Where Do Models Find Happiness? Emotion Vectors in Open-Source LLMs [14.325651313297081]
近年の研究では、感情の概念を符号化し、人間の心理的構造を反映する幾何学を示す内部表現であるクロード・ソネット4.5の感情ベクトルが特定されている。
Apertus-8B-Instruct-2509 と Gemma-4-E4B-it の2つのオープンウェイトモデルにおいて,これらの発見の一般性を検証する。
論文 参考訳（メタデータ） (2026-06-25T13:01:11Z) - Layer-Isolated Evaluation: Gating the Deterministic Scaffold of a Production LLM Agent with a No-LLM, Regression-Locked Test Harness [45.148328075418156]
デプロイされた注文エージェントは、階層の固定された分類に分解される。
純粋なスイートは、ロックされたスライス単位のベースラインに対して、すべての変更でCIで動作する。
制御されたレグレッションインジェクションにより、安全でない7つの層に一度に1つの層を分解し、検証する。
論文 参考訳（メタデータ） (2026-06-10T05:55:13Z) - Thinking in Different Spaces: Domain-Specific Latent Geometry Survives Cross-Architecture Translation [0.7162422068114824]
独立に訓練された言語モデルが幾何学的に互換性のある潜在表現に収束するかどうかを検討する。
我々は,大規模教師モデルの活性化ベクトルをより小さな学生モデルの座標系にマッピングする線形投影行列を学習する。
幾何アライメントの品質と行動補正率のほぼゼロの相関を報告する。
論文 参考訳（メタデータ） (2026-03-20T18:26:23Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。