論文の概要: The Information Geometry of Softmax: Probing and Steering

• arxiv url: http://arxiv.org/abs/2602.15293v1
• Date: Tue, 17 Feb 2026 01:33:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-18 16:03:17.953535
• Title: The Information Geometry of Softmax: Probing and Steering
• Title（参考訳）: ソフトマックスの情報幾何学:探索とステアリング
• Authors: Kiho Park, Todd Nief, Yo Joong Choe, Victor Veitch,
• Abstract要約: 表現空間の自然な幾何学は、モデルが表現を使って振る舞いを生成する方法を反映すべきである。 我々の焦点は、意味的エンコーディングと線形表現仮説における情報幾何学の役割である。 図示的応用として,表現を頑健に操り,特定の概念を示す手法である「デュアルステアリング」を開発する。
• 参考スコア（独自算出の注目度）: 18.006877307358348
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper concerns the question of how AI systems encode semantic structure into the geometric structure of their representation spaces. The motivating observation of this paper is that the natural geometry of these representation spaces should reflect the way models use representations to produce behavior. We focus on the important special case of representations that define softmax distributions. In this case, we argue that the natural geometry is information geometry. Our focus is on the role of information geometry on semantic encoding and the linear representation hypothesis. As an illustrative application, we develop "dual steering", a method for robustly steering representations to exhibit a particular concept using linear probes. We prove that dual steering optimally modifies the target concept while minimizing changes to off-target concepts. Empirically, we find that dual steering enhances the controllability and stability of concept manipulation.
• Abstract（参考訳）: 本稿では,AIシステムがどのように意味構造を表現空間の幾何学的構造にエンコードするかという問題に対処する。 この論文の動機となる観察は、これらの表現空間の自然な幾何学は、モデルが表現を使って行動を生成する方法を反映すべきであるということである。 ソフトマックス分布を定義する表現の重要な特別な場合に焦点を当てる。 この場合、自然幾何学は情報幾何学であると主張する。 我々の焦点は、意味的エンコーディングと線形表現仮説における情報幾何学の役割である。 図示的応用として、線形プローブを用いた特定の概念を示すために、表現を頑健に操る「デュアルステアリング」を開発した。 両操舵は目標概念の変更を最小限に抑えつつ目標概念を最適に修正することを証明する。 実証的に、二重ステアリングは概念操作の制御性と安定性を高める。

関連論文リスト

• Brep2Shape: Boundary and Shape Representation Alignment via Self-Supervised Transformers [46.87466345672103]
  境界表現(B-rep)はコンピュータ支援設計(CAD)の業界標準である ディープラーニングはB-repモデルの処理において有望であるが、既存の手法は表現ギャップに悩まされている。 本稿では,抽象境界表現と直感的な形状表現との整合性を考慮した自己教師付き事前学習手法であるBrep2Shapeを紹介する。
  論文  参考訳（メタデータ） (2026-02-07T08:00:47Z)
• Curved Inference: Concern-Sensitive Geometry in Large Language Model Residual Streams [0.0]
  本稿では,大言語モデルの残差ストリーム軌跡が意味的関心事の変化に応じてどのように曲げられるかを追跡する幾何学的解釈可能性フレームワークを提案する。 Gemma3-1bとLLaMA3.2-3bを5つのネイティブ空間メトリクスを用いて解析し、曲率(kappa_i)とサリエンス(S(t))に着目した。 いずれのモデルにおいても,アクティベーショントラジェクトリが確実に変更されることが示唆された。
  論文  参考訳（メタデータ） (2025-07-08T23:05:00Z)
• Cross-Modal Geometric Hierarchy Fusion: An Implicit-Submap Driven Framework for Resilient 3D Place Recognition [9.411542547451193]
  本稿では,密度に依存しない幾何学的推論により3次元位置認識を再定義するフレームワークを提案する。 具体的には、元のシーンポイント雲密度の干渉に免疫する弾性点に基づく暗黙の3次元表現を導入する。 これら2種類の情報を活用することで,鳥眼視と3Dセグメントの両視点から幾何学的情報を融合する記述子を得る。
  論文  参考訳（メタデータ） (2025-06-17T07:04:07Z)
• A Geometry-Aware Message Passing Neural Network for Modeling Aerodynamics over Airfoils [61.60175086194333]
  空気力学は航空宇宙工学の重要な問題であり、しばしば翼のような固体物と相互作用する流れを伴う。 本稿では, 固体物体上の非圧縮性流れのモデル化について考察する。 ジオメトリを効果的に組み込むため,メッシュ表現に翼形状を効率よく,かつ効率的に統合するメッセージパッシング方式を提案する。 これらの設計選択は、純粋にデータ駆動の機械学習フレームワークであるGeoMPNNにつながり、NeurIPS 2024 ML4CFDコンペティションで最優秀学生賞を受賞し、総合で4位となった。
  論文  参考訳（メタデータ） (2024-12-12T16:05:39Z)
• Geometry Distributions [51.4061133324376]
  本稿では,分布として幾何学をモデル化する新しい幾何学的データ表現を提案する。 提案手法では,新しいネットワークアーキテクチャを用いた拡散モデルを用いて表面点分布の学習を行う。 本研究では,多種多様な対象に対して質的かつ定量的に表現を評価し,その有効性を実証した。
  論文  参考訳（メタデータ） (2024-11-25T04:06:48Z)
• DeepMLS: Geometry-Aware Control Point Deformation [76.51312491336343]
  本稿では,空間に基づく変形技術であるDeepMLSを紹介する。 ニューラルネットワークの力を利用して、下層の形状を変形パラメータに注入する。 本手法は直感的に滑らかな変形をしやすくし, 製造物に適している。
  論文  参考訳（メタデータ） (2022-01-05T23:55:34Z)
• Self-supervised Geometric Perception [96.89966337518854]
  自己教師付き幾何知覚(self-supervised geometric perception)は、基底幾何モデルラベルなしで対応マッチングのための特徴記述子を学ぶためのフレームワークである。 また,SGPは,地上トラスラベルを用いて訓練した教師付きオークルよりも同等か優れる最先端性能を達成できることを示す。
  論文  参考訳（メタデータ） (2021-03-04T15:34:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。