論文の概要: The information geometry of large language models is shared, learned, and controllable
- arxiv url: http://arxiv.org/abs/2609.11063v1
- Date: Thu, 10 Sep 2026 04:09:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-11 23:53:35.209268
- Title: The information geometry of large language models is shared, learned, and controllable
- Title（参考訳）: 大規模言語モデルの情報幾何学は共有され、学習され、制御可能である
- Abstract要約: 振舞いは、出力保存対称性までの幾何を決定することを示す。
アクロス変圧器、状態空間および繰り返しモデル、出力ジオメトリはアクティベーションジオメトリよりも強く一致する。
制御された言語割り当ては、幾何学がアーキテクチャ全体にわたる言語法則に従うことを示している。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models learn similar behaviours, yet it remains unclear what structure they share or how to change one behaviour without disturbing others. The Fisher-Rao geometry of next-token probabilities connects these questions: behaviour determines this geometry up to output-preserving symmetries, whereas activation geometry depends on coordinates. Across transformer, state-space and recurrent models, output geometries agree more strongly than activation geometries, and shared geometry supports semantic-category transfer. Agreement with human word choices increases with predictive accuracy, scale and training, and improves further after model-only calibration. Token probabilities and read-out geometry jointly predict the spectrum and its effective dimension. Controlled language assignments show that geometry follows the language law across architectures. Pretraining corpus statistics predict held-out fact acquisition without recalibration, while randomised experiments show that deeper evidence substantially delays acquisition across every tested architecture and evidence construction. Finally, the geometry prescribes minimum-disturbance local interventions, predicts their relative cost, and supports reusable control: updates learned on donor prompts transfer to unseen prompts while better preserving behaviour on reference prompts than Euclidean control. The same geometric correction improves steering, editing, attribution, dictionary learning and fine-tuning.
- Abstract（参考訳）: 大きな言語モデルは同じような振る舞いを学習するが、どの構造を共有し、他のモデルを邪魔することなく、ある振る舞いをどのように変更するかは、まだ不明である。
振舞いは、この幾何学を出力保存対称性まで決定するが、アクティベーション幾何学は座標に依存する。
アクロストランス、状態空間、繰り返しモデル、出力ジオメトリはアクティベーションジオメトリよりも強く一致し、共有ジオメトリはセマンティック・カテゴリ転送をサポートする。
人間の単語選択との一致は、予測精度、スケール、トレーニングによって増加し、モデルのみのキャリブレーション後にさらに改善される。
トークン確率と読み出し幾何学は、スペクトルとその有効次元を共同で予測する。
制御された言語割り当ては、幾何学がアーキテクチャ全体にわたる言語法則に従うことを示している。
事前のコーパス統計は、再校正なしに保持された事実の取得を予測し、ランダム化実験は、より深い証拠がテストされたすべてのアーキテクチャとエビデンスの構築を著しく遅らせることを示している。
最後に、この幾何学は最小分散局所的介入を規定し、相対的なコストを予測し、再利用可能な制御をサポートする:ドナーで学んだ更新は、未確認のプロンプトへの転送を促し、ユークリッド制御よりも参照プロンプトに対する振舞いを保っている。
同じ幾何補正は、ステアリング、編集、帰属、辞書学習、微調整を改善する。
関連論文リスト
- Rewriting or Reweighting? A Geometric Account in Language Models [44.66056836026845]
ポストトレーニングは言語モデルの振る舞いを大きく変えることができる。
本研究は, 機械的に異なる2つの障害, 復号器病理としての繰り返しと, 選好関連アライメント障害としての梅毒症について検討した。
本稿では,スパースな挙動関連座標を選択することによって,行動特異的な幾何学を分離する挙動多様体解析を紹介する。
論文 参考訳（メタデータ） (2026-08-03T07:46:28Z) - MENTIS: What Belief Changes Under Alignment? Measuring Multi-Scale Latent Torsion in Language Models [16.071341117554038]
我々は、アライメントによる内部再構成を測定するためのフレームワークであるMENTISを紹介する。
LITMUSでは,4組の7-8Bモデルペアに対して,アライメントによる変化は均一ではなく選択的であることが判明した。
これらの結果は, 行動レベルの評価だけでは明らかでない, 内部計算において, 深度局所化された幾何的シグネチャが構築されていることを示唆している。
論文 参考訳（メタデータ） (2026-05-31T07:05:51Z) - The Shape of Addition: Geometric Structures of Arithmetic in Large Language Models [11.106770083374288]
大規模言語モデルは、基本的な算術においてパラドックスの幻覚を示し、内部計算と離散出力の解離を意味する。
本稿では,この形状を説明するために雑音量子化モデルを提案し,量子化しきい値を越えて潜伏電位を連続的に押し出す内部雑音による幾何学的スリップとして算術誤差をフレーミングする。
提案手法は, 推論中の量子化故障を効果的に検出し, 補正する幾何整合性検査法を用いて, これらの知見を検証する。
論文 参考訳（メタデータ） (2026-05-29T10:55:50Z) - Draw2Think: Harnessing Geometry Reasoning through Constraint Engine Interaction [59.47026381165585]
視覚言語モデルは精度を上げて幾何学的問題を解くが、その中間状態は潜伏し、検証できないままである。
我々は,GeoGebra制約エンジンとのエージェント相互作用に潜時空間推論から幾何推論を再キャストするフレームワークDraw2Thinkを提案する。
論文 参考訳（メタデータ） (2026-05-20T05:46:14Z) - Failure Modes for Deep Learning-Based Online Mapping: How to Measure and Address Them [10.503307305047487]
本稿では、入力特徴の記憶と、既知の地図測地への過度な適合の2つの効果を解消して、基礎となる障害モードを特定し、測定するフレームワークを提案する。
しきい値調整なしで要素単位の形状の忠実度をキャプチャするフレシェ距離に基づく再構成統計を導入する。
MSTに基づくスペーシフィケーション戦略を定式化し、冗長性を低減し、トレーニングサイズを縮小しながらバランスと性能を向上させる。
論文 参考訳（メタデータ） (2026-03-20T11:09:11Z) - HyperAlign: Hyperbolic Entailment Cones for Adaptive Text-to-Image Alignment Assessment [84.65251073657883]
双曲的エンターメント幾何に基づく適応型テキスト・画像アライメントアライメントアセスメントフレームワークHyperAlignを提案する。
まず、CLIPを用いてユークリッド特徴を抽出し、双曲空間にマッピングする。
第二に、離散エンターメント論理を連続的な幾何学的構造管理に変換する動的スーパービジョンエンターメントモデリング機構を設計する。
第3に,双曲幾何学的特徴を利用してサンプルレベルの変調パラメータを生成する適応変調回帰器を提案する。
論文 参考訳（メタデータ） (2026-01-08T05:41:06Z) - GraphShaper: Geometry-aware Alignment for Improving Transfer Learning in Text-Attributed Graphs [16.624063216788638]
マルチジオメトリ・スペシャライゼーションによるグラフエンコーディングを強化した幾何認識フレームワークである textbfGraphShaper を紹介する。
我々のアプローチでは、異なる幾何学的空間に合わせた専門家ネットワークを使用し、動的に融合重みを計算し、幾何学的特性を適応的に統合する。
引用ネットワークでは9.47%、ゼロショット設定では7.63%の精度向上を実現している。
論文 参考訳（メタデータ） (2025-10-14T02:48:50Z) - CP$^2$: Leveraging Geometry for Conformal Prediction via Canonicalization [51.716834831684004]
幾何データシフトにおける共形予測(CP)の問題について検討する。
本稿では,幾何的ポーズなどの幾何学的情報を統合することを提案する。
論文 参考訳（メタデータ） (2025-06-19T10:12:02Z) - PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation [70.98107766265636]
本稿では,事前学習した重みの幾何学的特性を出発点として,3つの重要な成分(等級,絶対角,対角構造)を体系的に解析する。
両角構造は多種多様なドメインにわたって安定であり, ドメイン不変な意味情報を符号化し, 適応中に保存すべきことを示唆する。
論文 参考訳（メタデータ） (2025-06-03T05:18:15Z) - Bridging Geometric States via Geometric Diffusion Bridge [79.60212414973002]
本稿では,初期および対象の幾何状態を正確にブリッジする新しい生成モデリングフレームワークであるGeometric Diffusion Bridge (GDB)を紹介する。
GDBは、幾何学的状態の接続のためにDoobの$h$-transformの修正版から派生した同変拡散ブリッジを使用している。
我々はGDBが既存の最先端のアプローチを超越し、幾何学的状態を正確にブリッジするための新しい経路を開くことを示す。
論文 参考訳（メタデータ） (2024-10-31T17:59:53Z) - Exploring Data Geometry for Continual Learning [64.4358878435983]
非定常データストリームのデータ幾何を探索することにより,新しい視点から連続学習を研究する。
提案手法は,新しいデータによって引き起こされる幾何構造に対応するために,基底空間の幾何学を動的に拡張する。
実験により,本手法はユークリッド空間で設計したベースライン法よりも優れた性能が得られることが示された。
論文 参考訳（メタデータ） (2023-04-08T06:35:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。