論文の概要: GeoLAN: Geometric Learning of Latent Explanatory Directions in Large Language Models

• arxiv url: http://arxiv.org/abs/2603.19460v1
• Date: Thu, 19 Mar 2026 20:42:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 19:48:38.879593
• Title: GeoLAN: Geometric Learning of Latent Explanatory Directions in Large Language Models
• Title（参考訳）: GeoLAN:大規模言語モデルにおける潜在説明方向の幾何学的学習
• Authors: Tianyu Bell Pan, Damon L. Woodard,
• Abstract要約: トークン表現を幾何学的トラジェクトリとして扱うためのトレーニングフレームワークであるGeoLANを紹介する。 その結果,GeoLANは幾何的メトリクスを改善しつつタスクの精度をよく維持し,一定の公平性バイアスを低減していることがわかった。
• 参考スコア（独自算出の注目度）: 0.6331016589903705
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) demonstrate strong performance, but they often lack transparency. We introduce GeoLAN, a training framework that treats token representations as geometric trajectories and applies stickiness conditions inspired by recent developments related to the Kakeya Conjecture. We have developed two differentiable regularizers, Katz-Tao Convex Wolff (KT-CW) and Katz-Tao Attention (KT-Attn), that promote isotropy and encourage diverse attention. Our experiments with Gemma-3 (1B, 4B, 12B) and Llama-3-8B show that GeoLAN frequently maintains task accuracy while improving geometric metrics and reducing certain fairness biases. These benefits are most significant in mid-sized models. Our findings reveal scale-dependent trade-offs between geometric precision and performance, suggesting that geometry-aware training is a promising approach to enhance mechanistic interpretability.
• Abstract（参考訳）: 大規模言語モデル(LLM)は高いパフォーマンスを示すが、透明性に欠けることが多い。 トークン表現を幾何学的トラジェクトリとして扱うためのトレーニングフレームワークであるGeoLANを紹介する。 アイソトロピーを促進するために,Katz-Tao Convex Wolff (KT-CW) とKatz-Tao Attention (KT-Attn) の2つの異なる正則化器を開発した。 Gemma-3 (1B, 4B, 12B) とLlama-3-8B を用いて行った実験から,GeoLAN は幾何的メトリクスを改善しつつタスクの精度を高く維持し,一定の公平性バイアスを低減していることがわかった。 これらの利点は中型モデルで最も重要なものである。 その結果,幾何学的精度と性能のスケール依存的なトレードオフが明らかとなり,幾何学的学習が機械的解釈可能性を高めるための有望なアプローチであることが示唆された。

関連論文リスト

• LatentGeo: Learnable Auxiliary Constructions in Latent Space for Multimodal Geometric Reasoning [32.39048489202347]
  画素レベルのレンダリングや外部エグゼキュータを使わずに、連続潜時視覚表現を学習し、補助幾何学的構成を内部化するフレームワークを提案する。 LatentGeoは幾何学的推論タスク、特に補助的な構成を必要とするタスクでかなりの利益を得ている。
  論文  参考訳（メタデータ） (2026-03-12T17:01:23Z)
• GPA-VGGT:Adapting VGGT to Large Scale Localization by Self-Supervised Learning with Geometry and Physics Aware Loss [15.633839321933385]
  近年のVisual Geometry Grounded Transformer (VGGT) モデルの進歩は、カメラのポーズ推定と3次元再構成において大きな可能性を秘めている。 これらのモデルは通常、トレーニングのために真実のラベルを頼りにしており、ラベルのない、目に見えないシーンに適応する際の課題を提起している。 本稿では,VGGTをラベルのないデータで訓練する自己教師型フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-01-23T16:46:59Z)
• SKGE: Spherical Knowledge Graph Embedding with Geometric Regularization [0.0]
  SKGE(Spherical Knowledge Graph Embedding)は、実体表現をコンパクトな多様体(超球)に制約するモデルである。 我々は、SKGEが強いユークリッドのTransEよりも一貫して著しく優れていることを示した。
  論文  参考訳（メタデータ） (2025-11-04T10:40:46Z)
• GeoPurify: A Data-Efficient Geometric Distillation Framework for Open-Vocabulary 3D Segmentation [57.8059956428009]
  2次元視覚言語モデルから3次元セマンティックセグメンテーションへ機能を移行しようとする最近の試みは、永続的なトレードオフを露呈している。 3次元教師モデルから抽出した幾何学的事前情報を用いて2次元VLM生成した3次元点特徴に小さな学生親和性ネットワークを適用したGeoPurifyを提案する。 遅延幾何学情報と学習された親和性ネットワークから恩恵を受けることで、GeoPurifyはトレードオフを効果的に軽減し、優れたデータ効率を実現する。
  論文  参考訳（メタデータ） (2025-10-02T16:37:56Z)
• GeoAda: Efficiently Finetune Geometric Diffusion Models with Equivariant Adapters [61.51810815162003]
  制御された生成タスクに対してフレキシブルかつパラメータ効率の良い微調整を可能にするSE(3)-equivariant Adapter framework(GeoAda)を提案する。 GeoAdaは、過剰適合と破滅的な忘れを緩和しながら、モデルの幾何的一貫性を保っている。 我々は、フレーム制御、グローバル制御、サブグラフ制御、広範囲のアプリケーションドメインを含む多様な幾何学的制御タイプにまたがるGeoAdaの適用性を実証する。
  論文  参考訳（メタデータ） (2025-07-02T18:44:03Z)
• Geometric Embedding Alignment via Curvature Matching in Transfer Learning [4.739852004969771]
  本稿では,複数のモデルを統合型トランスファー学習フレームワークに統合するための新しいアプローチを提案する。 個々のモデルの潜在空間のリッチ曲率を整列することにより、相互関係のアーキテクチャを構築する。 このフレームワークは、多様な情報源からの知識を効果的に集約し、ターゲットタスクのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2025-06-16T00:54:22Z)
• GeometryZero: Improving Geometry Solving for LLM with Group Contrastive Policy Optimization [63.107398132743825]
  Group Contrastive Policy Optimization(GCPO)は、2つの重要なイノベーションを特徴とする新しい強化学習フレームワークである。 我々はGeometryZeroを開発した。GeometryZeroは、手頃なサイズの幾何学的推論モデルで、補助的な建設をいつ行うべきかを判断する。
  論文  参考訳（メタデータ） (2025-06-08T14:18:15Z)
• Manifold Integrated Gradients: Riemannian Geometry for Feature Attribution [8.107199775668942]
  Integrated Gradients (IG)は、ブラックボックス深層学習モデルの一般的な特徴属性法である。 我々は、IGに関連する2つの主要な課題に対処する。ノイズの多い特徴可視化の生成と、敵の帰属攻撃に対する脆弱性である。 提案手法は,データ多様体の内在的幾何とより密接に関連し,経路に基づく特徴属性の適応を伴う。
  論文  参考訳（メタデータ） (2024-05-16T04:13:17Z)
• Self-supervised Geometric Perception [96.89966337518854]
  自己教師付き幾何知覚(self-supervised geometric perception)は、基底幾何モデルラベルなしで対応マッチングのための特徴記述子を学ぶためのフレームワークである。 また,SGPは,地上トラスラベルを用いて訓練した教師付きオークルよりも同等か優れる最先端性能を達成できることを示す。
  論文  参考訳（メタデータ） (2021-03-04T15:34:43Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。