論文の概要: Representational Curvature Modulates Behavioral Uncertainty in Large Language Models

• arxiv url: http://arxiv.org/abs/2604.23985v1
• Date: Mon, 27 Apr 2026 03:00:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-28 17:12:07.710056
• Title: Representational Curvature Modulates Behavioral Uncertainty in Large Language Models
• Title（参考訳）: 表現曲線は大規模言語モデルにおける行動の不確かさを変調する
• Authors: Jack King, Evelina Fedorenko, Eghbal A. Hosseini,
• Abstract要約: 時間的ストレート化は、次の予測対象がどのように表現を形作るかを説明する。 大規模言語モデル(LLMs)では、時間的ストレート化は、次のトーケン予測対象がどのように表現を形作るかを説明する。 本稿では,最近の文脈から次へのエントロピーに対する表現軌跡の曲がり度を測る幾何学的尺度である文脈曲率を関連付けることで,そのようなリンクを提供する。
• 参考スコア（独自算出の注目度）: 7.361948338002342
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In autoregressive large language models (LLMs), temporal straightening offers an account of how the next-token prediction objective shapes representations. Models learn to progressively straighten the representational trajectory of input sequences across layers, potentially facilitating next-token prediction via linear extrapolation. However, a direct link between this trajectory and token-level behavior has been missing. We provide such a link by relating contextual curvature-a geometric measure of how sharply the representational trajectory bends over recent context-to next-token entropy. Across two models (GPT-2 XL and Pythia-2.8B), contextual curvature is correlated with entropy, and this relationship emerges during training. Perturbation experiments reveal selective dependence: manipulating curvature through trajectory-aligned interventions reliably modulates entropy, while geometrically misaligned perturbations have no effect. Finally, regularizing representations to be straighter during training modestly reduces token-level entropy without degrading validation loss. These results identify trajectory curvature as a task-aligned representational feature that influences behavioral uncertainty in LLMs.
• Abstract（参考訳）: 自己回帰型大言語モデル(LLMs)では、時間的ストレート化は、次のトーケン予測対象がどのように表現を形作るかを説明する。 モデルは、層間の入力シーケンスの表現軌道を漸進的に整列し、線形外挿による次のトーケン予測を容易にする。 しかし、この軌道とトークンレベルの振舞いの直接的なリンクは失われている。 本稿では,最近の文脈から次へのエントロピーに対する表現的軌跡の曲がり度を測る幾何学的尺度である文脈曲率を関連付けることで,そのようなリンクを提供する。 2つのモデル(GPT-2 XLとPythia-2.8B)で、文脈曲率とエントロピーが相関し、トレーニング中にこの関係が現れる。 軌道に沿った介入による曲率の操作はエントロピーを確実に調節するが、幾何学的に不整合な摂動は効果がない。 最後に、トレーニング中によりストレートに表現を正規化することは、検証損失を低下させることなくトークンレベルのエントロピーを緩やかに削減する。 これらの結果から, LLMの挙動不確実性に影響を与えるタスク整合表現の特徴として, 軌道曲率を同定した。

関連論文リスト

• Impact of Connectivity on Laplacian Representations in Reinforcement Learning [9.306521175972588]
  本研究では, 線形値関数近似の近似誤差について, 学習スペクトル条件下での上限値を示す。 固有ベクトル推定自体によってもたらされる誤差をさらに制限し、エンドツーエンドのエラー分解に繋がる。 我々の結果は、誘導された遷移核の対称性を仮定せずに一般的な(一様でない)ポリシーを保っている。
  論文  参考訳（メタデータ） (2026-03-09T16:20:31Z)
• Probing the Geometry of Diffusion Models with the String Method [13.771271465889432]
  本稿では,学習スコア関数の下で曲線を進化させることにより,サンプル間の連続経路を計算する文字列法に基づくフレームワークを提案する。 再訓練なしで 事前訓練されたモデルで 運用する 我々のアプローチは 3つの体制の間を補間する 画像拡散モデルでは、MEPは高解像度であるが非現実的な「カルトゥーン」画像を含み、最大値が非現実的であることを示す。 タンパク質構造予測では,静的構造を訓練したモデルから直接,転移性コンバータ間の遷移経路を計算する。
  論文  参考訳（メタデータ） (2026-02-25T17:10:59Z)
• Binary Flow Matching: Prediction-Loss Space Alignment for Robust Learning [23.616336786063552]
  フローマッチングは、生成モデリングの強力なフレームワークとして登場した。 速度に基づく目的と結合した場合に発生する潜在構造ミスマッチを同定する。 信号空間に対する目的の再調整が特異重み付けを排除していることを示す。
  論文  参考訳（メタデータ） (2026-02-11T02:02:30Z)
• The Curved Spacetime of Transformer Architectures [0.3670422696827525]
  本稿では,トランスフォーマーに基づく言語モデルを理解するための幾何学的枠組みを提案する。 トークン埋め込みは特徴空間の直線経路を横切るべきではないことを示し、代わりに、それらの層回りのステップは、空間曲率の埋め込みによって媒介される相互作用として屈曲し、順応するべきである。
  論文  参考訳（メタデータ） (2025-11-04T22:58:40Z)
• On the Emergence of Cross-Task Linearity in the Pretraining-Finetuning Paradigm [47.55215041326702]
  我々は、共通の事前訓練されたチェックポイントから、クロスタスク線形性(CTL)と呼ばれる異なるタスクに微調整されたモデルにおいて、興味深い線形現象を発見する。 2つの微調整モデルの重みを線形に補間すると、重み補間モデルの特徴は各層における2つの微調整モデルの特徴の線形性にほぼ等しいことが示される。 プレトレーニング-ファインタニングのパラダイムでは、ニューラルネットワークは、パラメータ空間から特徴空間への写像である線形写像として概ね機能する。
  論文  参考訳（メタデータ） (2024-02-06T03:28:36Z)
• A U-turn on Double Descent: Rethinking Parameter Counting in Statistical Learning [68.76846801719095]
  二重降下がいつどこで起こるのかを正確に示し、その位置が本質的に閾値 p=n に結び付けられていないことを示す。 これは二重降下と統計的直観の間の緊張を解消する。
  論文  参考訳（メタデータ） (2023-10-29T12:05:39Z)
• Gradient-Based Feature Learning under Structured Data [57.76552698981579]
  異方性設定では、一般的に使用される球面勾配力学は真の方向を回復できないことがある。 バッチ正規化を連想させる適切な重み正規化は、この問題を軽減することができることを示す。 特に、スパイクモデルの下では、勾配に基づくトレーニングのサンプルの複雑さは情報指数とは独立にできる。
  論文  参考訳（メタデータ） (2023-09-07T16:55:50Z)
• Score-based Causal Representation Learning with Interventions [54.735484409244386]
  本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。 目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
  論文  参考訳（メタデータ） (2023-01-19T18:39:48Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。