論文の概要: Beyond Fixed Directions: Adaptive Representation Analysis of Reasoning and Memorization in LLMs

• arxiv url: http://arxiv.org/abs/2608.21919v1
• Date: Sat, 22 Aug 2026 11:15:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 18:24:36.935624
• Title: Beyond Fixed Directions: Adaptive Representation Analysis of Reasoning and Memorization in LLMs
• Title（参考訳）: 固定方向を超える:LLMにおける推論と記憶の適応的表現解析
• Abstract要約: 1次元射影は AUROC = 1.00 の完全な 1024 次元線形プローブと一致する。 GRPO後、対応する方向を実質的に再構成する。 したがって、このエビデンスは研究されたタスク群に対して単一方向の分解性を支持するが、固定方向安定性に挑戦する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has proposed that reasoning and memorization in language models can be characterized by a single representation direction, including methods that keep this direction fixed during reinforcement learning. We test two assumptions behind this view. First, are reasoning-oriented and factual-recall task groups approximately single-direction separable? Second, does the resulting geometry remain stable after GRPO? Using Qwen3-0.6B and a controlled 400-example dataset, we find that a one-dimensional projection can match a full 1024-dimensional linear probe with AUROC = 1.00 on the studied task groups. However, after GRPO, the corresponding direction is substantially reorganized: mean-direction cosine averages 0.453, probe-direction cosine 0.445, while direct representation drift reaches 0.511 at the final layer. Probe AUROC nevertheless remains 1.00. The evidence therefore supports single-direction decodability for the studied task groups but challenges fixed-direction stability: the information persists while its geometric realization changes.
• Abstract（参考訳）: 近年の研究では、言語モデルにおける推論と記憶は、強化学習中にこの方向を固定する手法を含む単一の表現方向によって特徴づけられることが提案されている。 私たちはこの見方の裏で2つの仮定を試す。 第一に、推論指向タスク群とファクトリコールタスク群は、ほぼ一方向分離可能か? 第二に、結果の幾何は GRPO 以降も安定なままか? Qwen3-0.6Bと400サンプルの制御されたデータセットを用いて、1次元の射影はフル1024次元の線形プローブとAUROC = 1.00と一致する。 しかし、GRPO後、対応する方向は実質的に再構成され、平均方向コサイン平均は0.453、プローブ方向コサインは0.445、直接表現ドリフトは最終層で0.511に達する。 しかし、AUROCは1.00のままである。 したがって、エビデンスは研究対象のタスク群に対して単一方向の分解性を支持するが、固定方向の安定性に挑戦する:その情報は、その幾何学的実現が変化する間に持続する。

関連論文リスト

• Geometry of Divergence: Tracking Hidden-State Trajectories for Adaptive Multi-Turn Reasoning [4.4288817363868205]
  LLMエージェントは、厳密なリソース制約の下で、長期にわたる多ターン相互作用におけるゴール整合推論を維持する必要がある。 2つの相補的な信号によって特徴付けられるLLMの隠れ状態軌跡としてマルチターン推論を定式化する。 軌道幾何学は推論過程において重要なターンを識別でき、トークンコストを11.2%削減しながら、タスク成功率を24.1%から39.6%に引き上げる。
  論文  参考訳（メタデータ） (2026-08-31T11:51:54Z)
• GrainGS: Gradient-Decoupled Gaussian Splatting for Efficient Dynamic Novel View Synthesis [94.20462261657525]
  GrainGSは階層的なアンカー足場とガウス単位の変形を組み合わせた動的フレームワークである。 高いリコンストラクション品質、リアルタイムの新規ビュー合成、コンパクトストレージを実現している。
  論文  参考訳（メタデータ） (2026-07-23T15:52:35Z)
• Trajectory Geometry of Transformer Representations Across Layers [0.5599792629509229]
  我々は、トランスフォワードパスを高次元表現多様体を通して離散的な集団軌道として再キャストする。 周辺空間で直接計算された5つの測度を用いて軌道幾何学を特徴付ける。
  論文  参考訳（メタデータ） (2026-06-08T09:54:07Z)
• Pressure-Testing Deception Probes in LLMs: Scaling, Robustness, and the Geometry of Deceptive Representations [5.218766876318545]
  LLMのアクティベーションをトレーニングした線形プローブは、騙し検出指標としてますます提案されているが、AUROCは分布シフトの下で崩壊しながらクリーンなベンチマークで0.96を超えることを報告している。 本稿では, Gemma 3 モデルファミリ(1B-27B パラメータ)における圧力-プローブ-ベースの測定値について, 系統的に検討する。 1) 単線方向, (2) 多次元部分空間, (3) 凸円錐殻, (4) エントロピープロキシの4つの仮説を検証した。
  論文  参考訳（メタデータ） (2026-05-27T04:51:55Z)
• Cross-Family Universality of Behavioral Axes via Anchor-Projected Representations [8.041250483194434]
  異なる家系の大規模言語モデルは、異なる隠された次元、トークン化器、訓練手順を使用する。 本稿では,各モデルからの隠れ表現を共有アンカー座標空間にマッピングするアンカー投影フレームワークを提案する。 ACSのLlama-Qwen-Mistral-Phi(LQMP)クラスタに同軸方向が密に一致していることが判明した。
  論文  参考訳（メタデータ） (2026-05-11T02:01:18Z)
• CREG: Compass Relational Evidence for Interpreting Spatial Reasoning in Vision-Language Models [0.0]
  視覚言語モデル(VLM)は空間推論ベンチマークで強く機能するが、方向関係のエンコード方法はまだよく分かっていない。 我々は,マルチレイヤのコントラスト空間属性を基準中心の極性系に投影するフレームワークCREG(Grad-Act Graph)を紹介する。 以上の結果から, 対照的な多層アトリビューションは, 標準的なサリエンシに基づく説明よりも, より忠実に指向性のある証拠を提示できることが示唆された。
  論文  参考訳（メタデータ） (2026-03-20T20:09:19Z)
• Orient Anything V2: Unifying Orientation and Rotation Understanding [106.90704703054115]
  Orient Anything V2は、オブジェクト3Dの向きと回転を一対または一対の画像から統一的に理解するための拡張モデルである。 V2はこの能力を拡張し、様々な回転対称性を持つ物体を扱い、相対回転を直接推定する。 オブジェクト指向推定,6DoFポーズ推定,および11の広く使用されているベンチマークにおけるオブジェクト対称性認識における最先端のゼロショット性能を実現する。
  論文  参考訳（メタデータ） (2026-01-09T06:43:59Z)
• ARGUS: Adaptive Rotation-Invariant Geometric Unsupervised System [0.0]
  本稿では,データ多様体の固定空間分割上での局所統計追跡としてドリフト検出を再現するフレームワークであるArgusを紹介する。 正準正則フレーム上のボロノイテッセルレーションは変換に不変なドリフト計量をもたらす。 孤立摂動からコヒーレントな分布シフトを区別するドリフト伝播のグラフ理論的特徴付けを開発した。
  論文  参考訳（メタデータ） (2026-01-03T22:39:20Z)
• Revisiting Zeroth-Order Optimization: Minimum-Variance Two-Point Estimators and Directionally Aligned Perturbations [57.179679246370114]
  乱摂動の分布は, 摂動段差がゼロになる傾向にあるため, 推定子の分散を最小限に抑える。 以上の結果から, 一定の長さを維持するのではなく, 真の勾配に方向を合わせることが可能であることが示唆された。
  論文  参考訳（メタデータ） (2025-10-22T19:06:39Z)
• PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation [70.98107766265636]
  本稿では,事前学習した重みの幾何学的特性を出発点として,3つの重要な成分(等級,絶対角,対角構造)を体系的に解析する。 両角構造は多種多様なドメインにわたって安定であり, ドメイン不変な意味情報を符号化し, 適応中に保存すべきことを示唆する。
  論文  参考訳（メタデータ） (2025-06-03T05:18:15Z)
• Score-based Causal Representation Learning with Interventions [54.735484409244386]
  本稿では,潜在因果変数を間接的に観察する際の因果表現学習問題について検討する。 目的は、 (i) 未知の線形変換(スケーリングまで)を回復し、 (ii) 潜在変数の下の有向非巡回グラフ(DAG)を決定することである。
  論文  参考訳（メタデータ） (2023-01-19T18:39:48Z)
• Robust Self-Supervised LiDAR Odometry via Representative Structure Discovery and 3D Inherent Error Modeling [67.75095378830694]
  そこで我々は,2段階のオドメトリ推定ネットワークを構築し,一連の部分領域変換を推定してエゴモーメントを求める。 本稿では,トレーニング,推論,マッピングフェーズにおける信頼できない構造の影響を軽減することを目的とする。 我々の2フレームのオードメトリーは、翻訳/回転誤差の点で、過去の芸術の状態を16%/12%上回っている。
  論文  参考訳（メタデータ） (2022-02-27T12:52:27Z)
• GELATO: Geometrically Enriched Latent Model for Offline Reinforcement Learning [54.291331971813364]
  オフライン強化学習アプローチは、近近法と不確実性認識法に分けられる。 本研究では,この2つを潜在変動モデルに組み合わせることのメリットを実証する。 提案したメトリクスは、分布サンプルのアウトの品質と、データ内のサンプルの不一致の両方を測定します。
  論文  参考訳（メタデータ） (2021-02-22T19:42:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。