論文の概要: Isotropy Cliffs: The Geometric Signature of Decision-Making in Large Language Models
- arxiv url: http://arxiv.org/abs/2608.00828v1
- Date: Sat, 01 Aug 2026 19:11:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.950165
- Title: Isotropy Cliffs: The Geometric Signature of Decision-Making in Large Language Models
- Title(参考訳): Isotropy Cliffs:大規模言語モデルにおける決定過程の幾何学的シグナチャ
- Abstract要約: 等方性レンズを用いたMCQA(Multiple Choice Question Answering)における意思決定の幾何学について検討する。
アイソトロピーの変化を特徴とする決定クリティカルな遷移層を同定し,大きな表現的変化とタスク関連クラスタの出現を両立させた。
- 参考スコア(独自算出の注目度): 22.87328932419285
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We investigate the geometry of decision-making in Multiple Choice Question Answering (MCQA) through the lens of isotropy. Analyzing five open-weight models across diverse datasets, we identify decision-critical transition layers characterized by a shift in isotropy, coinciding with a major representational change and the emergence of task-relevant clusters. We demonstrate that this synchronized geometric behavior is strongly correlated with downstream accuracy ($r\approx0.84$), displaying its relevance for successful decision-making. Furthermore, we show that this transition is robust to prompt variations, suggesting that it reflects a general mechanism of model behavior.
- Abstract(参考訳): 等方性レンズを用いたMCQA(Multiple Choice Question Answering)における意思決定の幾何学について検討する。
多様なデータセットにまたがる5つのオープンウェイトモデルを分析し、アイソトロピーの変化を特徴とする決定クリティカルな遷移層を特定し、大きな表現的変化とタスク関連クラスタの出現とを一致させる。
この同期された幾何学的挙動が下流の精度(r\approx0.84$)と強く相関していることを示し、意思決定にその関連性を示す。
さらに、この遷移は変動を促すために頑健であることを示し、モデル行動の一般的なメカニズムを反映していることを示唆する。
関連論文リスト
- Nonperturbative features in the Lie-algebraic Kähler sigma model with fermions [0.0]
複数の右利きキラルフェルミオンを持つリー代数K"ahler sigmaモデルから導かれる量子力学系について検討する。
我々は,サドル点解の同定と解析を行い,基底状態エネルギーの摂動膨張におけるそれらの寄与について検討する。
本稿では,3ループレベルから系の量子的振舞いを形作る際に,伸長パラメータが関係することを示す。
論文 参考訳(メタデータ) (2024-12-16T04:55:14Z) - Relative Representations: Topological and Geometric Perspectives [50.85040046976025]
相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。
相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。
第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
論文 参考訳(メタデータ) (2024-09-17T08:09:22Z) - Parameter identification in linear non-Gaussian causal models under general confounding [8.273471398838533]
このようなモデルが潜伏変数を含む場合の線形係数の同定について検討する。
我々の主な成果は、直接的な因果効果の一般的な識別可能性を決定するのに必要かつ十分であるグラフィカルな基準である。
同定結果に基づいて推定を報告し、フィードバックループを持つモデルへの一般化を探索し、因果グラフの識別可能性に関する新たな結果を提供する。
論文 参考訳(メタデータ) (2024-05-31T14:39:14Z) - Machine Learning for the identification of phase-transitions in interacting agent-based systems: a Desai-Zwanzig example [0.0]
本稿では,エージェントモデルに対する位相遷移を平均フィールド限界でピンポイントするデータ駆動フレームワークを提案する。
この目的のために、多様体学習アルゴリズムであるマップを用いて、データ駆動潜在変数の相似集合を同定する。
次に、深層学習フレームワークを用いて、データ駆動座標の共形再パラメータ化を求める。
論文 参考訳(メタデータ) (2023-10-29T15:07:08Z) - Exact solution for quantum strong long-range models via a generalized
Hubbard-Stratonovich transformation [0.0]
正準アンサンブルにおける量子強長距離モデルの正確な解析解を示す。
一般化ディックモデルと相互作用量子モデルの等価性をハバード・ストラトノヴィッチ変換の一般化として活用する。
論文 参考訳(メタデータ) (2023-05-17T18:00:02Z) - EqMotion: Equivariant Multi-agent Motion Prediction with Invariant
Interaction Reasoning [83.11657818251447]
不変相互作用推論を用いた効率的な同変運動予測モデルであるEqMotionを提案する。
提案モデルに対して,粒子動力学,分子動力学,人体骨格運動予測,歩行者軌道予測の4つの異なるシナリオで実験を行った。
提案手法は4つのタスクすべてに対して最先端の予測性能を実現し,24.0/30.1/8.6/9.2%改善した。
論文 参考訳(メタデータ) (2023-03-20T05:23:46Z) - Towards Robust and Adaptive Motion Forecasting: A Causal Representation
Perspective [72.55093886515824]
本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。
我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。
合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
論文 参考訳(メタデータ) (2021-11-29T18:59:09Z) - A Variational Inference Approach to Inverse Problems with Gamma
Hyperpriors [60.489902135153415]
本稿では,ガンマハイパープライヤを用いた階層的逆問題に対する変分反復交替方式を提案する。
提案した変分推論手法は正確な再構成を行い、意味のある不確実な定量化を提供し、実装が容易である。
論文 参考訳(メタデータ) (2021-11-26T06:33:29Z) - Quantitative analysis of phase transitions in two-dimensional XY models
using persistent homology [0.0]
我々は2次元XYモデルの3つの異なる変種を観測可能なものとして、永続的ホモロジーと永続的画像を用いる。
各モデルについて、その相転移を正確に同定し、相関長の臨界温度と臨界指数を正確に決定することができる。
論文 参考訳(メタデータ) (2021-09-22T18:24:54Z) - Semantic Change Detection with Asymmetric Siamese Networks [71.28665116793138]
2つの空中画像が与えられた場合、セマンティックチェンジ検出は、土地被覆のバリエーションを特定し、それらの変化タイプをピクセルワイド境界で識別することを目的としている。
この問題は、正確な都市計画や天然資源管理など、多くの地球ビジョンに関連するタスクにおいて不可欠である。
本研究では, 広く異なる構造を持つモジュールから得られた特徴対を用いて意味変化を同定し, 同定するための非対称システマネットワーク(ASN)を提案する。
論文 参考訳(メタデータ) (2020-10-12T13:26:30Z) - Estimation of Switched Markov Polynomial NARX models [75.91002178647165]
非線形自己回帰(NARX)成分を特徴とするハイブリッド力学系のモデル群を同定する。
提案手法は, 特定の回帰器を持つ3つの非線形サブモデルからなるSMNARX問題に対して実証される。
論文 参考訳(メタデータ) (2020-09-29T15:00:47Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。