論文の概要: Mechanistic Analysis of Alignment Algorithms in Language Models

• arxiv url: http://arxiv.org/abs/2606.09850v1
• Date: Sat, 09 May 2026 06:36:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-15 07:09:36.804078
• Title: Mechanistic Analysis of Alignment Algorithms in Language Models
• Title（参考訳）: 言語モデルにおけるアライメントアルゴリズムの力学解析
• Abstract要約: トレーニング後のアライメントアルゴリズムは、主にブラックボックスとして評価され、言語モデルの内部計算の作り直しの仕方を見極めている。 オープンウェイトモデルファミリの6つの選好最適化手法を体系的に解析する。 選好信号は、初期・中期・中期の層に一貫して集中するが、異なる目的によって異なる表現シフトが引き起こされる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Post-training alignment algorithms are predominantly evaluated as black boxes, obscuring how they reshape language models' internal computations. We present a systematic mechanistic analysis of six preference-optimization methods: PPO, DPO, SimPO, ORPO, GRPO, and KTO across three open-weight model families. By integrating layer-wise linear probing, Sparse Autoencoders, and crosscoders, we localize preference representations and quantify alignment-induced geometric transformations in latent space. We find that preference signals consistently concentrate in early--mid or mid--late layers, but different objectives induce qualitatively distinct representational shifts. KTO and GRPO enhance linear separability through constructive feature sharing and sparse, high-salience recruitment. In contrast, DPO and ORPO degrade separability via non-constructive geometric rotation and feature attenuation, while PPO and SimPO largely preserve baseline geometry. These transformations exhibit architecture-dependent variability, demonstrating that behavioral alignment does not imply uniform internal restructuring. Our findings establish alignment as a heterogeneous intervention, motivate standardized feature-level auditing for safety and interpretability, and highlight the need for mechanism-aware optimization objectives.
• Abstract（参考訳）: トレーニング後のアライメントアルゴリズムは、主にブラックボックスとして評価され、言語モデルの内部計算の作り直しの仕方を見極めている。 PPO, DPO, SimPO, ORPO, GRPO, KTOの6種類の選好最適化手法の系統的力学解析を行った。 レイヤワイド線形プローブ、スパースオートエンコーダ、クロスコーダを統合することにより、好み表現を局所化し、遅延空間におけるアライメントによって引き起こされる幾何変換を定量化する。 選好信号は、初期・中期・中期の層に一貫して集中するが、異なる目的は質的に異なる表現シフトを引き起こす。 KTOとGRPOは、構成的特徴共有と疎結合な高可用性採用を通じて線形分離性を向上させる。 対照的に、DPOとORPOは非構成幾何学的回転と特徴減衰によって分離性を低下させ、PPOとSimPOはベースライン幾何学をほとんど維持する。 これらの変換は、アーキテクチャに依存した可変性を示し、振る舞いのアライメントが内部再構成を均一に示さないことを示す。 本研究は、異種介入としてアライメントを確立し、安全性と解釈可能性の標準化された特徴レベル監査を動機とし、メカニズム認識最適化の目的の必要性を強調した。

関連論文リスト

• Learning to Tessellate: Point Cloud Generation via Recursive Spectral Partitioning [58.130498928480456]
  本稿では, トポロジ保存型テッセルレーションプロセスとして, 点雲生成を再構成する自己回帰フレームワークであるPointRSPを提案する。 PointRSPは、複雑な3Dトポロジーをまたいだ強力な一般化を証明し、世代品質と多様性の最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-08-03T16:11:43Z)
• Self-Evolving Spatial Reasoning in Vision Language Models via Geometric Logic Consistency [53.28076739140119]
  本稿では,視覚・言語モデル(VLM)における論理的一貫性を幾何学的・言語的双対性演算によって実現する枠組みを提案する。 SAGEは、従来のGRPO法に比べてモデルに依存しず、データ効率が良く、既存のVLMに軽量な後学習段階として適用することができる。 ビデオおよび空間推論ベンチマークの実験では、強いベースラインよりも一貫した改善が示されている。
  論文  参考訳（メタデータ） (2026-05-18T10:05:21Z)
• Beyond Point-Wise Matching: Structural Representation Alignment for Accelerating Diffusion Transformers [93.3976834364707]
  本稿では,特徴写像のリレーショナル幾何における整合性を実現する構造的RePresentation AlignmentフレームワークであるsREPAを提案する。 モデルが事前訓練された特徴から全体的空間配置と構造的相関を内包するように促すことにより、sREPAはより高速でより安定した収束を達成する。
  論文  参考訳（メタデータ） (2026-05-16T12:01:04Z)
• Curvature-Aware PCA with Geodesic Tangent Space Aggregation for Semi-Supervised Learning [52.452902154360565]
  GTSA-PCAは主成分分析の幾何学的拡張である。 曲率認識と測地的整合性を統合されたスペクトルフレームワークに統合する。 以上の結果から,GTSA-PCAは次元減少に対する統計的および幾何学的アプローチの原則的ブリッジとして位置づけられた。
  論文  参考訳（メタデータ） (2026-04-20T20:36:36Z)
• From Directions to Regions: Decomposing Activations in Language Models via Local Geometry [37.50120706345745]
  活性化空間をモデル化するスケーラブルで教師なしの代替手段として、MFA(Mixture of Factor Analyzers)を利用する。 MFAは、活性化空間における領域のセントロイドと、セントロイドからの局所的な変化の2つの構成幾何学的対象に活性化を分解する。 Llama-3.1-8B と Gemma-2-2B の大規模 MFA を訓練し、活性化空間における複雑な非線形構造を捉えることを示す。
  論文  参考訳（メタデータ） (2026-02-02T18:49:05Z)
• Orthogonalized Policy Optimization:Decoupling Sampling Geometry from Optimization Geometry in RLHF [0.0]
  大規模言語モデルアライメントの目的はしばしば、PPO、DPO、IPO、およびそれらの変種といった、異なるアルゴリズムの集合として提示される。 この研究において、この多様性はより単純な基盤構造を曖昧にしていると論じる。 この絡み合いは、単にモデリングの利便性ではなく、体系的な不安定性の源であることを示す。
  論文  参考訳（メタデータ） (2026-01-18T13:57:44Z)
• Feature-Space Planes Searcher: A Universal Domain Adaptation Framework for Interpretability and Computational Efficiency [7.889121135601528]
  現在の教師なし領域適応法は微調整特徴抽出器に依存している。 領域適応フレームワークとしてFPS(Feature-space Planes Searcher)を提案する。 FPSは最先端の手法と比較して,競争力や性能に優れることを示す。
  論文  参考訳（メタデータ） (2025-08-26T05:39:21Z)
• Structural DID with ML: Theory, Simulation, and a Roadmap for Applied Research [3.0031348283981987]
  観測パネルデータの因果推論は、経済学、政治分析、より広範な社会科学において中心的な関心事となっている。 本稿では,構造同定と高次元推定を統合したS-DIDという革新的なフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-07-21T03:57:42Z)
• PAID: Pairwise Angular-Invariant Decomposition for Continual Test-Time Adaptation [70.98107766265636]
  本稿では,事前学習した重みの幾何学的特性を出発点として,3つの重要な成分(等級,絶対角,対角構造)を体系的に解析する。 両角構造は多種多様なドメインにわたって安定であり, ドメイン不変な意味情報を符号化し, 適応中に保存すべきことを示唆する。
  論文  参考訳（メタデータ） (2025-06-03T05:18:15Z)
• Target-Embedding Autoencoders for Supervised Representation Learning [111.07204912245841]
  本稿では,対象空間が高次元な純粋教師付き環境における一般化の枠組みを解析する。 我々は、教師付き予測のための目標埋め込みオートエンコーダ(TEA)の一般的なフレームワークのモチベーションと形式化を行い、特徴とターゲットの予測の両方から予測可能なように最適化された中間潜在表現を学習する。
  論文  参考訳（メタデータ） (2020-01-23T02:37:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。