論文の概要: Rewriting or Reweighting? A Geometric Account in Language Models

• arxiv url: http://arxiv.org/abs/2608.01835v1
• Date: Mon, 03 Aug 2026 07:46:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.387088
• Title: Rewriting or Reweighting? A Geometric Account in Language Models
• Title（参考訳）: リライトかリライトか? : 言語モデルにおける幾何学的考察
• Abstract要約: ポストトレーニングは言語モデルの振る舞いを大きく変えることができる。 本研究は, 機械的に異なる2つの障害, 復号器病理としての繰り返しと, 選好関連アライメント障害としての梅毒症について検討した。 本稿では,スパースな挙動関連座標を選択することによって,行動特異的な幾何学を分離する挙動多様体解析を紹介する。
• 参考スコア（独自算出の注目度）: 44.66056836026845
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Post-training can substantially alter language-model behavior, yet aggregate behavior rates do not reveal whether training removes an existing mechanism, creates a new one, or changes how an inherited mechanism is used. We study this question through two mechanistically distinct failures, repetition as a decoding-attractor pathology and sycophancy as a preference-related alignment failure. We introduce behavioral manifold analysis, which isolates behavior-specific geometry by selecting sparse behavior-associated coordinates and lifting them into low-dimensional local charts. We construct these charts in two complementary spaces. ACT captures runtime activation states, while NOC quantifies how strongly the model routes functional information flow through the shared behavior-associated subspace. Across multiple model families, the resulting charts are highly compressed and partially alignable across architectures. Contribution-space charts expose a more architecture-robust shared core, whereas activation-space charts retain stronger family-specific structure. Tracking these charts through controlled post-training reveals a consistent asymmetry. Supervised fine-tuning substantially alters the inherited behavioral geometry, whereas reward optimization changes behavior while largely preserving the underlying chart. This geometric perspective provides a unified framework for understanding the mechanistic distinction between the two objectives. SFT tends to rewrite behavioral geometry, whereas reward optimization primarily reweights it. Code is available at https://github.com/ronglingze/Manifold-Analysis
• Abstract（参考訳）: ポストトレーニングは言語モデルの振る舞いを大幅に変更することができるが、アグリゲーションの行動速度は、トレーニングが既存のメカニズムを取り除いたり、新しいメカニズムを作ったり、継承されたメカニズムをどのように使用したかを明らかにしない。 本研究は, 機械的に異なる2つの障害, 繰り返しをデコード・アトラクタの病態として, および優先関連アライメント障害として, この疑問を考察する。 本稿では,スパースな挙動関連座標を選択し,それらを低次元局所チャートに引き上げることで,行動特異的な幾何を分離する挙動多様体解析を導入する。 これらのチャートは2つの補空間で構成する。 ACTは実行時のアクティベーション状態をキャプチャするが、NOCはモデルが共有行動関連サブスペースを通して機能情報の流れをいかに強くルートするかを定量化する。 複数のモデルファミリにまたがって、結果のチャートは高度に圧縮され、アーキテクチャ間で部分的に整合可能である。 コントリビューション・スペース・チャートは、よりアーキテクチャを損なう共有コアを公開するが、アクティベーション・スペース・チャートは家族固有の構造を強く維持する。 制御されたポストトレーニングを通してこれらのチャートを追跡すると、一貫した非対称性が明らかになる。 改良された微調整は、継承された挙動の幾何を大きく変え、一方、報酬最適化は、基礎となるチャートをほとんど保存しながら、振る舞いを変化させる。 この幾何学的観点は、2つの目的の間の機械的区別を理解するための統一的な枠組みを提供する。 SFTは振舞いの幾何を書き換える傾向があるが、報酬最適化は主にそれを重み付けする。 コードはhttps://github.com/ronglingze/Manifold-Analysisで入手できる。

関連論文リスト

• The information geometry of large language models is shared, learned, and controllable [0.0]
  振舞いは、出力保存対称性までの幾何を決定することを示す。 アクロス変圧器、状態空間および繰り返しモデル、出力ジオメトリはアクティベーションジオメトリよりも強く一致する。 制御された言語割り当ては、幾何学がアーキテクチャ全体にわたる言語法則に従うことを示している。
  論文  参考訳（メタデータ） (2026-09-10T04:09:49Z)
• MENTIS: What Belief Changes Under Alignment? Measuring Multi-Scale Latent Torsion in Language Models [16.071341117554038]
  我々は、アライメントによる内部再構成を測定するためのフレームワークであるMENTISを紹介する。 LITMUSでは,4組の7-8Bモデルペアに対して,アライメントによる変化は均一ではなく選択的であることが判明した。 これらの結果は, 行動レベルの評価だけでは明らかでない, 内部計算において, 深度局所化された幾何的シグネチャが構築されていることを示唆している。
  論文  参考訳（メタデータ） (2026-05-31T07:05:51Z)
• Failure Modes for Deep Learning-Based Online Mapping: How to Measure and Address Them [10.503307305047487]
  本稿では、入力特徴の記憶と、既知の地図測地への過度な適合の2つの効果を解消して、基礎となる障害モードを特定し、測定するフレームワークを提案する。 しきい値調整なしで要素単位の形状の忠実度をキャプチャするフレシェ距離に基づく再構成統計を導入する。 MSTに基づくスペーシフィケーション戦略を定式化し、冗長性を低減し、トレーニングサイズを縮小しながらバランスと性能を向上させる。
  論文  参考訳（メタデータ） (2026-03-20T11:09:11Z)
• GraphShaper: Geometry-aware Alignment for Improving Transfer Learning in Text-Attributed Graphs [16.624063216788638]
  マルチジオメトリ・スペシャライゼーションによるグラフエンコーディングを強化した幾何認識フレームワークである textbfGraphShaper を紹介する。 我々のアプローチでは、異なる幾何学的空間に合わせた専門家ネットワークを使用し、動的に融合重みを計算し、幾何学的特性を適応的に統合する。 引用ネットワークでは9.47%、ゼロショット設定では7.63%の精度向上を実現している。
  論文  参考訳（メタデータ） (2025-10-14T02:48:50Z)
• Graph Your Own Prompt [44.358377952850994]
  グラフ一貫性規則化(GCR)は、モデル予測から派生した関係グラフ構造を学習プロセスに注入するフレームワークである。 GCRは、よりクリーンな特徴構造、より強力なクラス内凝集、一般化を促進し、予測構造から学習する新しい視点を提供する。
  論文  参考訳（メタデータ） (2025-09-27T15:45:07Z)
• A Top-down Graph-based Tool for Modeling Classical Semantic Maps: A Crosslinguistic Case Study of Supplementary Adverbs [50.982315553104975]
  セマンティックマップモデル(SMM)は、言語横断的なインスタンスや形式からネットワークのような概念空間を構築する。 ほとんどのSMMは、ボトムアップ手順を使用して、人間の専門家によって手動で構築される。 本稿では,概念空間とSMMをトップダウンで自動生成するグラフベースの新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-12-02T12:06:41Z)
• G-MSM: Unsupervised Multi-Shape Matching with Graph-based Affinity Priors [52.646396621449]
  G-MSMは、非剛体形状対応のための新しい教師なし学習手法である。 学習形態の集合に親和性グラフを自己教師型で構築する。 近年の形状対応ベンチマークで最先端の性能を示す。
  論文  参考訳（メタデータ） (2022-12-06T12:09:24Z)
• Decoupled Multi-task Learning with Cyclical Self-Regulation for Face Parsing [71.19528222206088]
  顔解析のための周期的自己統制型デカップリング型マルチタスク学習を提案する。 具体的には、DML-CSRは、顔解析、バイナリエッジ、カテゴリエッジ検出を含むマルチタスクモデルを設計する。 提案手法は,Helen,CelebA-HQ,LapaMaskのデータセット上での最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-03-28T02:12:30Z)
• Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
  一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。 本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。 実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-07-07T11:43:59Z)
• Spatial-spectral Hyperspectral Image Classification via Multiple Random Anchor Graphs Ensemble Learning [88.60285937702304]
  本稿では,複数のランダムアンカーグラフアンサンブル学習(RAGE)を用いた空間スペクトルHSI分類手法を提案する。 まず、各選択されたバンドのより記述的な特徴を抽出し、局所的な構造と領域の微妙な変化を保存するローカルバイナリパターンを採用する。 次に,アンカーグラフの構成に適応隣接代入を導入し,計算複雑性を低減した。
  論文  参考訳（メタデータ） (2021-03-25T09:31:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。