論文の概要: Mapping and Measuring the Behavioral Evolution of Large Language Models
- arxiv url: http://arxiv.org/abs/2608.11027v1
- Date: Tue, 11 Aug 2026 15:07:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 19:14:46.09741
- Title: Mapping and Measuring the Behavioral Evolution of Large Language Models
- Title（参考訳）: 大規模言語モデルの行動進化のマッピングと測定
- Abstract要約: ベンチマークのリーダーボードは、言語モデルのパフォーマンスを概説するが、その振る舞いが他のモデルとどのように関係しているか、世代によって異なる。
1万のプロンプトの共有バンクに対する応答を用いて、6つのファミリーから32モデルの出力挙動を特徴付ける。
- 参考スコア（独自算出の注目度）: 28.603443859513153
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Benchmark leaderboards summarize how well a language model performs, but not how its behavior relates to that of other models or changes across generations. We characterize the output behavior of 32 models from six families using their responses to a shared bank of 10{,}000 prompts. After embedding each response, we construct three complementary sentence-level dissimilarities: an aligned mean per-prompt distance, which is a pseudometric on observed model responses; a PCA-compressed summary of prompt-wise disagreement; and an alignment-free Gromov--Wasserstein discrepancy between models' internal response geometries. We use these constructions to study static organization and temporal change on a release-date axis through behavioral maps, family-wise drift, hierarchical clustering, cross-family convergence, and response-cloud dispersion. Across the three constructions, model families form coherent clusters, with \texttt{gpt-2} as a global outlier; cross-family distances decrease over time; and several recent reasoning-oriented models have comparatively compact response clouds. A token-level cross-check based on per-prompt Maximum Mean Discrepancy closely agrees with the sentence-level mean distance (Spearman $ρ=0.98$) and recovers the same qualitative findings. We organize these comparisons through a measure-theoretic lens making their alignment and invariance assumptions explicit. We also establish an architecture-agnostic sufficient condition linking behavioral similarity to inference-prompt coverage, small excess population log-loss, and similar effective target distributions---a possible training-side account rather than an empirical explanation of the observed trends. Our pipeline is label-free, and re-encoding every response with three further encoders---down to one $73\times$ smaller---preserves the rank geometry, the outliers, and the sign of the time trend.
- Abstract（参考訳）: ベンチマークのリーダーボードは、言語モデルのパフォーマンスを概説するが、その振る舞いが他のモデルとどのように関係しているか、世代によって異なる。
10{,}000プロンプトの共有バンクに対する応答を用いて、6つのファミリーから32モデルの出力挙動を特徴付ける。
各応答を埋め込んだ後、観察されたモデル応答の擬似測度であるアライメント平均1プロンプト距離、即時不一致のPCA圧縮要約、モデルの内部応答ジオメトリ間のアライメントフリーGromov--Wasserstein不一致の3つの相補的な文レベルの相似性を構築する。
我々はこれらの構造を用いて、行動地図、家族関係のドリフト、階層的クラスタリング、家族間収束、応答-クラウド分散を通じて、リリース日軸上の静的な組織と時間的変化を研究する。
3つの構成全体にわたって、モデル族はコヒーレントクラスタを形成し、大域的なアウトリーチとして \texttt{gpt-2} を持ち、クロスファミリー距離は時間とともに減少し、最近の推論指向モデルは比較的コンパクトな応答雲を持つ。
最大平均離散度に基づくトークンレベルのクロスチェックは、文単位の平均距離(Spearman $ρ=0.98$)と密接に一致し、同じ定性的発見を回復する。
我々はこれらの比較を測度理論レンズを通して整理し、それらのアライメントと不変性の仮定を明確にする。
また,推定確率カバレッジ,人口ログロスの最小化,および類似の効果的な目標分布と行動類似性をリンクするアーキテクチャに依存しない十分な条件を確立し,観測された傾向の実証的な説明ではなく,トレーニング側の説明を可能とした。
私たちのパイプラインはラベルなしで、さらに3つのエンコーダで全てのレスポンスを再エンコードします。
関連論文リスト
- Bridging Network Psychometrics and Artificial Intelligence: An Ising-Potts Model with LLM-Derived Weights [0.40611352512781873]
レーティングとカテゴリーラベルの合意指標を用いたラターイジングポッツモデルを提案する。
我々は,K=14,466の短い回答を3段階のルーブリックと2つのAERAエッセイのコーパスに散らばった3つの構成応答データセットについて,約1,200-1,400の応答を4点のルーブリックに提案した。
論文 参考訳（メタデータ） (2026-09-08T14:26:19Z) - Divergent large language model predictions from convergent representations in ambiguous word pairs [2.4087148947930634]
層間解析により,デコーダのみの変換器が語彙のあいまいさを解消する方法について検討する。
ホモニムとポリセムの両方に対して、表現は中層で最大に区別され、その後、後半層で部分的に再収束する。
論文 参考訳（メタデータ） (2026-08-03T07:26:45Z) - Architecture-Aware Explanation Auditing for Industrial Visual Inspection [1.3054033103300278]
本稿では,自然読出仮説に基づくアーキテクチャを考慮した説明監査プロトコルを運用する。
WM-811Kウェハマップ(9クラス、172k画像)の3列のゼロフィル摂動プロトコルの下では、ViT-Tiny + Attention RolloutはDeletion AUC 0.211をSwin-Tinyの0.432-0.525に対して取得する。
論文 参考訳（メタデータ） (2026-05-14T01:48:00Z) - Back into Plato's Cave: Examining Cross-modal Representational Convergence at Scale [40.31924374728614]
プラトン表現仮説(Platonic Representation hypothesis)は、異なるモダリティで訓練されたニューラルネットワークが一致し、最終的に同じ現実の表現に向かって収束することを示唆している。
この仮説の実験的証拠は脆弱であり, 評価体制に大きく依存していることが示唆された。
論文 参考訳（メタデータ） (2026-04-20T17:56:02Z) - Hyperbolic Enhanced Representation Learning for Incomplete Multi-view Clustering [57.38215918201251]
本稿では,不完全なマルチビュークラスタリングのためのハイパーボリック拡張表現学習フレームワークであるHERLを提案する。
ポアンカレボール内で操作すると、HERLは表現学習を強化するために構造を意識した潜在空間を構築する。
HERLは最先端のアプローチよりも一貫して優れていることを示す。
論文 参考訳（メタデータ） (2026-04-18T10:50:46Z) - Gauge-invariant representation holonomy [1.078600700827543]
深層ネットワークは、幾何学的特徴を持つ内部表現(曲がり、回転、進化)を学習し、一般化と堅牢性の両方に影響を及ぼす。
CKAやSVCCAのような既存の類似度尺度は、アクティベーションセット間でポイントワイドに重なるが、入力パスに沿って表現がどのように変化するかを見逃す。
この経路依存性を測定するゲージ不変統計量である表現ホロノミーを導入する。
論文 参考訳（メタデータ） (2026-01-29T12:51:17Z) - Test-time Verification via Optimal Transport: Coverage, ROC, & Sub-optimality [53.03186946689658]
検証によるテストタイムのスケーリングは、大規模言語モデルのパフォーマンス向上を約束している。
検証の効果は、(i)ジェネレータのカバレッジ、(ii)検証器の収束領域(ROC)、(iii)サンプリングアルゴリズムの準最適性の3つの相互作用を通して現れる。
本稿では,輸送問題として検証可能なテストタイムスケーリングの枠組みを定め,カバレッジ,ROC,サブ最適性の相互作用を特徴付ける。
論文 参考訳（メタデータ） (2025-10-21T18:05:42Z) - Intensity Profile Projection: A Framework for Continuous-Time
Representation Learning for Dynamic Networks [50.2033914945157]
本稿では、連続時間動的ネットワークデータのための表現学習フレームワークIntensity Profile Projectionを提案する。
このフレームワークは3つの段階から構成される: 対の強度関数を推定し、強度再構成誤差の概念を最小化する射影を学習する。
さらに、推定軌跡の誤差を厳密に制御する推定理論を開発し、その表現がノイズに敏感な追従解析に利用できることを示す。
論文 参考訳（メタデータ） (2023-06-09T15:38:25Z) - Linear Connectivity Reveals Generalization Strategies [54.947772002394736]
微調整されたモデルのいくつかは、それらの間の線形経路における損失を増大させる大きな障壁を持つ。
テスト損失面上で線形に接続されているが、クラスタ外のモデルから切り離されている異なるモデルのクラスタが見つかる。
我々の研究は、損失面の幾何学がモデルを異なる関数へと導く方法を示している。
論文 参考訳（メタデータ） (2022-05-24T23:43:02Z) - Towards Robust and Adaptive Motion Forecasting: A Causal Representation
Perspective [72.55093886515824]
本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。
我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。
合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
論文 参考訳（メタデータ） (2021-11-29T18:59:09Z) - Spatially relaxed inference on high-dimensional linear models [48.989769153211995]
本研究では,空間的に制約されたクラスタリング,統計的推論,アンサンブルを組み合わせ,複数のクラスタリング推論解を集約するアンサンブルクラスタリング推論アルゴリズムの特性について検討する。
アンサンブルクラスタ推論アルゴリズムは,最大クラスター径に等しい$delta$-FWERの標準仮定で$delta$-FWERを制御することを示す。
論文 参考訳（メタデータ） (2021-06-04T16:37:19Z) - Finding Geometric Models by Clustering in the Consensus Space [61.65661010039768]
本稿では,未知数の幾何学的モデル,例えばホモグラフィーを求めるアルゴリズムを提案する。
複数の幾何モデルを用いることで精度が向上するアプリケーションをいくつか提示する。
これには、複数の一般化されたホモグラフからのポーズ推定、高速移動物体の軌道推定が含まれる。
論文 参考訳（メタデータ） (2021-03-25T14:35:07Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。