論文の概要: Revisiting LLM Homogeneity Through a Multidimensional Lens
- arxiv url: http://arxiv.org/abs/2611.01549v1
- Date: Sun, 01 Nov 2026 04:20:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-04 23:36:30.483911
- Title: Revisiting LLM Homogeneity Through a Multidimensional Lens
- Title（参考訳）: 多次元レンズによるLLM均一性の再検討
- Abstract要約: 5次元にまたがる25の解釈可能な測度で同質性を再考する。
知覚される類似性は、内容(反応が何を言っているか)と形(彼らがどう言っているか)の両方に依存する
2024年から2026年にかけてのリリースでは、モデルはそれ自身に似ているが、互いに似ていない。
- 参考スコア（独自算出の注目度）: 4.361654290774807
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Concerns about LLM homogeneity are typically quantified with embedding similarity, which reduces two texts to a single score. We revisit homogeneity with 25 interpretable metrics spanning five dimensions: semantic, lexical, syntactic, structural, and stylistic & presentational. A human study shows that perceived similarity depends on both content (what responses say) and form (how they say it), yet embedding similarity correlates less with human meaning judgments than sentence-level matching ($ρ=0.417$ vs. $0.606$) and not significantly with form judgments ($ρ=0.140$). Across 18 contemporary LLMs, models say similar things in different words: they share global semantics and broad linguistic profiles but remain distinct in lexical characteristics, structural patterns, and interactional conventions. Across releases from 2024 to 2026, models become more like themselves but not more like one another: among significantly changing metrics, intra-model distances decrease for 17 of 22, and inter-model distances increase for 14 of 21. Across two post-training pipelines, model-specific conventions emerge during SFT and are selectively reshaped by preference optimization. These results suggest that homogeneity is multidimensional and evolving, and that embedding similarity alone can overstate cross-model homogeneity while concealing diverging intra- and inter-model trends.
- Abstract（参考訳）: LLMの均一性に関する懸念は、通常、埋め込み類似性によって定量化され、2つのテキストを1つのスコアに減らす。
意味論的,語彙的,構文的,構造的,スタイリスティック,プレゼンテーション的という5つの次元にまたがる25の解釈可能な指標を用いて,同質性を再検討する。
人間の研究では、知覚的類似性は内容(反応が何を言っているか)と形(どのように言っているか)の両方に依存するが、類似性は文レベルの一致(ρ=0.417$対0.606$)よりも人間の意味判断と相関し、形判定(ρ=0.140$)とは相関しない。
グローバルな意味論と広い言語的プロファイルを共有するが、語彙的特徴、構造的パターン、相互作用的慣習は相変わらず異なるままである。
2024年から2026年にかけてのリリースでは、モデルはそれ自身に似てはいるが、互いに似てはいない: 測定値が大きく変化し、22の17のモデル内距離が減少し、21のモデル間距離が14のモデル間距離が増加した。
トレーニング後の2つのパイプラインにまたがって、モデル固有の規約がSFT中に出現し、好みの最適化によって選択的に再形成される。
これらの結果は、同質性は多次元的かつ進化的であり、埋め込み類似性だけでモデル内およびモデル間トレンドを隠蔽しながら、モデル間の同質性をオーバーステートすることができることを示唆している。
関連論文リスト
- On the Limits of Scale: Inverse Scaling in Vision-Language Models [67.54189742028566]
本稿では,視覚言語モデル(VLM)がサブタスクレベルで逆スケーリングを示すという系統的証拠を示す。
8つのマルチモーダルベンチマークで4つの異なるモデルファミリーから19のモデルを評価する。
本研究で最も影響を受ける領域は,多面的空間推論,視覚知覚,大学レベルのSTEM知識などである。
論文 参考訳（メタデータ） (2026-10-19T22:39:42Z) - Beyond Model Bias: Cross-Entropy Based Rankings in Literary and Academic Texts Remain Stable across Small Language Models [0.0]
本研究では,クロスエントロピー関連尺度に基づくランキングのばらつきの実証的証拠を示す。
現代詩のコーパスと学術研究論文のコーパスの2つのスタイリスティックな環境を考える。
論文 参考訳（メタデータ） (2026-10-12T16:13:56Z) - A Systematic Comparison of Multilingual Interpretability Methods Reveals Anisotropy-Driven Failures [4.919385975609114]
CKA,ANC,トークン単位のGMM支配率,ILOの4つの共有指標を5つのファミリーの21のベースモデルで比較した。
これらのモデルにおいて、これらの指標は言語間共有の定量化において異なることが判明した。
ILOと言語間移動の相関のみがモデルサイズ、家族、タスクごとの変化の制御を継続する。
論文 参考訳（メタデータ） (2026-09-04T07:16:54Z) - Beyond "AI Language": The case for the idiolectal nature of LLM output [0.0]
大規模言語モデルの出力はしばしば「AI言語」と呼ばれる超多言語として分析される
この章は、この観点は、人間の慣用句に似た、モデル固有の言語的署名と共存していると主張している。
論文 参考訳（メタデータ） (2026-08-06T21:03:13Z) - Speaking the Language of Science: Toward a General-Purpose Generative Foundation Model for the Natural Sciences [89.71422932447423]
LOGOSは、自然科学における異種タスクを統一する科学生成言語モデルである。
空間的接触パターンと制約パターンを離散トークンとして表現することにより、モデルは純粋にシーケンシャルな方法で複雑な構造的相互作用をキャプチャする。
多様なタスクにわたって、LOGOSは一貫してドメイン固有のベースラインにマッチまたは性能を向上する。
論文 参考訳（メタデータ） (2026-06-15T16:14:53Z) - Semantic Needles in Document Haystacks: Sensitivity Testing of LLM-as-a-Judge Similarity Scoring [39.19569497931068]
文書比較の微妙な意味変化に対してLLM感度を探索するスケーラブルな多要素実験フレームワークを提案する。
LLMは文書内位置バイアスを呈するなど,いくつかの顕著な知見が得られた。
提案フレームワークは,現在および将来のモデル間でのスコアリング動作の監査と比較を行うための,実用的でLCMに依存しないツールキットを提供する。
論文 参考訳（メタデータ） (2026-04-20T20:59:25Z) - Artificial Hivemind: The Open-Ended Homogeneity of Language Models (and Beyond) [90.45301024940329]
言語モデル(LM)は、多様で人間らしい創造的コンテンツを生成するのに苦労することが多い。
Infinity-Chatは26万の多様な実世界のオープンエンドユーザクエリからなる大規模データセットである。
本研究では, LMのモード崩壊について大規模に検討し, 人工Hivemind効果が明らかとなった。
論文 参考訳（メタデータ） (2025-10-27T03:16:21Z) - Semantic Convergence: Investigating Shared Representations Across Scaled LLMs [4.172347145536457]
大きな言語モデルは、サイズの違いにもかかわらず、世界全体を広く類似した解釈可能な特徴に彫り込み、クロスモデル解釈の基盤として普遍性を補強する。
予備実験では、単一トークンからマルチトークン部分空間への解析を拡張し、意味論的に類似した部分空間が言語モデルと同様に相互作用することを示す。
論文 参考訳（メタデータ） (2025-07-21T07:09:32Z) - Counting Like Human: Anthropoid Crowd Counting on Modeling the
Similarity of Objects [92.80955339180119]
メインストリームの群衆計数法は 密度マップを補強して 計数結果を得るために統合する。
これに触発された我々は,合理的かつ人為的な集団カウントフレームワークを提案する。
論文 参考訳（メタデータ） (2022-12-02T07:00:53Z) - Beyond Instance Discrimination: Relation-aware Contrastive
Self-supervised Learning [75.46664770669949]
本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。
当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
論文 参考訳（メタデータ） (2022-11-02T03:25:28Z) - Multimodal hierarchical Variational AutoEncoders with Factor Analysis latent space [45.418113011182186]
本研究では,変分オートエンコーダ(VAE)と因子解析潜時空間(FA-VAE)を組み合わせることで,制約に対処する新しい手法を提案する。
FA-VAE法は複数のVAEを用いて連続潜伏空間における各異種データビューのプライベート表現を学習する。
論文 参考訳（メタデータ） (2022-07-19T10:46:02Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。