Fugu-MT 論文翻訳(概要): Local and Global Regimes of Geometric Complexity in Language Model Representations

論文の概要: Local and Global Regimes of Geometric Complexity in Language Model Representations

arxiv url: http://arxiv.org/abs/2608.14361v1
Date: Fri, 14 Aug 2026 15:01:24 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-17 20:14:29.412416
Title: Local and Global Regimes of Geometric Complexity in Language Model Representations
Title（参考訳）: 言語モデル表現における幾何学的複雑さの局所的および大域的レジーム
Abstract要約: 本稿では,データセットに含まれる一意な最後の項目数である語彙多様性が,データセットのID推定に与える影響に焦点を当てる。語彙の多様性が低い場合、一意の終語が少ない条件がより高いIDを生成するのに対し、語彙の多様性が高い場合、この順序は逆になる。
参考スコア（独自算出の注目度）: 5.972083596296453
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Intrinsic dimensionality (ID) is widely used to probe the representational complexity of language models, but it remains unclear whether ID differences reflect properties of language itself or artefacts of how the underlying dataset was constructed. In this paper, we focus specifically on how lexical diversity, the number of unique last-token items present in a dataset, affects ID estimates of that dataset. We find a scale-dependent transition between two regimes: at low lexical diversity, conditions with fewer unique final words produce higher ID, while at high lexical diversity, this ordering reverses, and conditions with more unique words produce higher ID. We derive an exact, parameter-free formula for the point at which this reversal occurs, which matches the observed transition point at every scale tested. On the one hand, our results highlight how care must be taken when interpreting the intrinsic dimensionality of a set of representations as a straightforward cue of their complexity. On the other hand, our discovery of the two ID regimes reveals a general principle of organisation of linguistic data in LLMs that sheds new light on their inner manifold structures.
Abstract（参考訳）: 内在的次元性(ID)は言語モデルの表現的複雑さを探索するために広く用いられているが、IDの違いが言語自体の特性を反映しているか、その基盤となるデータセットがどのように構築されたかは定かではない。本稿では,データセットに含まれる一意な最後の項目数である語彙多様性が,データセットのID推定に与える影響に特に焦点をあてる。語彙の多様性の低い条件では、最終単語が少ない条件では、高いIDが生成される一方、高い語彙の多様性では、この順序が逆転し、よりユニークな単語を持つ条件では、より高いIDが生成される。我々は、この逆転が起こる点について、正確にパラメータフリーな公式を導出し、テストされたすべてのスケールで観測された遷移点と一致する。一方,本研究の結果は,一組の表現の内在的次元性を,その複雑さの直接的な因果関係として解釈する上で,いかに注意が必要であるかを強調した。一方,2つのID機構の発見は,LLMにおける言語データの組織化の一般的な原則を明らかにし,内部多様体構造に新たな光を放つ。

関連論文リスト

Tracing the complexity profiles of different linguistic phenomena through the intrinsic dimension of LLM representations [8.540350401981277]
LLM層にまたがる異なるIDプロファイルが形式的・機能的複雑さを区別するかどうかを問う。コーディネートや従属節が複数ある文間の形式的コントラストはID差に反映される。また, 右分岐と中心埋め込みを特徴とする文間の機能的コントラストや不明瞭な相対的節のアタッチメントについても, IDで検索する。
論文参考訳（メタデータ） (2026-01-07T10:16:59Z)
Disentangling Linguistic Features with Dimension-Wise Analysis of Vector Embeddings [0.0]
本稿では,異なる言語特性(LP)を符号化したベクトル埋め込みの特定の次元を明らかにするための枠組みを提案する。本稿では,同義語,否定語,時制,量などの10つの重要な言語的特徴を分離するLinguistically Distinct Sentence Pairsデータセットを紹介する。このデータセットを用いて,様々な手法を用いてBERT埋め込みを分析し,各LPの最も影響力のある次元を同定する。我々の研究結果は、否定や極性といった特定の性質が特定の次元で強固に符号化されている一方で、同義語のような他の性質はより複雑なパターンを示すことを示している。
論文参考訳（メタデータ） (2025-04-20T23:38:16Z)
Order-agnostic Identifier for Large Language Model-based Generative Recommendation [94.37662915542603]
アイテムは、ユーザ履歴をエンコードし、次のアイテムを生成するために、LLM(Large Language Models)の識別子に割り当てられる。既存のアプローチでは、トークンシーケンス識別子を使用して、アイテムを個別のトークンシーケンスとして表現するか、IDまたはセマンティック埋め込みを使用して単一トークン識別子を使用する。本稿では,セマンティック・トークンライザを利用するSETRecを提案する。
論文参考訳（メタデータ） (2025-02-15T15:25:38Z)
Geometric Signatures of Compositionality Across a Language Model's Lifetime [47.25475802128033]
現代言語モデルは、構成性によって実現された言語の本質的な単純さを反映しているかどうかを考察する。構成性と幾何学的複雑性の関係は,学習した言語的特徴から生じる。本分析では, 言語構成の意味的側面と表面的側面をそれぞれ符号化し, 非線形次元と線形次元の顕著な対比を示した。
論文参考訳（メタデータ） (2024-10-02T11:54:06Z)
A Measure for Transparent Comparison of Linguistic Diversity in Multilingual NLP Data Sets [1.1647644386277962]
多言語NLPで達成された進歩を追跡するため、タイポロジー的に多様性のあるベンチマークがますます作成されている。本稿では,参照言語サンプルに対してデータセットの言語多様性を評価することを提案する。
論文参考訳（メタデータ） (2024-03-06T18:14:22Z)
Language Models As Semantic Indexers [78.83425357657026]
本稿では,ジェネレーティブ言語モデルを用いてセマンティックIDを学習するための自己教師型フレームワークLMIndexerを紹介する。学習したIDの質を検証し,推奨,製品検索,文書検索の3つの課題において有効性を示す。
論文参考訳（メタデータ） (2023-10-11T18:56:15Z)
A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文参考訳（メタデータ） (2022-01-20T15:01:12Z)
A Simple and Effective Method To Eliminate the Self Language Bias in Multilingual Representations [7.571549274473274]
言語に依存しない意味言語情報の分離は、多言語表現モデルのための新たな研究方向である。言語情報除去(LIR)は,多言語データに基づいて事前学習した多言語表現における意味関連コンポーネントから言語識別情報を抽出する。 LIRは、弱アライメント多言語システムでは、意味空間の主成分が言語アイデンティティ情報をエンコードしていることを明らかにする。
論文参考訳（メタデータ） (2021-09-10T08:15:37Z)
Learning Universal Representations from Word to Sentence [89.82415322763475]
この研究は普遍的な表現学習、すなわち一様ベクトル空間における言語単位の異なるレベルへの埋め込みを導入し、探求する。本稿では, 単語, 句, 文の観点から, 類似したデータセットを構築するためのアプローチを提案する。適切なトレーニング設定を組み込んだよく訓練されたトランスフォーマーモデルが、効果的に普遍的な表現が得られることを実証的に検証する。
論文参考訳（メタデータ） (2020-09-10T03:53:18Z)
BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
論文参考訳（メタデータ） (2020-04-29T04:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。