論文の概要: Tracing the complexity profiles of different linguistic phenomena through the intrinsic dimension of LLM representations

• arxiv url: http://arxiv.org/abs/2601.03779v1
• Date: Wed, 07 Jan 2026 10:16:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-09 02:15:23.46928
• Title: Tracing the complexity profiles of different linguistic phenomena through the intrinsic dimension of LLM representations
• Title（参考訳）: LLM表現の内在次元による異なる言語現象の複雑性プロファイルの追跡
• Authors: Marco Baroni, Emily Cheng, Iria deDios-Flores, Francesca Franzon,
• Abstract要約: LLM層にまたがる異なるIDプロファイルが形式的・機能的複雑さを区別するかどうかを問う。 コーディネートや従属節が複数ある文間の形式的コントラストはID差に反映される。 また, 右分岐と中心埋め込みを特徴とする文間の機能的コントラストや不明瞭な相対的節のアタッチメントについても, IDで検索する。
• 参考スコア（独自算出の注目度）: 8.540350401981277
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We explore the intrinsic dimension (ID) of LLM representations as a marker of linguistic complexity, asking if different ID profiles across LLM layers differentially characterize formal and functional complexity. We find the formal contrast between sentences with multiple coordinated or subordinated clauses to be reflected in ID differences whose onset aligns with a phase of more abstract linguistic processing independently identified in earlier work. The functional contrasts between sentences characterized by right branching vs. center embedding or unambiguous vs. ambiguous relative clause attachment are also picked up by ID, but in a less marked way, and they do not correlate with the same processing phase. Further experiments using representational similarity and layer ablation confirm the same trends. We conclude that ID is a useful marker of linguistic complexity in LLMs, that it allows to differentiate between different types of complexity, and that it points to similar stages of linguistic processing across disparate LLMs.
• Abstract（参考訳）: 言語的複雑性の指標としてLLM表現の内在次元(ID)を探索し,LLM層にまたがる異なるIDプロファイルが形式的・機能的複雑性を区別するかどうかを問う。 我々は,先行研究で独立に識別されたより抽象的な言語処理の段階と一致しているID差に,複数の調整された文や下位節が反映されている文間の形式的コントラストを見出した。 右分岐と中心埋め込みを特徴とする文間の機能的コントラストや、不明瞭な相対的節のアタッチメントもIDによってピックアップされるが、マークの少ない方法では、同じ処理フェーズと相関しない。 表現的類似性と層アブレーションを用いたさらなる実験で、同じ傾向が確認された。 我々は、IDがLLMにおける言語的複雑性の有用なマーカーであり、異なるタイプの複雑性を区別することができ、異なるLLM間での言語処理の同様の段階を指し示していると結論付けた。

関連論文リスト

• QUDsim: Quantifying Discourse Similarities in LLM-Generated Text [70.22275200293964]
  本稿では,会話の進行過程の違いの定量化を支援するために,言語理論に基づくQUDと質問意味論を紹介する。 このフレームワークを使って$textbfQUDsim$を作ります。 QUDsimを用いて、コンテンツが異なる場合であっても、LLMはサンプル間で(人間よりも)談話構造を再利用することが多い。
  論文  参考訳（メタデータ） (2025-04-12T23:46:09Z)
• Linguistic Blind Spots of Large Language Models [14.755831733659699]
  言語アノテーションタスクにおける最近の大規模言語モデル(LLM)の性能について検討する。 近年の LLM は言語クエリに対処する上で有効性が限られており,言語学的に複雑な入力に苦しむことが多い。 この結果から,LLMの設計・開発における今後の進歩を示唆する知見が得られた。
  論文  参考訳（メタデータ） (2025-03-25T01:47:13Z)
• Computation Mechanism Behind LLM Position Generalization [59.013857707250814]
  大規模言語モデル(LLM)は、テキストの位置を扱う際の柔軟性を示す。 彼らは位置摂動のあるテキストを理解し、より長いテキストに一般化することができる。 この研究は言語現象とLLMの計算機構を結びつける。
  論文  参考訳（メタデータ） (2025-03-17T15:47:37Z)
• Complex Ontology Matching with Large Language Model Embeddings [0.21847754147782888]
  本稿では,大規模言語モデル(LLM)を表現的対応を生成するアプローチに統合することを提案する。 対応の生成は、例のサブグラフの類似した環境をマッチングすることによって行われる。
  論文  参考訳（メタデータ） (2025-02-19T10:56:27Z)
• A Comparative Study of Learning Paradigms in Large Language Models via Intrinsic Dimension [16.671316494925346]
  大規模言語モデル(LLM)の隠れ表現に対する教師付き微調整と文脈内学習の効果について検討する。 我々はまず,LLM表現のIDがSFT中にどのように進化するか,ICLにおける実演数によってどのように変化するかを検討する。 次に、SFTとICLによって誘導されるIDを比較し、ICLはSFTと比較して常に高いIDを誘導する。
  論文  参考訳（メタデータ） (2024-12-09T06:37:35Z)
• Probing LLMs for Joint Encoding of Linguistic Categories [10.988109020181563]
  大規模言語モデル(LLM)における言語カテゴリーの合同符号化をテストするためのフレームワークを提案する。 関連音声(POS)クラスと異なる(POSクラスと関連する構文依存関係)言語階層の双方で共同符号化の証拠を見いだした。
  論文  参考訳（メタデータ） (2023-10-28T12:46:40Z)
• mCL-NER: Cross-Lingual Named Entity Recognition via Multi-view Contrastive Learning [54.523172171533645]
  CrossNERは多言語コーパスの不足により不均一な性能から生じる課題に直面している。 言語横断的名前付きエンティティ認識(mCL-NER)のためのマルチビューコントラスト学習を提案する。 40言語にまたがるXTREMEベンチマーク実験では、従来のデータ駆動型およびモデルベースアプローチよりもmCL-NERの方が優れていることを示した。
  論文  参考訳（メタデータ） (2023-08-17T16:02:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。