論文の概要: Understanding Subword Compositionality of Large Language Models

• arxiv url: http://arxiv.org/abs/2508.17953v1
• Date: Mon, 25 Aug 2025 12:16:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.765577
• Title: Understanding Subword Compositionality of Large Language Models
• Title（参考訳）: 大規模言語モデルのサブワード構成性の理解
• Authors: Qiwei Peng, Yekun Chai, Anders Søgaard,
• Abstract要約: 大規模言語モデル(LLM)はサブワードのシーケンスを入力として取り、サブワード表現を構成する必要がある。 本稿では,LLMがサブワード情報を構成する方法を検討するための総合的な実験について述べる。
• 参考スコア（独自算出の注目度）: 42.51978887170929
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) take sequences of subwords as input, requiring them to effective compose subword representations into meaningful word-level representations. In this paper, we present a comprehensive set of experiments to probe how LLMs compose subword information, focusing on three key aspects: structural similarity, semantic decomposability, and form retention. Our analysis of the experiments suggests that these five LLM families can be classified into three distinct groups, likely reflecting difference in their underlying composition strategies. Specifically, we observe (i) three distinct patterns in the evolution of structural similarity between subword compositions and whole-word representations across layers; (ii) great performance when probing layer by layer their sensitivity to semantic decompositionality; and (iii) three distinct patterns when probing sensitivity to formal features, e.g., character sequence length. These findings provide valuable insights into the compositional dynamics of LLMs and highlight different compositional pattens in how LLMs encode and integrate subword information.
• Abstract（参考訳）: 大規模言語モデル(LLM)はサブワードのシーケンスを入力として取り、意味のある単語レベルの表現に効率的にサブワード表現を構成する必要がある。 本稿では,LLMがサブワード情報をどのように構成するかを,構造的類似性,セマンティック・デコンポスタビリティ,フォーム保持という3つの重要な側面に焦点をあてて検討する。 実験結果から,これらの5つのLSMファミリーは3つの異なるグループに分類される可能性が示唆された。 特に私たちは 一 サブワード構成と層間の全単語表現との間の構造的類似性の進化における三つの異なるパターン (二)意味的分解性に敏感な層によって層を探索する場合の優れた性能、及び (3)形式的特徴,例えば文字列の長さに敏感な場合の3つの異なるパターン。 これらの知見は、LLMの合成力学に関する貴重な洞察を与え、LLMがサブワード情報をエンコードし統合する方法において、異なる構成パタンを強調している。

関連論文リスト

• DISRetrieval: Harnessing Discourse Structure for Long Document Retrieval [51.89673002051528]
  DISRetrievalは、言語談話構造を利用して長い文書理解を強化する新しい階層的検索フレームワークである。 本研究は,談話構造が文書の長さや問合せの種類によって検索効率を著しく向上することを確認する。
  論文  参考訳（メタデータ） (2025-05-26T14:45:12Z)
• Weak-to-Strong Compositional Learning from Generative Models for Language-based Object Detection [19.610781457283966]
  本稿では,言語に基づく物体検出において,視覚言語モデル(VL)の構成的理解を高める新しい手法を提案する。 我々のフレームワークは、画像ドメインとテキストドメインの両方で、密にペア化された正と負の三つ子(画像、テキスト記述、バウンディングボックス)を生成する。 本稿では,合成三重項の複雑な記述における意味や構造を発見するための,新しいコントラスト学習形式を提案する。
  論文  参考訳（メタデータ） (2024-07-21T23:43:24Z)
• Can Linguistic Knowledge Improve Multimodal Alignment in Vision-Language Pretraining? [34.609984453754656]
  本研究の目的は,意味表現や構文構造を含む包括的言語知識がマルチモーダルアライメントに与える影響を明らかにすることである。 具体的には、最初の大規模マルチモーダルアライメント探索ベンチマークであるSNAREを設計、リリースする。
  論文  参考訳（メタデータ） (2023-08-24T16:17:40Z)
• Syntax and Semantics Meet in the "Middle": Probing the Syntax-Semantics Interface of LMs Through Agentivity [68.8204255655161]
  このような相互作用を探索するためのケーススタディとして,作用性のセマンティックな概念を提示する。 これは、LMが言語アノテーション、理論テスト、発見のためのより有用なツールとして役立つ可能性を示唆している。
  論文  参考訳（メタデータ） (2023-05-29T16:24:01Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Linear Spaces of Meanings: Compositional Structures in Vision-Language Models [110.00434385712786]
  事前学習された視覚言語モデル(VLM)からのデータ埋め込みにおける構成構造について検討する。 まず,幾何学的観点から構成構造を理解するための枠組みを提案する。 次に、これらの構造がVLM埋め込みの場合の確率論的に持つものを説明し、実際に発生する理由の直観を提供する。
  論文  参考訳（メタデータ） (2023-02-28T08:11:56Z)
• LSTMs Compose (and Learn) Bottom-Up [18.34617849764921]
  NLPにおける最近の研究は、LSTM言語モデルが言語データの階層構造を捉えていることを示している。 既存の研究とは対照的に,その構成行動に繋がるテキスト学習のプロセスを考える。 本稿では,LSTMにおける単語の意味間の分解的相互依存性を,ゲート間の相互作用に基づいて測定する。
  論文  参考訳（メタデータ） (2020-10-06T13:00:32Z)
• Word Interdependence Exposes How LSTMs Compose Representations [18.34617849764921]
  NLPにおける最近の研究は、LSTM言語モデルが言語データの構成構造を捉えていることを示している。 LSTMにおける単語の意味間の相互依存度を,内部ゲートでの相互作用に基づく新しい尺度として提示する。
  論文  参考訳（メタデータ） (2020-04-27T21:48:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。