論文の概要: Language Models Are Implicitly Continuous

• arxiv url: http://arxiv.org/abs/2504.03933v1
• Date: Fri, 04 Apr 2025 21:01:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-08 14:14:46.496805
• Title: Language Models Are Implicitly Continuous
• Title（参考訳）: 言語モデルは極めて継続的である
• Authors: Samuele Marro, Davide Evangelista, X. Angelo Huang, Emanuele La Malfa, Michele Lombardi, Michael Wooldridge,
• Abstract要約: 本研究では,トランスフォーマーに基づく言語モデルにおいて,文を連続時間関数として表現することを暗黙的に学習することを示す。 この現象は、Llama2、Llama3、Phi3、Gemma、Gemma2、Mistralなど、最先端のLarge Language Models (LLMs) で起きている。
• 参考スコア（独自算出の注目度）: 5.445513969959226
• License:
• Abstract: Language is typically modelled with discrete sequences. However, the most successful approaches to language modelling, namely neural networks, are continuous and smooth function approximators. In this work, we show that Transformer-based language models implicitly learn to represent sentences as continuous-time functions defined over a continuous input space. This phenomenon occurs in most state-of-the-art Large Language Models (LLMs), including Llama2, Llama3, Phi3, Gemma, Gemma2, and Mistral, and suggests that LLMs reason about language in ways that fundamentally differ from humans. Our work formally extends Transformers to capture the nuances of time and space continuity in both input and output space. Our results challenge the traditional interpretation of how LLMs understand language, with several linguistic and engineering implications.
• Abstract（参考訳）: 言語は通常、離散シーケンスでモデル化される。 しかしながら、言語モデリングにおける最も成功したアプローチ、すなわちニューラルネットワークは、連続的で滑らかな関数近似器である。 本研究では,トランスフォーマーに基づく言語モデルにおいて,文を連続的な入力空間上で定義した連続時間関数として表現することを暗黙的に学習することを示す。 この現象は、Llama2、Llama3、Phi3、Gemma、Gemma2、Mistralを含むほとんどの最先端のLarge Language Model(LLM)で発生し、LLMが言語を人間と根本的に異なる方法で考えることを示唆している。 我々の研究は、Transformerを拡張して、入力空間と出力空間の両方における時間と空間の連続性のニュアンスをキャプチャします。 我々の研究結果は、LLMが言語をどのように理解するかという従来の解釈にいくつかの言語学的・工学的意味がある。

関連論文リスト

• Large Language Models Share Representations of Latent Grammatical Concepts Across Typologically Diverse Languages [15.203789021094982]
  大規模言語モデル(LLM)では、複数の言語がどのように学習され、エンコードされているか? Llama-3-8BとAya-23-8Bでスパースオートエンコーダを訓練し、抽象文法の概念が多くの言語で共有される特徴方向に符号化されることを実証する。
  論文  参考訳（メタデータ） (2025-01-10T21:18:21Z)
• Converging to a Lingua Franca: Evolution of Linguistic Regions and Semantics Alignment in Multilingual Large Language Models [11.423589362950812]
  大規模言語モデル(LLM)は、特に多言語文脈において顕著な性能を示した。 近年の研究では、LLMは、ある言語で学んだスキルを他の言語に伝達することができることが示唆されているが、この能力の背後にある内部メカニズムはいまだ不明である。 本稿では,LLMの内部動作に関する知見を提供し,言語間能力の向上のための基盤を提供する。
  論文  参考訳（メタデータ） (2024-10-15T15:49:15Z)
• Modeling language contact with the Iterated Learning Model [0.0]
  反復学習モデルは言語変化のエージェントベースモデルである。 最近導入された反復学習モデルであるSemi-Supervised ILMは、言語接触をシミュレートするために使われている。
  論文  参考訳（メタデータ） (2024-06-11T01:43:23Z)
• Interpretability of Language Models via Task Spaces [14.543168558734001]
  本稿では,解釈言語モデル (LM) の代替手法を提案する。 我々は、LM処理の品質に焦点を合わせ、言語能力に焦点をあてる。 言語現象間の関係を照らす「言語的タスク空間」を構築した。
  論文  参考訳（メタデータ） (2024-06-10T16:34:30Z)
• Diffusion Language Models Can Perform Many Tasks with Scaling and Instruction-Finetuning [52.22611035186903]
  拡散言語モデルを拡張することで、強力な言語学習者が効果的に学習できることが示される。 大規模データから知識を最初に取得することで,大規模に有能な拡散言語モデルを構築する。 実験により、拡散言語モデルのスケーリングは、下流言語タスクにおけるパフォーマンスを一貫して改善することが示された。
  論文  参考訳（メタデータ） (2023-08-23T16:01:12Z)
• Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
  合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。 自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
  論文  参考訳（メタデータ） (2022-10-14T02:35:19Z)
• Is neural language acquisition similar to natural? A chronological probing study [0.0515648410037406]
  本稿では,MultiBERTやT5といったトランスフォーマー英語モデルの時系列探索について述べる。 コーパスの学習過程において,モデルが学習した言語に関する情報を比較した。 その結果,1)訓練の初期段階に言語情報を取得すること,2)両言語モデルが様々な言語レベルから様々な特徴を捉える能力を示した。
  論文  参考訳（メタデータ） (2022-07-01T17:24:11Z)
• Analyzing the Mono- and Cross-Lingual Pretraining Dynamics of Multilingual Language Models [73.11488464916668]
  本研究では,多言語事前学習プロセスのダイナミクスについて検討する。 我々は,XLM-Rプレトレーニング全体から抽出したチェックポイントを,一連の言語的タスクを用いて探索する。 分析の結果,より複雑なものよりも低レベルな言語スキルが得られ,早期に高い言語性能が得られることがわかった。
  論文  参考訳（メタデータ） (2022-05-24T03:35:00Z)
• Lifting the Curse of Multilinguality by Pre-training Modular Transformers [72.46919537293068]
  多言語事前訓練されたモデルは、多言語間のパフォーマンスが低下する、多言語間の呪いに苦しむ。 言語固有のモジュールを導入し、言語定数当たりのトレーニング可能なパラメータの総数を保ちながら、モデルの総容量を拡大できるようにします。 我々のアプローチは、測定可能な性能低下のないポストホック言語の追加を可能にし、モデルの使用を事前訓練された言語セットに制限しない。
  論文  参考訳（メタデータ） (2022-05-12T17:59:56Z)
• Towards Language Modelling in the Speech Domain Using Sub-word Linguistic Units [56.52704348773307]
  音節や音素を含む言語単位に基づくLSTMに基づく新しい生成音声LMを提案する。 限られたデータセットでは、現代の生成モデルで要求されるものよりも桁違いに小さいので、我々のモデルはバブリング音声を近似する。 補助的なテキストLM,マルチタスク学習目標,補助的な調音特徴を用いた訓練の効果を示す。
  論文  参考訳（メタデータ） (2021-10-31T22:48:30Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。