論文の概要: Entropy2Vec: Crosslingual Language Modeling Entropy as End-to-End Learnable Language Representations
- arxiv url: http://arxiv.org/abs/2509.05060v1
- Date: Fri, 05 Sep 2025 12:40:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-08 14:27:25.589505
- Title: Entropy2Vec: Crosslingual Language Modeling Entropy as End-to-End Learnable Language Representations
- Title（参考訳）: Entropy2Vec: エンドツーエンド学習可能な言語表現としての言語間モデリングエントロピー
- Authors: Patrick Amadeus Irawan, Ryandito Diandaru, Belati Jagad Bintang Syuhada, Randy Zakya Suchrady, Alham Fikri Aji, Genta Indra Winata, Fajri Koto, Samuel Cahyawijaya,
- Abstract要約: 単言語モデルのエントロピーを利用して言語間表現を導出するフレームワークであるEntropy2Vecを紹介する。
一つの言語で言語モデルを訓練することにより、その予測のエントロピーは他の言語と構造的類似性を反映していると仮定する。
このアプローチは、異なる時間枠に適応し、欠落した値のない、密集した非スパースな言語埋め込みをもたらす。
- 参考スコア（独自算出の注目度）: 33.52308723119687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We introduce Entropy2Vec, a novel framework for deriving cross-lingual language representations by leveraging the entropy of monolingual language models. Unlike traditional typological inventories that suffer from feature sparsity and static snapshots, Entropy2Vec uses the inherent uncertainty in language models to capture typological relationships between languages. By training a language model on a single language, we hypothesize that the entropy of its predictions reflects its structural similarity to other languages: Low entropy indicates high similarity, while high entropy suggests greater divergence. This approach yields dense, non-sparse language embeddings that are adaptable to different timeframes and free from missing values. Empirical evaluations demonstrate that Entropy2Vec embeddings align with established typological categories and achieved competitive performance in downstream multilingual NLP tasks, such as those addressed by the LinguAlchemy framework.
- Abstract（参考訳）: 単言語モデルのエントロピーを利用して言語間表現を導出する新しいフレームワークであるEntropy2Vecを紹介する。
特徴の空間性や静的スナップショットに苦しむ従来の類型的在庫とは異なり、Entropy2Vecは言語モデルに固有の不確実性を利用して、言語間の類型的関係を捉えている。
一つの言語で言語モデルを訓練することにより、その予測のエントロピーは他の言語と構造的類似性を反映していると仮定する。
このアプローチは、異なる時間枠に適応し、欠落した値のない、密集した非スパースな言語埋め込みをもたらす。
実証的な評価により,Entropy2Vec の埋め込みは定型的カテゴリと整合し,LinguAlchemy フレームワークなどの下流多言語 NLP タスクにおける競合性能を達成した。
関連論文リスト
- Analyzing The Language of Visual Tokens [48.62180485759458]
我々は、離散的な視覚言語を分析するために、自然言語中心のアプローチをとる。
トークンの高度化はエントロピーの増大と圧縮の低下を招き,トークンが主にオブジェクト部品を表すことを示す。
また、視覚言語には結合的な文法構造が欠如していることが示され、自然言語と比較して難易度が高く、階層構造が弱いことが判明した。
論文 参考訳（メタデータ） (2024-11-07T18:59:28Z) - Linguistically Grounded Analysis of Language Models using Shapley Head Values [2.914115079173979]
最近提案されたシェープヘッド値(SHV)を用いた言語モデル探索手法を利用した形態素合成現象の処理について検討する。
英語のBLiMPデータセットを用いて、BERTとRoBERTaという2つの広く使われているモデルに対して、我々のアプローチを検証し、言語構造がどのように扱われるかを比較する。
以上の結果から,SHVに基づく属性は両モデルにまたがる異なるパターンを明らかにし,言語モデルがどのように言語情報を整理・処理するかの洞察を与える。
論文 参考訳（メタデータ） (2024-10-17T09:48:08Z) - Robustness of the Random Language Model [0.0]
このモデルは、潜在的言語の広大な空間におけるアニーリングの一種として、最初の言語学習の簡単な図を示唆している。
これは、潜在的な単語とカテゴリ間の対称性が自発的に壊れる文法構文への単一の連続的な遷移を意味する。
結果は、言語学における第一言語習得の理論と、機械学習における最近の成功を踏まえて議論される。
論文 参考訳（メタデータ） (2023-09-26T13:14:35Z) - Language Models are Few-shot Multilingual Learners [66.11011385895195]
我々は、非英語言語における多言語分類を行う際に、GPTモデルとT5モデルの多言語的スキルを評価する。
文脈としての英語の例を見ると、事前学習された言語モデルは、英語のテストサンプルだけでなく、英語以外のサンプルも予測できることが示されている。
論文 参考訳（メタデータ） (2021-09-16T03:08:22Z) - Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
多言語事前学習モデルから言語表現を生成し、言語分析を行う。
すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。
言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
論文 参考訳（メタデータ） (2021-09-01T09:32:06Z) - Constructing a Family Tree of Ten Indo-European Languages with
Delexicalized Cross-linguistic Transfer Patterns [57.86480614673034]
我々は,デレクシカル化転送を,解釈可能なツリー・ツー・ストリングパターンとツリー・ツー・ツリーパターンとして定式化する。
これにより、言語間移動を定量的に探索し、第二言語習得の問い合わせを拡張することができる。
論文 参考訳（メタデータ） (2020-07-17T15:56:54Z) - Linguistic Typology Features from Text: Inferring the Sparse Features of
World Atlas of Language Structures [73.06435180872293]
我々は、バイト埋め込みと畳み込み層に基づく繰り返しニューラルネットワーク予測器を構築する。
様々な言語型の特徴を確実に予測できることを示す。
論文 参考訳（メタデータ） (2020-04-30T21:00:53Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳（メタデータ） (2020-04-30T16:25:39Z) - Do Neural Language Models Show Preferences for Syntactic Formalisms? [14.388237635684737]
本研究では,言語モデルが捉えた構文構造のセマンランスが,表面シンタクティックあるいは深層構文解析の様式にどの程度依存しているかについて検討する。
13の異なる言語で訓練されたBERTおよびELMoモデルに対して,有向依存木抽出のためのプローブを適用した。
どちらのモデルも、SUDよりもUDを好むことが分かりました。
論文 参考訳（メタデータ） (2020-04-29T11:37:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。