論文の概要: Deep Language Geometry: Constructing a Metric Space from LLM Weights

• arxiv url: http://arxiv.org/abs/2508.11676v1
• Date: Fri, 08 Aug 2025 13:48:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-24 10:27:26.501137
• Title: Deep Language Geometry: Constructing a Metric Space from LLM Weights
• Title（参考訳）: 深層言語幾何学: LLMの重みから距離空間を構築する
• Authors: Maksym Shamrai, Vladyslav Hamolia,
• Abstract要約: 本稿では,現代大規模言語モデル (LLM) の内部重み付けの活性化を利用して,計量空間を構築する新しいフレームワークを提案する。 本手法は,適応型プルーニングアルゴリズムを用いて,重み付け重み付けスコアを演算することで,高次元ベクトル表現を自動的に導出する。 多様なデータセットと多言語LLMにまたがるアプローチを検証し、106言語をカバーする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We introduce a novel framework that utilizes the internal weight activations of modern Large Language Models (LLMs) to construct a metric space of languages. Unlike traditional approaches based on hand-crafted linguistic features, our method automatically derives high-dimensional vector representations by computing weight importance scores via an adapted pruning algorithm. Our approach captures intrinsic language characteristics that reflect linguistic phenomena. We validate our approach across diverse datasets and multilingual LLMs, covering 106 languages. The results align well with established linguistic families while also revealing unexpected inter-language connections that may indicate historical contact or language evolution. The source code, computed language latent vectors, and visualization tool are made publicly available at https://github.com/mshamrai/deep-language-geometry.
• Abstract（参考訳）: 本稿では,現代大規模言語モデル (LLM) の内部重み付けの活性化を利用して,計量空間を構築する新しいフレームワークを提案する。 本手法は,手作り言語の特徴に基づく従来の手法とは異なり,適応プルーニングアルゴリズムを用いて重み重み付けスコアを演算することで,高次元ベクトル表現を自動的に導出する。 本手法は言語現象を反映した固有の言語特性を捉える。 多様なデータセットと多言語LLMにまたがるアプローチを検証し、106言語をカバーする。 結果は、既存の言語家族とよく一致し、また、歴史的接触や言語進化を示す予期せぬ言語間接続を明らかにしている。 ソースコード、計算言語潜在ベクトル、可視化ツールはhttps://github.com/mshamrai/deep- language-geometryで公開されている。

関連論文リスト

• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  大規模言語モデル(LLM)における多言語機能向上のための新しいアプローチであるLensを提案する。 Lensは2つの部分空間で機能する: 言語に依存しない部分空間で、ターゲット言語と中心言語を一致させて強力な意味表現を継承する部分空間、言語固有の部分空間で、ターゲット言語と中心言語を分離して言語的特異性を保存する部分空間である。 レンズは、モデルの英語能力を維持しながら、多言語のパフォーマンスを著しく向上させ、既存の訓練後のアプローチと比べて計算コストの低い結果を得る。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Counterfactually Probing Language Identity in Multilingual Models [15.260518230218414]
  多言語モデルの内部構造を探索するために, 対実的探索法AlterRepを用いる。 言語 X のテンプレートを考えると、言語 Y が言語 Y の単語の確率を体系的に増加させることが分かる。
  論文  参考訳（メタデータ） (2023-10-29T01:21:36Z)
• Robust Open-Set Spoken Language Identification and the CU MultiLang Dataset [2.048226951354646]
  オープンセット音声言語識別システムは、入力が元の言語を示さないことを検出できる。 我々は,MFCCとピッチ特徴を用いたオープンセット音声言語識別のための新しい手法を実装した。 我々は、訓練された言語で91.76%の精度を達成し、未知の言語に適応する能力を有する音声言語識別システムを提案する。
  論文  参考訳（メタデータ） (2023-08-29T00:44:27Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• The Geometry of Multilingual Language Models: An Equality Lens [2.6746119935689214]
  ユークリッド空間における3つの多言語言語モデルの幾何学的解析を行う。 幾何学的分離性指数を用いて、言語は言語族によって近い傾向にあるが、それらは他族の言語とほぼ分離可能である。
  論文  参考訳（メタデータ） (2023-05-13T05:19:15Z)
• Revisiting Language Encoding in Learning Multilingual Representations [70.01772581545103]
  言語埋め込みを置き換えるクロスリンガル言語投影(Cross-lingual Language Projection, XLP)と呼ばれる新しいアプローチを提案する。 XLPは単語埋め込みを言語固有の意味空間に投影し、投影された埋め込みはTransformerモデルに供給される。 実験により、xlpは広範囲の多言語ベンチマークデータセットのモデル性能を自由かつ著しく向上できることが示された。
  論文  参考訳（メタデータ） (2021-02-16T18:47:10Z)
• Automatically Identifying Language Family from Acoustic Examples in Low Resource Scenarios [48.57072884674938]
  ディープラーニングを用いて言語類似性を解析する手法を提案する。 すなわち、Willernessデータセットのモデルをトレーニングし、その潜在空間が古典的な言語家族の発見とどのように比較されるかを調べる。
  論文  参考訳（メタデータ） (2020-12-01T22:44:42Z)
• Vokenization: Improving Language Understanding with Contextualized, Visual-Grounded Supervision [110.66085917826648]
  我々は,言語トークンを関連画像に文脈的にマッピングすることで,言語のみのデータに対するマルチモーダルアライメントを補間する手法を開発した。 語彙化」は比較的小さな画像キャプションデータセットに基づいて訓練され、それを大規模言語コーパスのための語彙生成に適用する。 これらの文脈的に生成された語彙を用いて学習し、視覚的に制御された言語モデルにより、複数の純粋言語タスクにおいて、自己教師による代替よりも一貫した改善が示される。
  論文  参考訳（メタデータ） (2020-10-14T02:11:51Z)
• Bridging Linguistic Typology and Multilingual Machine Translation with Multi-View Language Representations [83.27475281544868]
  特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。 我々の表現は類型学を組み込み、言語関係と相関関係を強化する。 次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
  論文  参考訳（メタデータ） (2020-04-30T16:25:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。