Fugu-MT 論文翻訳(概要): The Geometry of Numerical Reasoning: Language Models Compare Numeric Properties in Linear Subspaces

論文の概要: The Geometry of Numerical Reasoning: Language Models Compare Numeric Properties in Linear Subspaces

arxiv url: http://arxiv.org/abs/2410.13194v1
Date: Thu, 17 Oct 2024 03:44:11 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-18 13:20:16.683482
Title: The Geometry of Numerical Reasoning: Language Models Compare Numeric Properties in Linear Subspaces
Title（参考訳）: 数値推論の幾何学:言語モデルによる線形部分空間の数値特性の比較
Authors: Ahmed Oumar El-Shangiti, Tatsuya Hiraoka, Hilal AlQuabeh, Benjamin Heinzerling, Kentaro Inui,
Abstract要約: 本稿では,大規模言語モデル(LLM)が論理比較問題に答える際に,埋め込み空間の低次元部分空間に符号化された数値属性を利用するかどうかを検討する。まず,これらの部分空間を最小二乗回帰を用いて同定し,比較プロンプトに関連付けられた数値特性を効果的に符号化した。
参考スコア（独自算出の注目度）: 22.31258265337828
License:
Abstract: This paper investigates whether large language models (LLMs) utilize numerical attributes encoded in a low-dimensional subspace of the embedding space when answering logical comparison questions (e.g., Was Cristiano born before Messi?). We first identified these subspaces using partial least squares regression, which effectively encodes the numerical attributes associated with the entities in comparison prompts. Further, we demonstrate causality by intervening in these subspaces to manipulate hidden states, thereby altering the LLM's comparison outcomes. Experimental results show that our findings hold for different numerical attributes, indicating that LLMs utilize the linearly encoded information for numerical reasoning.
Abstract（参考訳）: 本稿では,大規模言語モデル (LLM) が論理比較質問に答える際に, 埋め込み空間の低次元部分空間に符号化された数値属性を利用するかどうかを検討する。まず,これらの部分空間を最小二乗回帰を用いて同定し,比較プロンプトに関連付けられた数値特性を効果的に符号化した。さらに,これらの部分空間に介在して隠れ状態を操作することで因果性を示し,LLMの比較結果を変化させる。実験結果から,LLMは線形符号化された情報を数値推論に用いていることが示唆された。

関連論文リスト

Hyperbolic Fine-tuning for Large Language Models [56.54715487997674]
本研究では,大規模言語モデル(LLM)の非ユークリッド的特徴について検討する。トークン埋め込みは高い双曲性を示し,埋め込み空間に木のような構造が潜んでいることを示す。双曲的低ランク効率微調整法HypLoRAを導入し, 双曲的多様体上で直接低ランク適応を行う。
論文参考訳（メタデータ） (2024-10-05T02:58:25Z)
Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
論文参考訳（メタデータ） (2024-02-28T04:56:21Z)
Language Models Know the Value of Numbers [28.88044346200171]
言語モデルが数学の基本的な要素である数値の値を知っているかどうかを考察する。実験結果は,大規模言語モデルにおける符号付き数値の存在を支持する。我々の研究は、LLMが数値の価値を知っていて、LLMの数値情報をよりよく探索し、設計し、活用するための洞察を提供する証拠を提供する。
論文参考訳（メタデータ） (2024-01-08T08:54:22Z)
More than Correlation: Do Large Language Models Learn Causal Representations of Space? [6.293100288400849]
本研究では,大規模言語モデルにおける空間表現の因果関係を明らかにすることに焦点を当てた。実験の結果,空間表現が次の単語予測におけるモデルの性能に影響を与え,地理空間情報に依存する下流課題が示された。
論文参考訳（メタデータ） (2023-12-26T01:27:29Z)
Representation Of Lexical Stylistic Features In Language Models' Embedding Space [28.60690854046176]
これらのスタイリスティックな概念のそれぞれに対して,少数のシードペアのみからベクトル表現を導出できることが示されている。 5つのデータセットで実験を行い、静的な埋め込みがこれらの特徴を単語やフレーズのレベルでより正確にエンコードすることを発見した。単語レベルでの文脈化表現の低い性能は、ベクトル空間の異方性に起因する。
論文参考訳（メタデータ） (2023-05-29T23:44:26Z)
Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
論文参考訳（メタデータ） (2023-05-15T17:15:40Z)
Why do Nearest Neighbor Language Models Work? [93.71050438413121]
言語モデル(LM)は、すでに見られる文脈の表現を逐次計算することで、テキストの確率を計算する。 Retrieval-augmented LMは、大規模なデータストアから取得した情報にアクセスすることによって、標準的なニューラルLMよりも改善されている。
論文参考訳（メタデータ） (2023-01-07T11:12:36Z)
Multilevel orthogonal Bochner function subspaces with applications to robust machine learning [1.533771872970755]
このデータを、関連するボヒナー空間内のランダムフィールドのインスタンスとみなす。私たちのキーとなる観察は、クラスが主に2つの異なる部分空間に存在することである。
論文参考訳（メタデータ） (2021-10-04T22:01:01Z)
The Low-Dimensional Linear Geometry of Contextualized Word Representations [27.50785941238007]
ELMOおよびBERTにおける文脈化単語表現の線形幾何学について検討する。様々な言語特徴が低次元部分空間に符号化されていることを示す。
論文参考訳（メタデータ） (2021-05-15T00:58:08Z)
Null It Out: Guarding Protected Attributes by Iterative Nullspace Projection [51.041763676948705]
Iterative Null-space Projection (INLP) は神経表現から情報を取り除く新しい方法である。提案手法は,単語埋め込みにおけるバイアスを軽減するとともに,複数クラス分類の設定において公平性を高めることができることを示す。
論文参考訳（メタデータ） (2020-04-16T14:02:50Z)
Learnable Subspace Clustering [76.2352740039615]
本研究では,大規模サブスペースクラスタリング問題を効率的に解くために,学習可能なサブスペースクラスタリングパラダイムを開発する。鍵となる考え方は、高次元部分空間を下層の低次元部分空間に分割するパラメトリック関数を学ぶことである。我々の知る限り、本論文は、サブスペースクラスタリング手法の中で、数百万のデータポイントを効率的にクラスタ化する最初の試みである。
論文参考訳（メタデータ） (2020-04-09T12:53:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。