論文の概要: Monotonic Representation of Numeric Properties in Language Models

• arxiv url: http://arxiv.org/abs/2403.10381v1
• Date: Fri, 15 Mar 2024 15:10:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-18 16:32:11.748005
• Title: Monotonic Representation of Numeric Properties in Language Models
• Title（参考訳）: 言語モデルにおける数値特性の単調表現
• Authors: Benjamin Heinzerling, Kentaro Inui,
• Abstract要約: 言語モデル(LM)は、1902年生まれのカール・ポッパーのような数値的な性質に関する事実的な知識を表現することができる。 本稿では,エンティティの誕生年などの数値特性の表現を簡易に発見・編集する手法を提案する。 数値特性を単調に符号化する低次元部分空間を解釈可能かつ編集可能な方法で見つける。
• 参考スコア（独自算出の注目度）: 23.994655790704567
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models (LMs) can express factual knowledge involving numeric properties such as Karl Popper was born in 1902. However, how this information is encoded in the model's internal representations is not understood well. Here, we introduce a simple method for finding and editing representations of numeric properties such as an entity's birth year. Empirically, we find low-dimensional subspaces that encode numeric properties monotonically, in an interpretable and editable fashion. When editing representations along directions in these subspaces, LM output changes accordingly. For example, by patching activations along a "birthyear" direction we can make the LM express an increasingly late birthyear: Karl Popper was born in 1929, Karl Popper was born in 1957, Karl Popper was born in 1968. Property-encoding directions exist across several numeric properties in all models under consideration, suggesting the possibility that monotonic representation of numeric properties consistently emerges during LM pretraining. Code: https://github.com/bheinzerling/numeric-property-repr
• Abstract（参考訳）: 言語モデル(LM)は、1902年生まれのカール・ポッパーのような数値的な性質に関する事実的な知識を表現することができる。 しかし、この情報をモデルの内部表現にエンコードする方法はよく理解されていない。 本稿では,エンティティの誕生年などの数値特性の表現を簡易に発見・編集する手法を提案する。 経験的に、数値特性を単調に符号化する低次元部分空間を解釈可能かつ編集可能な方法で発見する。 これらの部分空間の方向に沿って表現を編集するとき、LM出力はそれに従って変化する。 カール・ポッパー(Karl Popper)は1929年生まれ、カール・ポッパー(Karl Popper)は1957年生まれ、カール・ポッパー(Karl Popper)は1968年生まれである。 プロパティエンコーディングの方向は、すべてのモデルにおいて考慮されているいくつかの数値特性にまたがって存在し、LM事前学習中に、数値特性の単調表現が一貫して現れる可能性を示唆している。 コード:https://github.com/bheinzerling/numeric-property-repr

関連論文リスト

• The Geometry of Numerical Reasoning: Language Models Compare Numeric Properties in Linear Subspaces [22.31258265337828]
  本稿では,大規模言語モデル(LLM)が論理比較問題に答える際に,埋め込み空間の低次元部分空間に符号化された数値属性を利用するかどうかを検討する。 まず,これらの部分空間を最小二乗回帰を用いて同定し,比較プロンプトに関連付けられた数値特性を効果的に符号化した。
  論文  参考訳（メタデータ） (2024-10-17T03:44:11Z)
• How to Leverage Digit Embeddings to Represent Numbers? [13.880400817682059]
  1+2の代わりに100+200を解くような一般化は、モデルの性能に大きく影響する。 数字の文字レベルの埋め込みは、数値表現を改善するための有望なアプローチとして現れている。 我々は、数値的な先行計算を用いて、集約された桁埋め込みを計算し、これらの集合をトランスフォーマーモデルに明示的に組み込む。
  論文  参考訳（メタデータ） (2024-07-01T01:31:41Z)
• Holmes: A Benchmark to Assess the Linguistic Competence of Language Models [59.627729608055006]
  言語モデル(LM)の言語能力を評価するための新しいベンチマークであるHolmesを紹介する。 我々は、計算に基づく探索を用いて、異なる言語現象に関するLMの内部表現を調べる。 その結果,近年,他の認知能力からLMの言語能力を引き離す声が上がっている。
  論文  参考訳（メタデータ） (2024-04-29T17:58:36Z)
• ArthModel: Enhance Arithmetic Skills to Large Language Model [0.0]
  この作業は、さまざまな思考方法、トレーニング方法、言語モデルの使用方法を提供します。 コードとモデルはurlhttps://www.eteced.com/eteced/arithmetic_finetuning_v1でリリースされる。
  論文  参考訳（メタデータ） (2023-11-30T15:06:50Z)
• Lexinvariant Language Models [84.2829117441298]
  離散語彙記号から連続ベクトルへの写像であるトークン埋め込みは、任意の言語モデル(LM)の中心にある 我々は、語彙記号に不変であり、したがって実際に固定トークン埋め込みを必要としないテクスチトレキシン変種モデルについて研究する。 十分長い文脈を条件として,レキシン変項LMは標準言語モデルに匹敵する難易度が得られることを示す。
  論文  参考訳（メタデータ） (2023-05-24T19:10:46Z)
• Inspecting and Editing Knowledge Representations in Language Models [49.78108941628512]
  ニューラル言語モデル(英語版)(LM)は、テキストによって記述された世界に関する事実を表す。 本稿では,自然言語におけるステートメントを,LMの内部表現システムにおけるファクトエンコーディングにマッピングする方法であるREMEDIについて述べる。
  論文  参考訳（メタデータ） (2023-04-03T06:24:10Z)
• Does Localization Inform Editing? Surprising Differences in Causality-Based Localization vs. Knowledge Editing in Language Models [68.03946716358335]
  既存の方法と異なる位置にある重みを編集することで、その事実をモデルに格納する方法を変えることができる。 特定のモデルパラメータに事実をローカライズすることで、モデル内の知識を操作する場所がわかると期待しているからです。 我々の結果は、事前訓練された言語モデルがどのように機能するかのより優れた機械的理解が、必ずしも行動の最良の変更方法に関する洞察に結びつくとは限らないことを示唆している。
  論文  参考訳（メタデータ） (2023-01-10T21:26:08Z)
• Low-Rank Softmax Can Have Unargmaxable Classes in Theory but Rarely in Practice [18.296971636710985]
  我々は,インフンガルグ可能なトークンの公開言語モデルを検出するアルゴリズムを開発した。 150モデル中13モデルが実際にそのようなトークンを持っていることが分かりました。
  論文  参考訳（メタデータ） (2022-03-12T15:34:54Z)
• Investigating the Limitations of the Transformers with Simple Arithmetic Tasks [10.23804850480924]
  その結果,表層形状における数値の表現方法がモデルの精度に強い影響を与えていることがわかった。 現代の事前学習型言語モデルは,ごく少数の例から容易に算術を学習できると結論付けている。
  論文  参考訳（メタデータ） (2021-02-25T17:22:53Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。