論文の概要: Unravelling the Mechanisms of Manipulating Numbers in Language Models

• arxiv url: http://arxiv.org/abs/2510.26285v1
• Date: Thu, 30 Oct 2025 09:08:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.733018
• Title: Unravelling the Mechanisms of Manipulating Numbers in Language Models
• Title（参考訳）: 言語モデルにおける数操作のメカニズムの解明
• Authors: Michal Štefánik, Timothee Mickus, Marek Kadlčík, Bertram Højer, Michal Spiegel, Raúl Vázquez, Aman Sinha, Josef Kuchař, Philipp Mondorf,
• Abstract要約: 言語モデルが数値を操作し、これらのメカニズムの低い精度境界を定量化する方法について検討する。 誤りに直面するにもかかわらず、異なる言語モデルは、体系的、高度に正確で普遍的な数値の交換可能な表現を学習する。 以上の結果から,事前学習したLLMが数値を操作し,より正確な探索手法の可能性を概説した。
• 参考スコア（独自算出の注目度）: 9.583581545538479
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has shown that different large language models (LLMs) converge to similar and accurate input embedding representations for numbers. These findings conflict with the documented propensity of LLMs to produce erroneous outputs when dealing with numeric information. In this work, we aim to explain this conflict by exploring how language models manipulate numbers and quantify the lower bounds of accuracy of these mechanisms. We find that despite surfacing errors, different language models learn interchangeable representations of numbers that are systematic, highly accurate and universal across their hidden states and the types of input contexts. This allows us to create universal probes for each LLM and to trace information -- including the causes of output errors -- to specific layers. Our results lay a fundamental understanding of how pre-trained LLMs manipulate numbers and outline the potential of more accurate probing techniques in addressed refinements of LLMs' architectures.
• Abstract（参考訳）: 近年の研究では、異なる大規模言語モデル (LLM) が、数値に対する類似かつ正確な入力埋め込み表現に収束していることが示されている。 これらの知見は, 数値情報を扱う際に, 誤った出力を生成するためのLCMの文書的妥当性と矛盾する。 本研究では,言語モデルが数をどのように操作するかを探索し,これらのメカニズムの精度の低い境界を定量化することによって,この矛盾を説明することを目的とする。 誤りに直面するにもかかわらず、異なる言語モデルでは、隠れた状態と入力コンテキストのタイプにまたがって、体系的で高精度で普遍的な数値の交換可能な表現を学習する。 これにより、各LSMに対して普遍的なプローブを作成し、特定のレイヤへの情報(出力エラーの原因を含む)をトレースすることができます。 本稿は,LLMの事前学習による数値操作の原理的理解と,LLMのアーキテクチャを改良する上でのより正確な探索手法の可能性について概説した。

関連論文リスト

• Idiosyncrasies in Large Language Models [54.26923012617675]
  大規模言語モデル(LLM)における慣用句の公開と研究 LLM生成テキストへの微調整テキスト埋め込みモデルにより,優れた分類精度が得られることがわかった。 我々はLLMを審査員として利用し、各モデルの慣用句の詳細かつオープンな記述を生成する。
  論文  参考訳（メタデータ） (2025-02-17T18:59:02Z)
• The Validation Gap: A Mechanistic Analysis of How Language Models Compute Arithmetic but Fail to Validate It [36.87039577092295]
  大規模言語モデル(LLM)における誤り検出の力学解析について述べる。 回路解析により,4つの小さいLLMの演算誤差を検出する計算部分グラフを同定する。 この結果から,算術的解法における数値値の表面レベルのアライメントを評価するために,すべてのモデルが$textitConsistency Head$-attention Headに大きく依存していることが判明した。
  論文  参考訳（メタデータ） (2025-02-17T13:00:44Z)
• Mitigating the Language Mismatch and Repetition Issues in LLM-based Machine Translation via Model Editing [39.375342978538654]
  機械翻訳を行うためにLLM(Large Language Models)を活用することに注力する。 誤りの2つのパターンが頻繁に発生し、言語ミスマッチと繰り返しの翻訳品質に劇的な影響を与えていることを観察する。 モデル編集手法を活用することにより,これらの2つの問題を緩和する可能性について検討する。
  論文  参考訳（メタデータ） (2024-10-09T16:51:21Z)
• LLMs Know More Than They Show: On the Intrinsic Representation of LLM Hallucinations [46.351064535592336]
  大規模言語モデル(LLM)は、事実の不正確さやバイアス、推論失敗など、しばしばエラーを発生させる。 近年の研究では、LLMの内部状態が出力の真偽に関する情報を符号化していることが示されている。 LLMの内部表現は、これまで認識されていた以上の真理性に関する情報を符号化している。
  論文  参考訳（メタデータ） (2024-10-03T17:31:31Z)
• Understanding Information Storage and Transfer in Multi-modal Large Language Models [51.20840103605018]
  本研究では,マルチモーダル大規模言語モデルを用いて,現実的な視覚的質問応答タスクにおいて情報処理を行う方法について検討する。 鍵となる発見は、これらのMLLMが情報記憶のためにずっと古いレイヤの自己注意ブロックに依存していることを示している。 モデル編集アルゴリズムであるMultEditを導入し、誤りを訂正し、MLLMに新しいロングテール情報を挿入する。
  論文  参考訳（メタデータ） (2024-06-06T16:35:36Z)
• Lost in the Source Language: How Large Language Models Evaluate the Quality of Machine Translation [64.5862977630713]
  本研究では,機械翻訳評価タスクにおいて,Large Language Models (LLM) がソースデータと参照データをどのように活用するかを検討する。 参照情報が評価精度を大幅に向上させるのに対して,意外なことに,ソース情報は時として非生産的である。
  論文  参考訳（メタデータ） (2024-01-12T13:23:21Z)
• Language Models Encode the Value of Numbers Linearly [28.88044346200171]
  数学の基本要素である数値を言語モデルでエンコードする方法を考察する。 実験結果は,大規模言語モデルにおける符号付き数値の存在を支持する。 我々の研究は、LLMが数値を線形にエンコードする証拠を提供する。
  論文  参考訳（メタデータ） (2024-01-08T08:54:22Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Masked Language Modeling and the Distributional Hypothesis: Order Word Matters Pre-training for Little [74.49773960145681]
  マスク言語モデル(MLM)トレーニングの印象的なパフォーマンスの可能な説明は、そのようなモデルがNLPパイプラインで広く普及している構文構造を表現することを学びました。 本稿では,先行訓練がダウンストリームタスクでほぼ完全に成功する理由として,高次単語共起統計をモデル化できることを挙げる。 以上の結果から,純粋分布情報は,事前学習の成功を主に説明し,深い言語知識を必要とする難易度評価データセットのキュレーションの重要性を強調する。
  論文  参考訳（メタデータ） (2021-04-14T06:30:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。