論文の概要: Benford's Curse: Tracing Digit Bias to Numerical Hallucination in LLMs

• arxiv url: http://arxiv.org/abs/2506.01734v1
• Date: Mon, 02 Jun 2025 14:44:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-05 04:22:50.765737
• Title: Benford's Curse: Tracing Digit Bias to Numerical Hallucination in LLMs
• Title（参考訳）: Benford's Curse: LLMにおける数値幻覚へのディジットバイアスの追跡
• Authors: Jiandong Shao, Yao Lu, Jianfei Yang,
• Abstract要約: 大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な性能を示すが、基本的な数値問題ではしばしば失敗する。 ベンフォードの法則に触発されて、ウェブコレクトされたコーパスにおける長い尾の桁の分布は、事前学習中にLLMによって学習される可能性があると仮定する。 オープンソースのLLMはベンフォードの法則に類似した、一貫した桁偏差パターンを示す。
• 参考スコア（独自算出の注目度）: 14.62160325896028
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) exhibit impressive performance on complex reasoning tasks, yet they frequently fail on basic numerical problems, producing incorrect outputs. Inspired by Benford's Law -- a statistical pattern where lower digits occur more frequently as leading digits -- we hypothesize that the long-tailed digit distributions in web-collected corpora may be learned by LLMs during pretraining, leading to biased numerical generation. To investigate the hypothesis, we first examine whether digits frequencies in pretraining corpus (OLMo2) follows Benford's law. We then construct an evaluation benchmark with uniformly distributed ground-truth digits across seven numerical reasoning tasks. Our evaluation results demonstrate that leading open-source LLMs show a consistent pattern of digit bias that resembles Benford's law. Through logit-lens tracing and neuron-level dissection, we identify that this bias arises predominantly from a small subset of highly digit-selective feed-forward network (FFN) neurons in the deeper layers. Finally, we demonstrate that pruning these neurons mitigates imbalanced overgeneration and partially corrects erroneous outputs, providing causal evidence that fine-grained pretraining digit bias can propagate into model behavior. Our findings reveal a fundamental connection between corpus-level statistics and symbolic failure modes in LLMs, offering a new lens for diagnosing and mitigating hallucinations in numerical tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な性能を示すが、基本的な数値問題ではしばしば失敗し、誤った出力を生成する。 ベンフォードの法則(英: Benford's Law)によって着想を得た、低い桁が先頭の桁としてより頻繁に発生する統計パターン)は、Webコンパイルされたコーパスの長い尾の桁の分布は、事前学習中にLLMによって学習され、バイアスのある数値生成をもたらすと仮定する。 この仮説を調査するために、まずプレトレーニングコーパス(OLMo2)における桁数周波数がベンフォードの法則に従うかどうかを検討する。 次に,7つの数値推論タスクにまたがって,一様に分布する接地木桁を用いた評価ベンチマークを構築した。 評価結果は,オープンソースLLMはベンフォードの法則に類似した,一貫した桁偏差パターンを示すことを示した。 ロージットレンズの追跡とニューロンレベルでの解離により、この偏見は主に深い層内の高桁選択性フィードフォワードネットワーク(FFN)ニューロンの小さなサブセットから生じることが判明した。 最後に、これらのニューロンの切断は、不均衡なオーバージェネレーションを緩和し、誤出力を部分的に補正することを示した。 以上の結果から,LLMにおけるコーパスレベルの統計値と記号的故障モードの基本的な関係が明らかとなり,数値処理における幻覚の診断・緩和のための新たなレンズが提供される。

関連論文リスト

• MIRAGE: Assessing Hallucination in Multimodal Reasoning Chains of MLLM [58.2298313720146]
  マルチモーダル幻覚は多源性であり、様々な原因から生じる。 既存のベンチマークでは、知覚誘発幻覚と推論誘発幻覚を適切に区別することができない。
  論文  参考訳（メタデータ） (2025-05-30T05:54:36Z)
• Neutralizing Bias in LLM Reasoning using Entailment Graphs [13.5088417466172]
  LLMは自然言語推論(NLI)が可能であるとしばしば主張されるが、これはより複雑な推論の基盤として広く見なされている。 我々は,検証バイアスを低減するために,非教師なしのフレームワークを設計し,反実的推論データと微調整LDMを構築した。 我々のフレームワークは、元のNLIデータセットとバイアスニュートラル化されたNLIデータセットの推論性能を一貫して改善する。
  論文  参考訳（メタデータ） (2025-03-14T17:33:30Z)
• Lower Layers Matter: Alleviating Hallucination via Multi-Layer Fusion Contrastive Decoding with Truthfulness Refocused [27.894293943142447]
  大規模言語モデル (LLM) は様々な自然言語処理タスクにおいて例外的な性能を示した。 彼らは時に「幻覚」と呼ばれる現象である不正確で反事実的な出力を発生させる。
  論文  参考訳（メタデータ） (2024-08-16T14:23:59Z)
• Confidence Regulation Neurons in Language Models [91.90337752432075]
  本研究では,大規模言語モデルが次世代の予測において不確実性を表現・規制するメカニズムについて検討する。 エントロピーニューロンは異常に高い重量ノルムを特徴とし、最終層正規化(LayerNorm)スケールに影響を与え、ロジットを効果的にスケールダウンさせる。 ここで初めて説明するトークン周波数ニューロンは、各トークンのログをそのログ周波数に比例して増加または抑制することで、出力分布をユニグラム分布から遠ざかる。
  論文  参考訳（メタデータ） (2024-06-24T01:31:03Z)
• REAL Sampling: Boosting Factuality and Diversity of Open-Ended Generation via Asymptotic Entropy [93.8400683020273]
  大規模言語モデル(LLM)の復号法は通常、事実性の確保と多様性の維持のトレードオフに苦慮する。 核サンプリングにおける事実性および多様性を向上させる復号法であるREALサンプリングを提案する。
  論文  参考訳（メタデータ） (2024-06-11T21:44:49Z)
• What Are Large Language Models Mapping to in the Brain? A Case Against Over-Reliance on Brain Scores [1.8175282137722093]
  大規模言語モデル(LLM)の内部表現は最先端の脳スコアを達成し、人間の言語処理と計算原理を共有するという憶測に繋がる。 本稿では、LLM-to-Brainマッピングに関する衝撃的な研究で使用される3つのニューラルデータセットを分析し、参加者が短いパスを読み取るfMRIデータセットに特に焦点をあてる。 このデータセット上で訓練されたLLMの脳のスコアは、文の長さ、位置、代名詞による単語の埋め込みによって大きく説明できる。
  論文  参考訳（メタデータ） (2024-06-03T17:13:27Z)
• Are You Sure? Challenging LLMs Leads to Performance Drops in The FlipFlop Experiment [82.60594940370919]
  大規模言語モデル(LLM)のマルチターン動作を研究するためのFlipFlop実験を提案する。 モデルが平均46%の時間で回答を反転させ、全てのモデルが最初の予測と最終予測の間に精度を低下させ、平均17%の低下(FlipFlop効果)を示す。 我々はオープンソースのLLMで微調整実験を行い、合成されたデータに対する微調整は、性能劣化を60%低減させることができるが、サイコファンティックな振る舞いを完全には解決できないことを発見した。
  論文  参考訳（メタデータ） (2023-11-14T23:40:22Z)
• FactCHD: Benchmarking Fact-Conflicting Hallucination Detection [64.4610684475899]
  FactCHD は LLM からファクトコンフリクトの幻覚を検出するために設計されたベンチマークである。 FactCHDは、バニラ、マルチホップ、比較、セット操作など、さまざまな事実パターンにまたがる多様なデータセットを備えている。 Llama2 に基づくツール強化 ChatGPT と LoRA-tuning による反射的考察を合成する Truth-Triangulator を提案する。
  論文  参考訳（メタデータ） (2023-10-18T16:27:49Z)
• Sources of Hallucination by Large Language Models on Inference Tasks [16.644096408742325]
  大規模言語モデル (LLM) は自然言語推論 (NLI) が可能なと主張している。 本研究は, 制御実験を用いて行動調査を行う複数のLLMファミリーに関する一連の行動学的研究について述べる。
  論文  参考訳（メタデータ） (2023-05-23T22:24:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。