論文の概要: LLMs are Frequency Pattern Learners in Natural Language Inference

• arxiv url: http://arxiv.org/abs/2505.21011v1
• Date: Tue, 27 May 2025 10:45:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.587125
• Title: LLMs are Frequency Pattern Learners in Natural Language Inference
• Title（参考訳）: LLMは自然言語推論における周波数パターン学習者である
• Authors: Liang Cheng, Zhaowei Wang, Mark Steedman,
• Abstract要約: 我々は、仮説の述語が肯定的な事例の前提語よりも頻繁に発生する、一貫した周波数バイアスを同定する。 LLMは周波数バイアスを利用して推定を行い、逆向きのインスタンスでは性能が良くないことがわかった。 我々は、WordNetから偽名とその対応するハイパーネムの周波数を計算し、周波数バイアスとテキストのエンテーメントの相関関係を明らかにする。
• 参考スコア（独自算出の注目度）: 10.931224681685194
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While fine-tuning LLMs on NLI corpora improves their inferential performance, the underlying mechanisms driving this improvement remain largely opaque. In this work, we conduct a series of experiments to investigate what LLMs actually learn during fine-tuning. We begin by analyzing predicate frequencies in premises and hypotheses across NLI datasets and identify a consistent frequency bias, where predicates in hypotheses occur more frequently than those in premises for positive instances. To assess the impact of this bias, we evaluate both standard and NLI fine-tuned LLMs on bias-consistent and bias-adversarial cases. We find that LLMs exploit frequency bias for inference and perform poorly on adversarial instances. Furthermore, fine-tuned LLMs exhibit significantly increased reliance on this bias, suggesting that they are learning these frequency patterns from datasets. Finally, we compute the frequencies of hyponyms and their corresponding hypernyms from WordNet, revealing a correlation between frequency bias and textual entailment. These findings help explain why learning frequency patterns can enhance model performance on inference tasks.
• Abstract（参考訳）: NLIコーパス上の微調整LDMは推論性能を向上するが、この改善の基盤となるメカニズムはいまだに不透明である。 本研究では,LLMが微調整中に実際に何を学ぶかを調べるために,一連の実験を行った。 まず、前提における述語頻度を解析し、NLIデータセット全体にわたって仮説を仮定し、一貫した周波数バイアスを特定する。 このバイアスの影響を評価するため,標準LLMとNLI微細調整LDMの双方をバイアス一貫性およびバイアス補償症例に応用した。 LLMは周波数バイアスを利用して推定を行い、逆向きのインスタンスでは性能が良くないことがわかった。 さらに、微調整LDMは、このバイアスへの依存を著しく増加させ、これらの周波数パターンをデータセットから学習していることを示唆している。 最後に,WordNet から擬似語とその対応する超音韻の周波数を計算し,周波数バイアスとテキストエントロメントの相関関係を明らかにする。 これらの知見は、なぜ学習頻度パターンが推論タスクにおけるモデル性能を向上させるのかを説明するのに役立つ。

関連論文リスト

• Benchmarking and Pushing the Multi-Bias Elimination Boundary of LLMs via Causal Effect Estimation-guided Debiasing [41.90664134611629]
  現在の大規模言語モデル(LLM)は、推論中にまだバイアスを利用する可能性があるため、LLMの一般化性は低い。 それぞれのデータに5種類のバイアスを含むマルチバイアスベンチマークを提案する。 CMBEは,複数種類のバイアスを同時に排除し,LLMの一般化性を高めることができることを示す。
  論文  参考訳（メタデータ） (2025-05-22T11:04:09Z)
• Neutralizing Bias in LLM Reasoning using Entailment Graphs [13.5088417466172]
  LLMは自然言語推論(NLI)が可能であるとしばしば主張されるが、これはより複雑な推論の基盤として広く見なされている。 我々は,検証バイアスを低減するために,非教師なしのフレームワークを設計し,反実的推論データと微調整LDMを構築した。 我々のフレームワークは、元のNLIデータセットとバイアスニュートラル化されたNLIデータセットの推論性能を一貫して改善する。
  論文  参考訳（メタデータ） (2025-03-14T17:33:30Z)
• How far can bias go? -- Tracing bias from pretraining data to alignment [54.51310112013655]
  本研究では, 事前学習データにおける性別占有バイアスと, LLMにおける性別占有バイアスの相関について検討した。 その結果,事前学習データに存在するバイアスがモデル出力に増幅されることが判明した。
  論文  参考訳（メタデータ） (2024-11-28T16:20:25Z)
• Tuning Frequency Bias of State Space Models [48.60241978021799]
  状態空間モデル(SSM)は、線形時間不変(LTI)システムを利用して、長距離依存のシーケンスを学習する。 その結果,SSMは低周波成分を高周波成分よりも効果的に捕捉する傾向を示した。
  論文  参考訳（メタデータ） (2024-10-02T21:04:22Z)
• A Theory of LLM Sampling: Part Descriptive and Part Prescriptive [53.08398658452411]
  大規模言語モデル(LLM)は、自律的な意思決定にますます活用されている。 このサンプリング行動が人間の意思決定と類似していることが示される。 統計的ノルムから規範的成分へのサンプルの偏りは、様々な現実世界の領域にまたがる概念に一貫して現れることを示す。
  論文  参考訳（メタデータ） (2024-02-16T18:28:43Z)
• An Empirical Study of Catastrophic Forgetting in Large Language Models During Continual Fine-tuning [70.48605869773814]
  カタストロフィック・ナッシング(英: Catastrophic forgetting、CF)は、機械学習において、モデルが以前に学習した情報を忘れたときに発生する現象である。 本研究では,大規模言語モデルにおける連続的調律時の忘れ現象を実験的に評価する。
  論文  参考訳（メタデータ） (2023-08-17T02:53:23Z)
• Sources of Hallucination by Large Language Models on Inference Tasks [16.644096408742325]
  大規模言語モデル (LLM) は自然言語推論 (NLI) が可能なと主張している。 本研究は, 制御実験を用いて行動調査を行う複数のLLMファミリーに関する一連の行動学的研究について述べる。
  論文  参考訳（メタデータ） (2023-05-23T22:24:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。