論文の概要: Long-Tail Knowledge in Large Language Models: Taxonomy, Mechanisms, Interventions and Implications

• arxiv url: http://arxiv.org/abs/2602.16201v1
• Date: Wed, 18 Feb 2026 05:49:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-19 15:58:30.526365
• Title: Long-Tail Knowledge in Large Language Models: Taxonomy, Mechanisms, Interventions and Implications
• Title（参考訳）: 大規模言語モデルにおける長期学習知識:分類学、メカニズム、介入、含意
• Authors: Sanket Badhe, Deep Shah, Nehal Kathrotia,
• Abstract要約: 本稿では,大規模言語モデルにおける長期学習知識の構造的分類法と分析法を開発する。 我々は、技術的・社会学的観点から先行研究を合成する構造化分析フレームワークを導入する。 この論文は、プライバシー、持続可能性、ガバナンスに関連するオープンな課題を特定することで締めくくっている。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are trained on web-scale corpora that exhibit steep power-law distributions, in which the distribution of knowledge is highly long-tailed, with most appearing infrequently. While scaling has improved average-case performance, persistent failures on low-frequency, domain-specific, cultural, and temporal knowledge remain poorly characterized. This paper develops a structured taxonomy and analysis of long-Tail Knowledge in large language models, synthesizing prior work across technical and sociotechnical perspectives. We introduce a structured analytical framework that synthesizes prior work across four complementary axes: how long-Tail Knowledge is defined, the mechanisms by which it is lost or distorted during training and inference, the technical interventions proposed to mitigate these failures, and the implications of these failures for fairness, accountability, transparency, and user trust. We further examine how existing evaluation practices obscure tail behavior and complicate accountability for rare but consequential failures. The paper concludes by identifying open challenges related to privacy, sustainability, and governance that constrain long-Tail Knowledge representation. Taken together, this paper provides a unifying conceptual framework for understanding how long-Tail Knowledge is defined, lost, evaluated, and manifested in deployed language model systems.
• Abstract（参考訳）: 大規模言語モデル (LLMs) は、知識の分布が非常に長く、ほとんどは稀に現れる、急激なパワーロー分布を示すWebスケールコーパスで訓練される。 スケーリングは平均ケースのパフォーマンスを改善したが、低頻度、ドメイン固有、文化的、時間的知識の持続的な失敗は、依然として不十分な特徴である。 本稿では、大規模言語モデルにおける長期的知識の構造的分類と分析を開発し、技術的・社会学的観点から先行研究を合成する。 本稿では,4つの相補的軸にまたがる先行作業の合成を行う構造化分析フレームワークについて紹介する。このフレームワークは,長期的知識の定義方法,学習と推論中にその動作が失われたり歪んだりするメカニズム,これらの障害を軽減するための技術的介入,公平性,説明責任,透明性,ユーザ信頼に対するこれらの障害の影響である。 さらに、既存の評価手法がテールの挙動を曖昧にし、稀ながら連続的な失敗の原因を複雑にしているかについても検討する。 この論文は、長期的知識表現を制約するプライバシー、持続可能性、ガバナンスに関連するオープンな課題を特定することで締めくくられる。 本稿では,言語モデルシステムにおいて,長期的知識がどのように定義され,失われ,評価され,提示されるかを理解するための,統一的な概念的枠組みを提供する。

関連論文リスト

• Knowledge-Augmented Large Language Model Agents for Explainable Financial Decision-Making [9.652432629251841]
  本研究では,知識強化型大規模言語モデルエージェントに基づく財務意思決定のための説明可能な推論手法について検討する。 従来の金融決定手法の限界に対処するため,外部知識検索,意味表現,推論生成を組み合わせた統合フレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-10T09:08:33Z)
• Graphing the Truth: Structured Visualizations for Automated Hallucination Detection in LLMs [0.0]
  本稿では,プロプライエタリな知識とモデル生成コンテンツをインタラクティブな視覚的知識グラフにまとめるフレームワークを提案する。 ユーザは不整合を診断し、弱い推論チェーンを特定し、修正フィードバックを提供する。
  論文  参考訳（メタデータ） (2025-11-29T23:09:15Z)
• The Importance of Being Lazy: Scaling Limits of Continual Learning [60.97756735877614]
  モデル幅の増大は,特徴学習の量を減らし,遅延度を高めた場合にのみ有益であることを示す。 特徴学習,タスク非定常性,および忘れることの複雑な関係について検討し,高い特徴学習が極めて類似したタスクにのみ有用であることを示す。
  論文  参考訳（メタデータ） (2025-06-20T10:12:38Z)
• Resilience in Knowledge Graph Embeddings [1.90894751866253]
  我々は、一般化、性能の整合性、分散適応、堅牢性といったいくつかの要因を含む、レジリエンスを一元的に定義する。 調査の結果,既存の研究のほとんどはレジリエンス,すなわち堅牢性に重点を置いていることがわかった。
  論文  参考訳（メタデータ） (2024-10-28T16:04:22Z)
• Large Language Models are Limited in Out-of-Context Knowledge Reasoning [65.72847298578071]
  大規模言語モデル (LLMs) は、文脈内推論の実行において広範な知識と強力な能力を持っている。 本稿では、複数の知識を組み合わせて新しい知識を推論する、文脈外知識推論(OCKR)という、文脈外推論の重要な側面に焦点を当てる。
  論文  参考訳（メタデータ） (2024-06-11T15:58:59Z)
• Verbalized Probabilistic Graphical Modeling [8.524824578426962]
  本稿では,自然言語における確率的グラフモデル (PGM) の重要な原理をシミュレートするために,動詞型確率的グラフィカルモデリング (vPGM) を提案する。 vPGMは専門家主導のモデル設計をバイパスし、仮定やデータ不足のシナリオに適している。 以上の結果から,本モデルは信頼性校正とテキスト生成品質を効果的に向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-06-08T16:35:31Z)
• Causal Reasoning Meets Visual Representation Learning: A Prospective Study [117.08431221482638]
  解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。 人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。 本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
  論文  参考訳（メタデータ） (2022-04-26T02:22:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。