論文の概要: Hallucination, Monofacts, and Miscalibration: An Empirical Investigation

• arxiv url: http://arxiv.org/abs/2502.08666v1
• Date: Tue, 11 Feb 2025 18:46:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:50:34.160126
• Title: Hallucination, Monofacts, and Miscalibration: An Empirical Investigation
• Title（参考訳）: 幻覚, モノファクト, ミススキャリブレーション : 実証的研究
• Authors: Muqing Miao, Michael Kearns,
• Abstract要約: 基礎となるデータ分布の違いが、モノファクトレートとモデルが幻覚する傾向にどのように影響するかを示す。 これらの結果から,訓練データにおける事実頻度の分布と校正・校正のトレードオフは,確率的言語生成に固有のものであることが示唆された。
• 参考スコア（独自算出の注目度）: 2.6162433502464757
• License:
• Abstract: Recent theoretical work by [Kalai and Vempala 2024] proves that a particular notion of hallucination rate in LLMs must be lower bounded by the training data monofact rate (related to the classical Good-Turing missing mass estimator) minus model miscalibration. Through systematic experiments with n-gram models and in-context learning with LLMs, we empirically investigate and validate this theory by examining how different underlying data distributions affect the monofact rate and a model's tendency to hallucinate. We then vary model miscalibration through controlled upweighting of training samples while holding monofact rates constant, allowing us to isolate miscalibration's reduction effect on hallucination. These findings suggest that both the distribution of fact frequencies in training data and the calibration-hallucination trade-off are inherent to probabilistic language generation. Our results also suggest that current practices of aggressive deduplication in training data may need to be reconsidered, as selective duplication could serve as a principled mechanism for reducing hallucination.
• Abstract（参考訳）: 近年の [Kalai and Vempala 2024] による理論的研究は, LLM における幻覚率の特定の概念は, 学習データモノファクトレート(古典的グッドチューリングの欠落質量推定器に関連する)の最小モデル誤校正によって下限にされなければならないことを証明している。 我々は,n-gramモデルを用いた体系的な実験とLLMを用いた文脈内学習を通じて,基礎となるデータ分布の違いがモノファクト率や幻覚の傾向にどのように影響するかを実験的に検討し,検証した。 次に, 単品率を一定に保ちながら, トレーニングサンプルの重み付けを制御し, モデル誤校正のモデル化を行い, 幻覚に対する誤校正の低減効果を分離する。 これらの結果から,訓練データにおける事実頻度の分布と校正・校正のトレードオフは,確率的言語生成に固有のものであることが示唆された。 また,本研究の結果は,幻覚を減少させるメカニズムとして選択的重複が有効であることから,現在のトレーニングデータにおける攻撃的重複の実践を再考する必要があることを示唆している。

関連論文リスト

• Causal Lifting of Neural Representations: Zero-Shot Generalization for Causal Inferences [56.23412698865433]
  本研究では,ラベル付き類似実験を微調整した予測モデルを用いて,ラベル付き実結果を用いた対象実験の因果推論に焦点をあてる。 まず,経験的リスク最小化(ERM)による実結果推定は,対象個体群に対して有効な因果推論を導出できない可能性があることを示す。 本稿では,実証的リスク最小化法(DEM)を提案する。
  論文  参考訳（メタデータ） (2025-02-10T10:52:17Z)
• Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
  低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。 本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。 低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
  論文  参考訳（メタデータ） (2024-05-28T20:43:53Z)
• Prescribing the Right Remedy: Mitigating Hallucinations in Large Vision-Language Models via Targeted Instruction Tuning [15.156359255401812]
  そこで本研究では,異なるモデルの幻覚特異性に合わせたDFTGという命令データ生成フレームワークを提案する。 幻覚ベンチマークによる実験結果から,本手法で生成した目標命令データの方が,従来よりも幻覚の緩和に有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-16T07:14:32Z)
• Unfamiliar Finetuning Examples Control How Language Models Hallucinate [75.03210107477157]
  大規模な言語モデルは、馴染みのないクエリに直面した時に幻覚化することが知られている。 モデルの微調整データの見慣れない例は、これらのエラーを形作るのに不可欠である。 本研究は,RLファインタニング戦略をさらに研究し,長大なモデル生成の現実性を改善することを目的とする。
  論文  参考訳（メタデータ） (2024-03-08T18:28:13Z)
• Towards Theoretical Understandings of Self-Consuming Generative Models [56.84592466204185]
  本稿では,自己消費ループ内で生成モデルを訓練する新たな課題に取り組む。 我々は,このトレーニングが将来のモデルで学習したデータ分布に与える影響を厳格に評価するための理論的枠組みを構築した。 カーネル密度推定の結果は,混合データトレーニングがエラー伝播に与える影響など,微妙な洞察を与える。
  論文  参考訳（メタデータ） (2024-02-19T02:08:09Z)
• Data Attribution for Diffusion Models: Timestep-induced Bias in Influence Estimation [53.27596811146316]
  拡散モデルは、以前の文脈における瞬間的な入出力関係ではなく、一連のタイムステップで操作する。 本稿では、この時間的ダイナミクスを取り入れた拡散トラクInについて、サンプルの損失勾配ノルムが時間ステップに大きく依存していることを確認する。 そこで我々はDiffusion-ReTracを再正規化適応として導入し、興味のあるサンプルを対象にしたトレーニングサンプルの検索を可能にする。
  論文  参考訳（メタデータ） (2024-01-17T07:58:18Z)
• Delving into Semantic Scale Imbalance [45.30062061215943]
  クラスの特徴的多様性を測定するために使用されるクラスの意味的スケールを定義し,定量化する。 本稿では、一般的な損失改善スキームと動的再重み付けトレーニングフレームワークを含む意味尺度バランス学習を提案する。 総合的な実験により、動的セマンティック・スケール・バランス・ラーニングにより、大規模で長い尾を持つ非長い尾を持つ自然および医学的なデータセットにおいて、モデルが優れたパフォーマンスを発揮することが示されている。
  論文  参考訳（メタデータ） (2022-12-30T09:40:09Z)
• Efficient Causal Inference from Combined Observational and Interventional Data through Causal Reductions [68.6505592770171]
  因果効果を推定する際の主な課題の1つである。 そこで本研究では,任意の数の高次元潜入共創者を置き換える新たな因果還元法を提案する。 パラメータ化縮小モデルを観測データと介入データから共同で推定する学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-03-08T14:29:07Z)
• Bayesian Sampling Bias Correction: Training with the Right Loss Function [0.0]
  我々は、サンプリングバイアスの存在下でモデルを訓練するために損失関数の族を導出する。 例えば、病理の頻度がトレーニングデータセットのサンプリングレートと異なる場合や、マシンラーニングの実践者がトレーニングデータセットを再バランスする場合などだ。
  論文  参考訳（メタデータ） (2020-06-24T15:10:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。