論文の概要: Exploring the Knowledge Mismatch Hypothesis: Hallucination Propensity in Small Models Fine-tuned on Data from Larger Models

• arxiv url: http://arxiv.org/abs/2411.00878v1
• Date: Thu, 31 Oct 2024 13:01:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:50:25.899635
• Title: Exploring the Knowledge Mismatch Hypothesis: Hallucination Propensity in Small Models Fine-tuned on Data from Larger Models
• Title（参考訳）: 知識ミスマッチ仮説の探求:より大規模なモデルからのデータに基づく小モデルにおける幻覚確率
• Authors: Phil Wee, Riyadh Baghdadi,
• Abstract要約: より大型のモデルからのデータを持つ微調整言語モデルは類似しているように見えるが、より大型のモデルよりも幻覚を呈することが多い。 1つの仮説は、より大きなモデルによって生成されたデータ上でモデルを微調整すると、幻覚に寄与する知識のミスマッチにつながるというものである。 未確認テストセットでは、より大きなモデルから生成されたデータに基づいて微調整された小さなモデルの方が、小さなモデルによって生成されたデータに基づいて微調整されたモデルと比較して、より間違った回答を得られることを示す。
• 参考スコア（独自算出の注目度）: 0.1227734309612871
• License:
• Abstract: Recently, there has been an explosion of large language models created through fine-tuning with data from larger models. These small models able to produce outputs that appear qualitatively similar to significantly larger models. However, one of the key limitations that have been observed with these models is their propensity to hallucinate significantly more often than larger models. In particular, they have been observed to generate coherent outputs that involve factually incorrect information and spread misinformation, toxicity, and stereotypes. There are many potential causes of hallucination, of which, one hypothesis is that fine-tuning a model on data produced by a larger model leads to a knowledge mismatch which contributes to hallucination. In particular, it is hypothesized that there is a mismatch between the knowledge that is fed to the model to fine-tune it and the knowledge that is already present in the graph. Fine-tuning the model on data that has such mismatch could contribute to an increased propensity to hallucinate. We show that on an unseen test set, a smaller model fine-tuned on data generated from a larger model produced more wrong answers when compared to models fine-tuned on data created by the small model, which confirms the hypothesis.
• Abstract（参考訳）: 近年,大規模モデルのデータを微調整することで,大規模言語モデルが爆発的に出現している。 これらの小さなモデルは、かなり大きなモデルと質的に類似した出力を生成することができる。 しかし、これらのモデルで観測された重要な制限の1つは、より大きなモデルよりもはるかに頻繁に幻覚を起こさせる確率である。 特に、事実的に誤った情報を含むコヒーレントな出力を生成し、誤情報、毒性、ステレオタイプを広げることが観察されている。 幻覚の潜在的な原因は多数あるが、一つの仮説は、より大きなモデルによって生成されたデータに基づいてモデルを微調整すると、幻覚に寄与する知識ミスマッチにつながるというものである。 特に、それを微調整するためにモデルに供給される知識と、既にグラフに存在している知識との間にはミスマッチがあるという仮説が立てられている。 このようなミスマッチを持つデータ上でモデルを微調整することで、幻覚の確率が増大する可能性がある。 未確認のテストセットでは、より大きなモデルから生成されたデータに基づいて微調整された小さなモデルの方が、小さなモデルによって生成されたデータに基づいて微調整されたモデルと比較して、より間違った解を得た。

関連論文リスト

• Strong Model Collapse [16.071600606637908]
  本稿では,モデル崩壊現象の強い形態が存在することを示す。 以上の結果から,最小の合成データであっても,モデル崩壊につながる可能性が示唆された。 大規模言語モデルの学習における現在の傾向に沿ったアプローチであるモデルサイズの増加が,モデル崩壊を悪化させるか緩和させるかを検討する。
  論文  参考訳（メタデータ） (2024-10-07T08:54:23Z)
• Graphical Modelling without Independence Assumptions for Uncentered Data [0.30723404270319693]
  ゼロ平均仮定がモデリングにおいて過度な誤りを引き起こすことを示す。 具体的には,そのような誤りを回避できるゼロ平均仮定の緩和を提案する。
  論文  参考訳（メタデータ） (2024-08-05T11:40:23Z)
• Knowledge Overshadowing Causes Amalgamated Hallucination in Large Language Models [65.32990889402927]
  「我々はこの現象を知識の誇張として造る。」 その結果, 幻覚率の増大は, 不均衡比と支配的条件記述の長さに左右されることがわかった。 本稿では,その発生前に幻覚をキャッチするための信号として,オーバーシェーディング条件を用いることを提案する。
  論文  参考訳（メタデータ） (2024-07-10T20:37:42Z)
• Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data [49.73114504515852]
  各世代の合成データによって元の実データを置き換えることは、モデル崩壊の傾向にあることを示す。 生成した実データと連続する合成データの蓄積は,モデル崩壊を回避することを実証する。
  論文  参考訳（メタデータ） (2024-04-01T18:31:24Z)
• Unfamiliar Finetuning Examples Control How Language Models Hallucinate [75.03210107477157]
  大規模な言語モデルは、馴染みのないクエリに直面した時に幻覚化することが知られている。 モデルの微調整データの見慣れない例は、これらのエラーを形作るのに不可欠である。 本研究は,RLファインタニング戦略をさらに研究し,長大なモデル生成の現実性を改善することを目的とする。
  論文  参考訳（メタデータ） (2024-03-08T18:28:13Z)
• Analyzing Bias in Diffusion-based Face Generation Models [75.80072686374564]
  拡散モデルは、合成データ生成と画像編集アプリケーションでますます人気がある。 本研究では, 性別, 人種, 年齢などの属性に関して, 拡散型顔生成モデルにおけるバイアスの存在について検討する。 本研究は,GAN(Generative Adversarial Network)とGAN(Generative Adversarial Network)をベースとした顔生成モデルにおいて,データセットサイズが属性組成および知覚品質に与える影響について検討する。
  論文  参考訳（メタデータ） (2023-05-10T18:22:31Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• Causal discovery for observational sciences using supervised machine learning [1.6631602844999722]
  因果推論は因果効果を推定することができるが、データが実験的に収集されない限り、統計分析は事前に特定された因果モデルに依存する必要がある。 いくつかの正しい方法は既に存在するが、通常はより小さなサンプルで苦労する。 ほとんどの手法は、非常にスパースな因果モデルに焦点をあてるが、これは必ずしも現実的なデータ生成機構の現実的な表現ではないかもしれない。 本稿では,これら3つの欠点に対処する新たな因果発見手法を提案する。
  論文  参考訳（メタデータ） (2022-02-25T16:44:00Z)
• Predicting on the Edge: Identifying Where a Larger Model Does Better [61.793778186198864]
  小型モデルが最も不確実な例では,大規模モデルが最も改善されていることを示す。 小型モデルが不確実な場合,サンプルを大モデルにデフェクトするスイッチャーモデルにより,性能と資源利用の大幅な向上が達成できることを示す。
  論文  参考訳（メタデータ） (2022-02-15T18:53:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。