論文の概要: The Curious Case of Factuality Finetuning: Models' Internal Beliefs Can Improve Factuality
- arxiv url: http://arxiv.org/abs/2507.08371v1
- Date: Fri, 11 Jul 2025 07:34:34 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-14 18:03:54.278692
- Title: The Curious Case of Factuality Finetuning: Models' Internal Beliefs Can Improve Factuality
- Title（参考訳）: ファクチュアリティ・ファクチュアニング:モデルの内部信念はファクチュアリティを改善できる
- Authors: Benjamin Newman, Abhilasha Ravichander, Jaehun Jung, Rui Xin, Hamish Ivison, Yegor Kuznetsov, Pang Wei Koh, Yejin Choi,
- Abstract要約: 本研究では, ファインタニングデータの事実性と, 長期的な生成課題における幻覚の有病率との関係について検討する。
実際の金のデータの微調整は、モデルが事実であると信じているモデル生成データの微調整ほど役に立たない。
- 参考スコア（独自算出の注目度）: 47.61600392927893
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models are prone to hallucination - generating text that is factually incorrect. Finetuning models on high-quality factual information can potentially reduce hallucination, but concerns remain; obtaining factual gold data can be expensive and training on correct but unfamiliar data may potentially lead to even more downstream hallucination. What data should practitioners finetune on to mitigate hallucinations in language models? In this work, we study the relationship between the factuality of finetuning data and the prevalence of hallucinations in long-form generation tasks. Counterintuitively, we find that finetuning on factual gold data is not as helpful as finetuning on model-generated data that models believe to be factual. Next, we evaluate filtering strategies applied on both factual gold data and model-generated data, and find that finetuning on model-generated data that is filtered by models' own internal judgments often leads to better overall factuality compared to other configurations: training on gold data filtered by models' judgments, training on gold data alone, or training on model-generated data that is supported by gold data. These factuality improvements transfer across three domains we study, suggesting that a models' own beliefs can provide a powerful signal for factuality.
- Abstract（参考訳）: 言語モデルは幻覚を起こす傾向がある - 事実的に間違っているテキストを生成する。
高品質の事実情報に関する微調整モデルは幻覚を減少させる可能性があるが、懸念は残る: 事実データを取得することは高価であり、正しいトレーニングを行うことができるが、不慣れなデータはさらに下流の幻覚に繋がる可能性がある。
言語モデルにおける幻覚を軽減するために、実践者はどんなデータを精査すべきだろうか?
本研究では,ファインタニングデータの事実性と,長期的生成タスクにおける幻覚の有病率との関係について検討する。
直感的に言えば、実際の金データに対する微調整は、モデルが事実であると信じているモデル生成データに対する微調整ほど役に立たない。
次に、実際の金データとモデル生成データの両方に適用したフィルタリング戦略を評価し、モデル内部の判断によってフィルタリングされるモデル生成データに対する微調整が、モデル内部の判断によってフィルタリングされるゴールドデータのトレーニング、ゴールドデータ単独でのトレーニング、またはゴールドデータによって支持されるモデル生成データのトレーニングなど、他の構成に比べて、より全体的な事実性の向上につながることが判明した。
これらの事実性の改善は、我々が研究している3つの領域にまたがって伝達し、モデル自身の信念が事実性に対する強力なシグナルをもたらすことを示唆している。
関連論文リスト
- The Delta Learning Hypothesis: Preference Tuning on Weak Data can Yield Strong Gains [50.66245575710432]
個々のデータポイントからなるペアの嗜好データにより、個々のデータポイントの強度を超える利得が得られることを示す。
私たちの研究は、モデルが一般的に弱いと考えられるペアデータから驚くほどうまく学習できることを示しています。
論文 参考訳（メタデータ） (2025-07-08T17:14:44Z) - Exploring the Knowledge Mismatch Hypothesis: Hallucination Propensity in Small Models Fine-tuned on Data from Larger Models [0.1227734309612871]
より大型のモデルからのデータを持つ微調整言語モデルは類似しているように見えるが、より大型のモデルよりも幻覚を呈することが多い。
1つの仮説は、より大きなモデルによって生成されたデータ上でモデルを微調整すると、幻覚に寄与する知識のミスマッチにつながるというものである。
未確認テストセットでは、より大きなモデルから生成されたデータに基づいて微調整された小さなモデルの方が、小さなモデルによって生成されたデータに基づいて微調整されたモデルと比較して、より間違った回答を得られることを示す。
論文 参考訳（メタデータ） (2024-10-31T13:01:46Z) - Transcendence: Generative Models Can Outperform The Experts That Train Them [55.885802048647655]
生成モデルがデータを生成する専門家の能力を超える能力を達成するとき、超越現象を研究する。
我々は,自動回帰変換器をトレーニングして,ゲームスクリプティングからチェスを学習し,トレーニングされたモデルが,データセットのすべてのプレイヤーよりも優れたパフォーマンスが得られることを示す。
論文 参考訳（メタデータ） (2024-06-17T17:00:52Z) - Beyond Model Collapse: Scaling Up with Synthesized Data Requires Verification [11.6055501181235]
モデル崩壊防止のための合成データに対する検証手法について検討する。
検証器は、たとえ不完全なものであっても、モデル崩壊を防ぐために実際に活用できることが示される。
論文 参考訳（メタデータ） (2024-06-11T17:46:16Z) - Low-rank finetuning for LLMs: A fairness perspective [54.13240282850982]
低ランク近似技術は、微調整された大規模言語モデルのデファクトスタンダードとなっている。
本稿では,これらの手法が初期訓練済みデータ分布から微調整データセットのシフトを捉える上での有効性について検討する。
低ランク微調整は好ましくない偏見や有害な振る舞いを必然的に保存することを示す。
論文 参考訳（メタデータ） (2024-05-28T20:43:53Z) - Mind the Gap Between Synthetic and Real: Utilizing Transfer Learning to Probe the Boundaries of Stable Diffusion Generated Data [2.6016285265085526]
学生モデルは、実際のデータで訓練されたモデルと比較して、精度が著しく低下している。
実データまたは合成データを用いてこれらのレイヤをトレーニングすることにより、ドロップが主にモデルの最終的なレイヤに由来することを明らかにする。
この結果から,実際のトレーニングデータの量とモデルの精度とのトレードオフの改善が示唆された。
論文 参考訳（メタデータ） (2024-05-06T07:51:13Z) - Unfamiliar Finetuning Examples Control How Language Models Hallucinate [75.03210107477157]
大規模な言語モデルは、馴染みのないクエリに直面した時に幻覚化することが知られている。
モデルの微調整データの見慣れない例は、これらのエラーを形作るのに不可欠である。
本研究は,RLファインタニング戦略をさらに研究し,長大なモデル生成の現実性を改善することを目的とする。
論文 参考訳（メタデータ） (2024-03-08T18:28:13Z) - Calibrated Language Models Must Hallucinate [11.891340760198798]
最近の言語モデルでは、驚くほどの頻度で、偽のもっとも可聴なテキストを生成する。
この研究は、事前訓練された言語モデルがある種の事実を幻覚させる速度に固有の統計的下限が存在することを示している。
訓練データから真偽を判断できない「任意」事実に対して, 幻覚は言語モデルに対して一定の速度で発生しなければならないことを示す。
論文 参考訳（メタデータ） (2023-11-24T18:29:50Z) - Orthogonal Uncertainty Representation of Data Manifold for Robust
Long-Tailed Learning [52.021899899683675]
長い尾の分布を持つシナリオでは、尾のサンプルが不足しているため、モデルが尾のクラスを識別する能力は制限される。
モデルロバストネスの長期的現象を改善するために,特徴埋め込みの直交不確実性表現(OUR)とエンドツーエンドのトレーニング戦略を提案する。
論文 参考訳（メタデータ） (2023-10-16T05:50:34Z) - On the Stability of Iterative Retraining of Generative Models on their own Data [56.153542044045224]
混合データセットに対する生成モデルの訓練が与える影響について検討する。
まず、初期生成モデルがデータ分布を十分に近似する条件下で反復学習の安定性を実証する。
我々は、正規化フローと最先端拡散モデルを繰り返し訓練することにより、合成画像と自然画像の両方に関する我々の理論を実証的に検証する。
論文 参考訳（メタデータ） (2023-09-30T16:41:04Z) - Overwriting Pretrained Bias with Finetuning Data [36.050345384273655]
目的タスクと機密属性の相互関係を概念化した場合のバイアスや,データセット内の特定のグループを過小評価する場合のバイアスについて検討する。
事前訓練されたモデルの上に微調整されたモデルは、実際にそれらのバイアスを継承できるが、(2)このバイアスは、比較的小さな介入によって修正できる。
その結果、下流タスクのバイアスを軽減するためには、微調整データセットの慎重なキュレーションが重要であることが示唆され、事前訓練されたモデルのバイアスを補うこともできる。
論文 参考訳（メタデータ） (2023-03-10T19:10:58Z) - Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。
これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。
パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
論文 参考訳（メタデータ） (2022-12-19T20:46:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。