論文の概要: Aligning Large Language Models to Follow Instructions and Hallucinate Less via Effective Data Filtering

• arxiv url: http://arxiv.org/abs/2502.07340v1
• Date: Tue, 11 Feb 2025 08:05:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-12 14:10:13.937115
• Title: Aligning Large Language Models to Follow Instructions and Hallucinate Less via Effective Data Filtering
• Title（参考訳）: 大規模言語モデルによる効果的なデータフィルタリングによる指示の追従と幻覚の低減
• Authors: Shuzheng Si, Haozhe Zhao, Gang Chen, Cheng Gao, Yuzhuo Bai, Zhitong Wang, Kaikai An, Kangyang Luo, Chen Qian, Fanchao Qi, Baobao Chang, Maosong Sun,
• Abstract要約: LLMの訓練は、訓練の段階において、馴染みのない知識を含むデータに基づいて、LLMを過度に信頼し、幻覚を奨励することができる。 幻覚を減らすためのLLMの学習知識とよく一致した高品質なデータを識別する新しいフレームワークであるNOVAを導入する。
• 参考スコア（独自算出の注目度）: 66.5524727179286
• License:
• Abstract: Training LLMs on data that contains unfamiliar knowledge during the instruction tuning stage can make LLMs overconfident and encourage hallucinations. To address this challenge, we introduce a novel framework, NOVA, which identifies high-quality data that aligns well with the LLM's learned knowledge to reduce hallucinations. NOVA includes Internal Consistency Probing (ICP) and Semantic Equivalence Identification (SEI) to measure how familiar the LLM is with instruction data. Specifically, ICP evaluates the LLM's understanding of the given instruction by calculating the tailored consistency among multiple self-generated responses. SEI further assesses the familiarity of the LLM with the target response by comparing it to the generated responses, using the proposed semantic clustering and well-designed voting strategy. Finally, we introduce an expert-aligned reward model, considering characteristics beyond just familiarity to enhance data quality. By considering data quality and avoiding unfamiliar data, we can utilize the selected data to effectively align LLMs to follow instructions and hallucinate less. Extensive experiments and analysis show that NOVA significantly reduces hallucinations and allows LLMs to maintain a strong ability to follow instructions.
• Abstract（参考訳）: LLMの訓練は、訓練の段階において、馴染みのない知識を含むデータに基づいて、LLMを過度に信頼し、幻覚を奨励することができる。 この課題に対処するために,幻覚を減らすためのLLMの学習知識と整合した高品質なデータを特定する新しいフレームワークであるNOVAを導入する。 NOVAには内部一貫性探索(ICP)とセマンティック等価同定(SEI)が含まれており、命令データとLLMがどの程度親しみやすいかを測定する。 具体的には、ICPは、複数の自己生成応答の調整された一貫性を計算することにより、与えられた命令に対するLLMの理解を評価する。 SEIは、提案したセマンティッククラスタリングとよく設計された投票戦略を用いて、LLMとターゲット応答との親和性をさらに評価する。 最後に,データ品質向上のため,慣れ親しみ以上の特徴を考慮し,専門家による報酬モデルを導入する。 データの品質を考慮し、不慣れなデータを避けることで、選択したデータを利用して、LSMを効果的に調整し、指示に従い、幻覚を少なくすることができる。 大規模な実験と分析により、NOVAは幻覚を著しく減らし、LSMが指示に従う強力な能力を維持できることが示されている。

関連論文リスト

• Ingest-And-Ground: Dispelling Hallucinations from Continually-Pretrained LLMs with RAG [2.7972592976232833]
  プライバシ固有の知識ベースでベースLLMモデルを継続的に事前トレーニングし、セマンティックRAGレイヤで拡張します。 提案手法は,プライバシ関連クエリの処理において,モデル性能を向上することを示す。
  論文  参考訳（メタデータ） (2024-09-30T20:32:29Z)
• FLAME: Factuality-Aware Alignment for Large Language Models [86.76336610282401]
  従来のアライメントプロセスでは,大規模言語モデル(LLM)の事実精度が向上しない。 両段階の幻覚につながる要因は,教師付き微調整(SFT)と強化学習(RL)である。 直接選好最適化により,事実認識型SFTと事実認識型RLで構成された事実認識型アライメントを提案する。
  論文  参考訳（メタデータ） (2024-05-02T17:54:54Z)
• OPDAI at SemEval-2024 Task 6: Small LLMs can Accelerate Hallucination Detection with Weakly Supervised Data [1.3981625092173873]
  本稿では,LLMの幻覚検出システムについて述べる。 SemEval-2024 Task 6のモデル非依存トラックで2位を獲得した。
  論文  参考訳（メタデータ） (2024-02-20T11:01:39Z)
• Mitigating Large Language Model Hallucinations via Autonomous Knowledge Graph-based Retrofitting [51.7049140329611]
  本稿では,知識グラフに基づくリトロフィッティング(KGR)を提案する。 実験により,実QAベンチマークにおいて,KGRはLLMの性能を大幅に向上できることが示された。
  論文  参考訳（メタデータ） (2023-11-22T11:08:38Z)
• Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
  トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。 我々は「反射チューニング」と呼ばれる新しい手法を提案する。 このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
  論文  参考訳（メタデータ） (2023-10-18T05:13:47Z)
• Interpreting Learned Feedback Patterns in Large Language Models [11.601799960959214]
  我々は、微調整言語モデルのアクティベーションにおいて暗黙的にフィードバック信号を推定するプローブを訓練する。 これらの推定値を真のフィードバックと比較し、LFPの精度を微調整フィードバックと比較する。 我々は、GPT-4が記述し、LFPに関連するものとして分類する特徴に対して、正のフィードバック入力と相関する神経特徴を比較して、プローブを検証する。
  論文  参考訳（メタデータ） (2023-10-12T09:36:03Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。