論文の概要: Honest AI: Fine-Tuning "Small" Language Models to Say "I Don't Know", and Reducing Hallucination in RAG

• arxiv url: http://arxiv.org/abs/2410.09699v1
• Date: Sun, 13 Oct 2024 02:34:47 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-30 08:36:49.248913
• Title: Honest AI: Fine-Tuning "Small" Language Models to Say "I Don't Know", and Reducing Hallucination in RAG
• Title（参考訳）: 正直なAI:「私は知らない」と言うための微調整された"small"言語モデルとRAGにおける幻覚の低減
• Authors: Xinxi Chen, Li Wang, Wei Wu, Qi Tang, Yiyao Liu,
• Abstract要約: 幻覚は、Large Language Models (LLM) の応用における重要な障害である 私たちは、幻覚を減らすために「私は知らない」と言うために「小さな」言語モデルを微調整する新しい戦略であるHonest AIを提案する。
• 参考スコア（独自算出の注目度）: 6.326488286636623
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination is a key roadblock for applications of Large Language Models (LLMs), particularly for enterprise applications that are sensitive to information accuracy. To address this issue, two general approaches have been explored: Retrieval-Augmented Generation (RAG) to supply LLMs with updated information as context, and fine-tuning the LLMs with new information and desired output styles. In this paper, we propose Honest AI: a novel strategy to fine-tune "small" language models to say "I don't know" to reduce hallucination, along with several alternative RAG approaches. The solution ranked 1st in Task 2 for the false premise question. The alternative approaches include using RAG with search engine and knowledge graph results, fine-tuning base LLMs with new information and combinations of both approaches. Although all approaches improve the performance of the LLMs, RAG alone does not significantly improve the performance and fine-tuning is needed for better results. Finally, the hybrid approach achieved the highest score in the CRAG benchmark. In addition, our approach emphasizes the use of relatively small models with fewer than 10 billion parameters, promoting resource efficiency.
• Abstract（参考訳）: 幻覚は、特に情報精度に敏感なエンタープライズアプリケーションにとって、LLM(Large Language Models)のアプリケーションにとって重要な障害である。 この問題に対処するため、2つの一般的なアプローチが検討されている: 検索-拡張生成(RAG)は、更新された情報をコンテキストとしてLLMに供給し、新しい情報と所望の出力スタイルでLLMを微調整する。 本稿では,Honest AIを提案する。Honest AI: "小"言語モデルを微調整し,幻覚を減らすために"I don't know"と言う新たな戦略と,いくつかの代替的なRAGアプローチを提案する。 この解決策は、虚偽の前提問題に関して、第2タスクで第1位にランクインした。 もう一つのアプローチは、検索エンジンと知識グラフによるRAGの使用、新しい情報と両方のアプローチの組み合わせによる微調整ベースLLMである。 いずれのアプローチもLCMの性能は向上するが、RAGだけでは性能は向上せず、より優れた結果を得るためには微調整が必要である。 最後に、ハイブリッドアプローチはCRAGベンチマークで最高点を達成した。 さらに,本手法では,パラメータが100億未満の比較的小さなモデルを使用することが強調され,資源効率が向上する。

関連論文リスト

• Automated Text Scoring in the Age of Generative AI for the GPU-poor [49.1574468325115]
  自動テキストスコアリングのためのオープンソースの小規模生成言語モデルの性能と効率を解析する。 以上の結果から, GLMは, 最先端の高性能化には至らず, 適正な調整が可能であることが示唆された。
  論文  参考訳（メタデータ） (2024-07-02T01:17:01Z)
• Self-Exploring Language Models: Active Preference Elicitation for Online Alignment [88.56809269990625]
  本研究では, 分布域外領域を積極的に探索するために, 潜在的に高次応答に対して楽観的に偏りを呈する2段階的客観性を提案する。 実験の結果,Zephyr-7B-SFTとLlama-3-8B-Instructモデルで微調整した場合,SELM(Self-Exploring Language Models)は命令追従ベンチマークの性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-05-29T17:59:07Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Prompt Perturbation in Retrieval-Augmented Generation based Large Language Models [9.688626139309013]
  Retrieval-Augmented Generationは、大規模言語モデルからテキスト生成の信頼性を向上させる手段として考えられている。 本研究では,プロンプトに短い接頭辞を挿入しても,実際の正解から遠く離れたアウトプットを生成することを発見した。 グラディエントガイドプロンプト摂動法(Gradient Guided Prompt Perturbation)と呼ばれる新しい最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-02-11T12:25:41Z)
• ExaRanker-Open: Synthetic Explanation for IR using Open-Source LLMs [60.81649785463651]
  ExaRanker-Openを導入し、オープンソース言語モデルを適用して、説明を生成する。 以上の結果から,LLMのサイズが大きくなるにつれて,説明の組み込みが神経ランク付けを継続的に促進することが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-09T11:23:14Z)
• Joint Contextual Modeling for ASR Correction and Language Understanding [60.230013453699975]
  言語理解(LU)と協調してASR出力の文脈的言語補正を行うマルチタスクニューラルアプローチを提案する。 そこで本研究では,市販のASRおよびLUシステムの誤差率を,少量のドメイン内データを用いてトレーニングしたジョイントモデルと比較して14%削減できることを示した。
  論文  参考訳（メタデータ） (2020-01-28T22:09:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。