論文の概要: Teaching Language Models to Hallucinate Less with Synthetic Tasks

• arxiv url: http://arxiv.org/abs/2310.06827v2
• Date: Tue, 31 Oct 2023 16:41:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 22:25:46.633415
• Title: Teaching Language Models to Hallucinate Less with Synthetic Tasks
• Title（参考訳）: 合成タスクでより少ない幻覚を与えるための言語モデルを教える
• Authors: Erik Jones, Hamid Palangi, Clarisse Sim\~oes, Varun Chandrasekaran, Subhabrata Mukherjee, Arindam Mitra, Ahmed Awadallah, Ece Kamar
• Abstract要約: 大きな言語モデル(LLM)は抽象的な要約タスクにしばしば幻覚を与える。 合成タスクにおける幻覚の低減は、現実世界の下流タスクにおける幻覚の低減にも寄与することを示す。
• 参考スコア（独自算出の注目度）: 47.87453655902263
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) frequently hallucinate on abstractive summarization tasks such as document-based question-answering, meeting summarization, and clinical report generation, even though all necessary information is included in context. However, optimizing LLMs to hallucinate less on these tasks is challenging, as hallucination is hard to efficiently evaluate at each optimization step. In this work, we show that reducing hallucination on a synthetic task can also reduce hallucination on real-world downstream tasks. Our method, SynTra, first designs a synthetic task where hallucinations are easy to elicit and measure. It next optimizes the LLM's system message via prefix-tuning on the synthetic task, and finally transfers the system message to realistic, hard-to-optimize tasks. Across three realistic abstractive summarization tasks, SynTra reduces hallucination for two 13B-parameter LLMs using only a synthetic retrieval task for supervision. We also find that optimizing the system message rather than the model weights can be critical; fine-tuning the entire model on the synthetic task can counterintuitively increase hallucination. Overall, SynTra demonstrates that the extra flexibility of working with synthetic data can help mitigate undesired behaviors in practice.
• Abstract（参考訳）: 大規模言語モデル(llm)は、すべての必要な情報がコンテキストに含まれるにもかかわらず、文書ベースの質問応答、ミーティングの要約、臨床レポート生成などの抽象的な要約タスクをしばしば紹介する。 しかし、各最適化ステップにおいて幻覚を効果的に評価することは困難であるため、これらのタスクの割礼を減らすためのllmの最適化は困難である。 本研究では,合成作業における幻覚の低減が,現実世界の下流作業における幻覚の低減につながることを示す。 提案手法であるsyntraは, 幻覚の誘発と測定が容易な合成タスクを最初に設計する。 次に、合成タスクのプレフィックスチューニングを通じてllmのシステムメッセージを最適化し、最終的にシステムメッセージを現実的な最適化タスクに転送する。 3つの現実的な抽象的要約タスクの中で、SynTraは2つの13BパラメータLLMに対する幻覚を減らす。 また,モデル重みよりもシステムメッセージの最適化が重要であり,モデル全体を合成タスクで微調整することは幻覚を直観的に増加させる可能性がある。 全体としてsyntraは、合成データを扱う余分な柔軟性が、実際には望ましくない振る舞いを軽減できることを実証している。

関連論文リスト

• Investigating the Role of Prompting and External Tools in Hallucination Rates of Large Language Models [0.0]
  LLM(Large Language Models)は、人間の可読テキストの広範なコーパスに基づいて訓練された強力な計算モデルであり、汎用的な言語理解と生成を可能にする。 これらの成功にもかかわらず、LLMは幻覚と呼ばれる不正確さをしばしば生み出す。 本稿では,LLMにおける幻覚の低減を目的とした,異なるプロンプト戦略とフレームワークの実証評価を行う。
  論文  参考訳（メタデータ） (2024-10-25T08:34:53Z)
• FG-PRM: Fine-grained Hallucination Detection and Mitigation in Language Model Mathematical Reasoning [10.709365940160685]
  既存のアプローチは、主に幻覚の存在を検知するが、それらのタイプや表現の微妙な理解は欠如している。 数学的推論タスクにおける一般的な幻覚を6つのタイプに分類する包括的分類法を導入する。 次に,FG-PRM(FG-PRM)を提案する。
  論文  参考訳（メタデータ） (2024-10-08T19:25:26Z)
• ANAH-v2: Scaling Analytical Hallucination Annotation of Large Language Models [65.12177400764506]
  大規模言語モデル (LLM) は、様々な領域や広範囲のアプリケーションにまたがる、長い形式の質問応答タスクにおいて幻覚を示す。 現在の幻覚検出と緩和データセットはドメインやサイズによって制限されている。 本稿では,幻覚アノテーションデータセットを同時に,段階的にスケールアップする反復的自己学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-05T17:56:38Z)
• Alleviating Hallucinations in Large Vision-Language Models through Hallucination-Induced Optimization [123.54980913741828]
  大規模ビジュアル言語モデル(LVLM)は、マルチモーダルデータの理解において、例外的な能力を示した。 彼らは必然的に幻覚に悩まされ、生成されたテキストと対応するイメージを切断する。 現在の視覚的コントラスト復号法のほとんどは、視覚的不確実性情報を導入して幻覚を緩和しようとするものである。 しかし、彼らは幻覚トークンを正確に誘導するのに苦労し、幻覚を緩和する効果を著しく制限した。
  論文  参考訳（メタデータ） (2024-05-24T08:46:31Z)
• Detecting and Mitigating Hallucination in Large Vision Language Models via Fine-Grained AI Feedback [48.065569871444275]
  我々は,LVLM(Large Vision Language Models)における幻覚の検出と緩和について,きめ細かいAIフィードバックを用いて提案する。 プロプライエタリモデルによる小型幻覚アノテーションデータセットを生成する。 そこで本研究では,幻覚緩和モデルの訓練のための選好データセットを自動構築する検出テーマ書き換えパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-04-22T14:46:10Z)
• Don't Believe Everything You Read: Enhancing Summarization Interpretability through Automatic Identification of Hallucinations in Large Language Models [0.0]
  本稿では,幻覚に対するLarge Language Models (LLM) の振る舞いを深く掘り下げる。 異なる種類の幻覚を識別するためのトークンレベルのアプローチを定義し、さらにトークンレベルのタグ付けを活用してLLMの解釈可能性と忠実性を改善する。
  論文  参考訳（メタデータ） (2023-12-22T00:31:46Z)
• ORES: Open-vocabulary Responsible Visual Synthesis [104.7572323359984]
  我々は、新しいタスクであるオープン語彙対応視覚合成(ORES)を定式化し、そこで合成モデルは、禁止された視覚概念を避けることができる。 この問題に対処するため,我々はTIN(Two-stage Intervention)フレームワークを提案する。 1)大規模言語モデル(LLM)による学習可能な命令による書き直し,2)拡散モデルへの迅速な介入による合成を行うことで,概念を避けながら可能な限りユーザのクエリに従うイメージを効果的に合成することができる。
  論文  参考訳（メタデータ） (2023-08-26T06:47:34Z)
• ContraNeRF: Generalizable Neural Radiance Fields for Synthetic-to-real Novel View Synthesis via Contrastive Learning [102.46382882098847]
  まず,合成から現実への新規な視点合成における合成データの影響について検討した。 本稿では,幾何制約を伴う多視点一貫した特徴を学習するために,幾何対応のコントラスト学習を導入することを提案する。 提案手法は,PSNR,SSIM,LPIPSの点で,既存の一般化可能な新規ビュー合成手法よりも高い画質で精細な画像を描画することができる。
  論文  参考訳（メタデータ） (2023-03-20T12:06:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。