論文の概要: Hallucination Detection in LLMs: Fast and Memory-Efficient Finetuned Models

• arxiv url: http://arxiv.org/abs/2409.02976v1
• Date: Wed, 4 Sep 2024 13:59:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-09-07 01:16:35.437488
• Title: Hallucination Detection in LLMs: Fast and Memory-Efficient Finetuned Models
• Title（参考訳）: LLMにおける幻覚検出:高速かつメモリ効率の良い微調整モデル
• Authors: Gabriel Y. Arteaga, Thomas B. Schön, Nicolas Pielawski,
• Abstract要約: 大規模言語モデル(LLM)は近年人気が高まっているが、幻覚の対象となっている。 LLMアンサンブルの高速かつメモリフレンドリーな学習を可能にする新しい手法を提案する。 結果として得られるアンサンブルは幻覚を検知でき、訓練や推論に1つのGPUしか必要としないため、現実的なアプローチであることを示す。
• 参考スコア（独自算出の注目度）: 9.093453788480847
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Uncertainty estimation is a necessary component when implementing AI in high-risk settings, such as autonomous cars, medicine, or insurances. Large Language Models (LLMs) have seen a surge in popularity in recent years, but they are subject to hallucinations, which may cause serious harm in high-risk settings. Despite their success, LLMs are expensive to train and run: they need a large amount of computations and memory, preventing the use of ensembling methods in practice. In this work, we present a novel method that allows for fast and memory-friendly training of LLM ensembles. We show that the resulting ensembles can detect hallucinations and are a viable approach in practice as only one GPU is needed for training and inference.
• Abstract（参考訳）: 不確実性推定は、自動運転車や医療、保険といったリスクの高い環境でAIを実装する際に必要となる要素である。 大規模言語モデル(LLM)は近年、人気が高まっているが、幻覚を受けており、リスクの高い環境で深刻な被害を被る可能性がある。 LLMの成功にもかかわらず、トレーニングと実行にはコストがかかり、大量の計算とメモリが必要であり、実際にアンサンブルメソッドを使用するのを防いでいる。 本研究では,LLMアンサンブルの高速かつメモリフレンドリーな学習を可能にする新しい手法を提案する。 結果として得られるアンサンブルは幻覚を検知でき、訓練や推論に1つのGPUしか必要としないため、現実的なアプローチであることを示す。

関連論文リスト

• Hallucination Detox: Sensitive Neuron Dropout (SeND) for Large Language Model Training [7.726825072908519]
  本研究は,幻覚の緩和を目的としたトレーニングプロトコルであるSensitive Neuron Dropout (SeND)を紹介する。 さらに,従来のEigenScoreを2倍の速度で近似する,教師なし幻覚検出尺度であるEfficient EigenScore(EES)を開発した。
  論文  参考訳（メタデータ） (2024-10-20T18:18:23Z)
• Generation Constraint Scaling Can Mitigate Hallucination [29.25122358598193]
  大型言語モデル(LLM)における幻覚は重要な課題である。 メモリ拡張LDMデコーダにおける生成を制約する読み出しベクトルを単純にスケーリングすることで、幻覚の緩和をトレーニング不要な方法で実現できることを実証的に示す。 本手法は、ウィキペディア風のバイオグラフィーエントリを生成するタスクにおいて、最先端のLLM編集方法よりも優れた幾何学的インスピレーションを与える。
  論文  参考訳（メタデータ） (2024-07-23T23:58:19Z)
• LLM Internal States Reveal Hallucination Risk Faced With a Query [62.29558761326031]
  人間は、クエリに直面したとき、私たちが知らないことを認識できる自己認識プロセスを持っています。 本稿では,大規模言語モデルが応答生成に先立って,自身の幻覚リスクを推定できるかどうかを検討する。 確率推定器により, LLM自己評価を利用して, 平均幻覚推定精度84.32%を達成する。
  論文  参考訳（メタデータ） (2024-07-03T17:08:52Z)
• Banishing LLM Hallucinations Requires Rethinking Generalization [2.0155206466638016]
  大きな言語モデル(LLM)は、強力なチャット、コーディング、推論能力にもかかわらず、しばしば幻覚する。 大規模メモリエキスパート(MoME)を付加したLCMは、乱数の大きなデータセットを容易に記憶できることを示す。 われわれの研究結果は、幻覚を除去する第1世代モデル、Lamini-1を設計し、事実を数百万のメモリ専門家の膨大な混在に保存する。
  論文  参考訳（メタデータ） (2024-06-25T15:31:01Z)
• "Sorry, Come Again?" Prompting -- Enhancing Comprehension and Diminishing Hallucination with [PAUSE]-injected Optimal Paraphrasing [10.20632187568563]
  幻覚は現代大言語モデル(LLM)の最も脆弱な側面として現れてきた。 本稿では,LCMの幻覚を避けることを目的としたSCAプロンプトについて紹介する。 本稿では,21のLLMに対するプロンプトの形式性,可読性,具体性について,言語的ニュアンスを詳細に分析する。 与えられたプロンプトの最も理解しやすいパラフレーズを識別する最適なパラフレーズ化手法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T19:45:09Z)
• Large Language Model Distilling Medication Recommendation Model [61.89754499292561]
  大規模言語モデル(LLM)の強力な意味理解と入力非依存特性を利用する。 本研究は, LLMを用いて既存の薬剤推奨手法を変換することを目的としている。 これを軽減するため,LLMの習熟度をよりコンパクトなモデルに伝達する機能レベルの知識蒸留技術を開発した。
  論文  参考訳（メタデータ） (2024-02-05T08:25:22Z)
• InferAligner: Inference-Time Alignment for Harmlessness through Cross-Model Guidance [56.184255657175335]
  我々は,無害アライメントのためのクロスモデルガイダンスを利用する新しい推論時間アライメント手法であるtextbfInferAligner を開発した。 実験結果から,本手法はファイナンス,医学,数学の分野特化モデルに極めて効果的に適用可能であることが示された。 これは有害な命令とジェイルブレイク攻撃の両方のアタック成功率(ASR)を著しく低下させ、下流タスクではほとんど変化のないパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2024-01-20T10:41:03Z)
• Making Harmful Behaviors Unlearnable for Large Language Models [50.44915524846857]
  大規模言語モデル(LLM)は、様々な領域における汎用AIアシスタントとして大きな可能性を示している。 LLMは、暗黙的または明示的な有害な内容を含むことが多いため、有害なアシスタントに容易に微調整できる。 本稿では, 微調整過程において有害な動作を学習不能にする, 制御可能なトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-02T09:18:21Z)
• Halo: Estimation and Reduction of Hallucinations in Open-Source Weak Large Language Models [11.497989461290793]
  大規模言語モデル(LLM)は自然言語処理(NLP)に革命をもたらした パラメータが少ないオープンソースのLCMは、より大きなものに比べて深刻な幻覚に悩まされることが多い。 本稿では,より弱いオープンソース LLM の代表であるBLOOM 7B における幻覚の計測と低減に焦点をあてる。
  論文  参考訳（メタデータ） (2023-08-22T20:12:49Z)
• Cheap and Quick: Efficient Vision-Language Instruction Tuning for Large Language Models [77.2078051555533]
  大規模言語モデル(LLM)の有効なVL適応のための,新規で安価なソリューションを提案する。 画像エンコーダとLLMを接続するために大きなニューラルネットワークを使用する代わりに、MMAは軽量モジュール、すなわちアダプタを採用する。 MMAはまた、LLMがシングルモードとマルチモードの命令を自動シフトするのを助けるルーティングアルゴリズムも備えている。
  論文  参考訳（メタデータ） (2023-05-24T11:06:15Z)
• Contrastive Learning Reduces Hallucination in Conversations [76.55116206021346]
  そこで我々はMixCLという対照的な学習手法を提案する。 LMの暗黙的知識抽出過程を明示的に最適化するために、新しい混合コントラスト目的を提案する。 我々は、MixCLが最先端KBベースのアプローチに匹敵する性能を実現することを示す。
  論文  参考訳（メタデータ） (2022-12-20T16:26:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。