論文の概要: Is There No Such Thing as a Bad Question? H4R: HalluciBot For Ratiocination, Rewriting, Ranking, and Routing

• arxiv url: http://arxiv.org/abs/2404.12535v3
• Date: Mon, 16 Dec 2024 02:35:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-17 13:53:22.022388
• Title: Is There No Such Thing as a Bad Question? H4R: HalluciBot For Ratiocination, Rewriting, Ranking, and Routing
• Title（参考訳）: H4R:HaluciBot for Ratiocination, Rewriting, Ranking, Routing
• Authors: William Watson, Nicole Cho, Nishan Srishankar,
• Abstract要約: 提案するHaluciBotは,クエリが生成前に幻覚する確率を推定するモデルである。 HalluciBotは、クエリ書き換えのためのプロキシ報酬モデルとして機能する。 複数質問に対して95.7%の出力精度が得られることを示す。
• 参考スコア（独自算出の注目度）: 2.5661357661971778
• License:
• Abstract: Hallucination continues to be one of the most critical challenges in the institutional adoption journey of Large Language Models (LLMs). While prior studies have primarily focused on the post-generation analysis and refinement of outputs, this paper centers on the effectiveness of queries in eliciting accurate responses from LLMs. We present HalluciBot, a model that estimates the query's propensity to hallucinate before generation, without invoking any LLMs during inference. HalluciBot can serve as a proxy reward model for query rewriting, offering a general framework to estimate query quality based on accuracy and consensus. In essence, HalluciBot investigates how poorly constructed queries can lead to erroneous outputs - moreover, by employing query rewriting guided by HalluciBot's empirical estimates, we demonstrate that 95.7% output accuracy can be achieved for Multiple Choice questions. The training procedure for HalluciBot consists of perturbing 369,837 queries n times, employing n+1 independent LLM agents, sampling an output from each query, conducting a Multi-Agent Monte Carlo simulation on the sampled outputs, and training an encoder classifier. The idea of perturbation is the outcome of our ablation studies that measures the increase in output diversity (+12.5 agreement spread) by perturbing a query in lexically different but semantically similar ways. Therefore, HalluciBot paves the way to ratiocinate (76.0% test F1 score, 46.6% in saved computation on hallucinatory queries), rewrite (+30.2% positive class transition from hallucinatory to non-hallucinatory), rank (+50.6% positive class transition from hallucinatory to non-hallucinatory), and route queries to effective pipelines.
• Abstract（参考訳）: 幻覚は、LLM(Large Language Models)の制度導入における最も重要な課題の1つであり続けている。 先行研究は,出力のポストジェネレーション分析と改善に重点を置いているが,本論文では,LCMからの正確な応答を抽出するクエリの有効性に着目した。 提案するHaluciBotは,クエリの正当性を推定して生成前に幻覚を発生させるモデルである。 HalluciBotは、クエリ書き換えのためのプロキシ報酬モデルとして機能し、正確性とコンセンサスに基づいてクエリ品質を見積もる一般的なフレームワークを提供する。 さらに,HaluciBotの実証的な推定値によって導かれるクエリ書き換えを用いて,複数の選択質問に対して95.7%の出力精度が得られることを示した。 HalluciBotのトレーニング手順は、369,837のクエリをn回摂動し、n+1の独立したLCMエージェントを使用し、各クエリから出力をサンプリングし、サンプル出力に対してマルチエージェントモンテカルロシミュレーションを実行し、エンコーダ分類器を訓練する。 摂動の考え方は、語彙的に異なるが意味的に類似した方法でクエリを摂動することで、出力の多様性(+12.5の合意)の増加を測定するアブレーション研究の結果である。 したがって、HaluciBotは比例接種方法(76.0%のテストF1スコア、46.6%の幻覚的クエリの保存計算)、書き直し(+30.2%の正のクラス遷移から非幻覚への正のクラス遷移)、ランク(+50.6%の正のクラス遷移から非幻覚への正のクラス遷移)、クエリーを効果的なパイプラインにルーティングする。

関連論文リスト

• Cost-Effective Hallucination Detection for LLMs [11.58436181159839]
  大規模な言語モデル(LLM)は幻覚を起こす傾向があり、入力、外部事実、あるいは内部的矛盾に反する信頼できない出力を生成する。 幻覚検出のためのパイプラインでは,まず,生成した回答が幻覚である可能性を示す信頼スコアを生成し,第2に,入力の属性と候補応答に基づいてスコア条件を調整し,第3に,スコアを閾値付けして検出を行う。
  論文  参考訳（メタデータ） (2024-07-31T08:19:06Z)
• Hallucination Detection: Robustly Discerning Reliable Answers in Large Language Models [70.19081534515371]
  大規模言語モデル(LLM)は様々な自然言語処理タスクで広く採用されている。 それらは、入力源から逸脱する不信または矛盾したコンテンツを生成し、深刻な結果をもたらす。 本稿では,LLMの生成した回答の幻覚を効果的に検出するために,RelDという頑健な識別器を提案する。
  論文  参考訳（メタデータ） (2024-07-04T18:47:42Z)
• Detecting Hallucination and Coverage Errors in Retrieval Augmented Generation for Controversial Topics [16.874364446070967]
  我々は,ウィキペディアのニュートラル・ポイント・オブ・ビュー(NPOV)の原則に基づいて,LLMベースのチャットボットで議論を呼んでいるトピックを扱うための戦略を探る。 決定論的検索システムを用いて、本手法のテキスト生成中に発生する一般的なLCM障害モード、すなわち幻覚とカバレッジエラーに焦点を当てる。 本手法は, 幻覚 (84.0%) とカバレッジエラー (85.2%) の検出において, 良好な結果が得られた。
  論文  参考訳（メタデータ） (2024-03-13T18:47:00Z)
• Benchmarking Hallucination in Large Language Models based on Unanswerable Math Word Problem [58.3723958800254]
  大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて非常に効果的である。 それらは幻覚と呼ばれる曖昧な文脈で信頼できない予想を生じさせる可能性がある。 本稿では,不問答語問題(MWP)に基づく質問回答(QA)におけるLLM幻覚評価手法を提案する。
  論文  参考訳（メタデータ） (2024-03-06T09:06:34Z)
• HypoTermQA: Hypothetical Terms Dataset for Benchmarking Hallucination Tendency of LLMs [0.0]
  幻覚は、大規模言語モデル(LLM)の信頼性と整合性に重大な課題をもたらす 本稿では,LLMの幻覚傾向のベンチマークと効率的な幻覚検出を組み合わせた,スケーラブルな自動フレームワークを提案する。 フレームワークはドメインに依存しないため、任意のドメインでのベンチマーク作成や評価に任意の言語モデルを使用することができる。
  論文  参考訳（メタデータ） (2024-02-25T22:23:37Z)
• "Knowing When You Don't Know": A Multilingual Relevance Assessment Dataset for Robust Retrieval-Augmented Generation [90.09260023184932]
  Retrieval-Augmented Generation (RAG) は、外部の知識源を活用して、事実の幻覚を減らすことで、Large Language Model (LLM) を出力する。 NoMIRACLは18言語にまたがるRAGにおけるLDM堅牢性を評価するための人為的アノテーション付きデータセットである。 本研究は,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Halucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sorucination rate</i>,<i>Sr。
  論文  参考訳（メタデータ） (2023-12-18T17:18:04Z)
• Chainpoll: A high efficacy method for LLM hallucination detection [0.0]
  そこで我々はChainPollという幻覚検出手法を紹介した。 我々はまた、最近の研究から幻覚検出指標を評価するためのベンチマークデータセットの洗練されたコレクションであるRealHallも公開した。
  論文  参考訳（メタデータ） (2023-10-22T14:45:14Z)
• ReEval: Automatic Hallucination Evaluation for Retrieval-Augmented Large Language Models via Transferable Adversarial Attacks [91.55895047448249]
  本稿では,LLMベースのフレームワークであるReEvalについて述べる。 本稿では、ChatGPTを用いてReEvalを実装し、2つの人気のあるオープンドメインQAデータセットのバリエーションを評価する。 我々の生成したデータは人間可読であり、大きな言語モデルで幻覚を引き起こすのに役立ちます。
  論文  参考訳（メタデータ） (2023-10-19T06:37:32Z)
• Listen Attentively, and Spell Once: Whole Sentence Generation via a Non-Autoregressive Architecture for Low-Latency Speech Recognition [66.47000813920619]
  我々はLASOと呼ばれる非自己回帰型エンドツーエンド音声認識システムを提案する。 非自己回帰性のため、LASOは他のトークンに依存することなくシーケンス内のテキストトークンを予測する。 我々は,中国における公開データセットAISHELL-1の実験を行った。
  論文  参考訳（メタデータ） (2020-05-11T04:45:02Z)
• Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
  因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。 本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
  論文  参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。