論文の概要: Small Agent Can Also Rock! Empowering Small Language Models as Hallucination Detector

• arxiv url: http://arxiv.org/abs/2406.11277v1
• Date: Mon, 17 Jun 2024 07:30:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-18 17:54:42.289151
• Title: Small Agent Can Also Rock! Empowering Small Language Models as Hallucination Detector
• Title（参考訳）: 小さなエージェントもロックできる! 幻覚検出器として小さな言語モデルを活用する
• Authors: Xiaoxue Cheng, Junyi Li, Wayne Xin Zhao, Hongzhi Zhang, Fuzheng Zhang, Di Zhang, Kun Gai, Ji-Rong Wen,
• Abstract要約: 幻覚検出は大規模言語モデル(LLM)にとって難しい課題である 本稿では,HluAgentと呼ばれる自律型LLMエージェントフレームワークを提案する。 HaluAgentでは、LLM、多機能ツールボックスを統合し、きめ細かい3段階検出フレームワークを設計する。
• 参考スコア（独自算出の注目度）: 114.88975874411142
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hallucination detection is a challenging task for large language models (LLMs), and existing studies heavily rely on powerful closed-source LLMs such as GPT-4. In this paper, we propose an autonomous LLM-based agent framework, called HaluAgent, which enables relatively smaller LLMs (e.g. Baichuan2-Chat 7B) to actively select suitable tools for detecting multiple hallucination types such as text, code, and mathematical expression. In HaluAgent, we integrate the LLM, multi-functional toolbox, and design a fine-grained three-stage detection framework along with memory mechanism. To facilitate the effectiveness of HaluAgent, we leverage existing Chinese and English datasets to synthesize detection trajectories for fine-tuning, which endows HaluAgent with the capability for bilingual hallucination detection. Extensive experiments demonstrate that only using 2K samples for tuning LLMs, HaluAgent can perform hallucination detection on various types of tasks and datasets, achieving performance comparable to or even higher than GPT-4 without tool enhancements on both in-domain and out-of-domain datasets. We release our dataset and code at https://github.com/RUCAIBox/HaluAgent.
• Abstract（参考訳）: 幻覚検出は大規模言語モデル(LLM)にとって難しい課題であり、既存の研究は GPT-4 のような強力なクローズドソース LLM に大きく依存している。 本稿では,比較的小さなLLM(eg Baichuan2-Chat 7B)を用いて,テキスト,コード,数学的表現などの複数の幻覚型を検出するための適切なツールを積極的に選択する,HaluAgentという自律型LLMベースのエージェントフレームワークを提案する。 HaluAgentでは,LLM,多機能ツールボックスを統合し,メモリ機構とともに微細な3段階検出フレームワークを設計する。 本研究では、HluAgentの有効性を高めるために、既存の中国語と英語のデータセットを活用して、HluAgentにバイリンガル幻覚検出の能力を与える微調整のための検出軌跡を合成する。 大規模な実験では、LLMのチューニングに2Kサンプルのみを使用することで、さまざまなタスクやデータセットに対して幻覚検出を実行し、ドメイン内データセットと外部データセットの両方にツール拡張を加えることなく、GPT-4に匹敵するあるいはそれ以上のパフォーマンスを達成することができる。 私たちはデータセットとコードをhttps://github.com/RUCAIBox/HaluAgent.comでリリースします。

関連論文リスト

• LargePiG: Your Large Language Model is Secretly a Pointer Generator [15.248956952849259]
  本稿では,Large Language Models (LLMs) に基づく問合せ生成による幻覚問題の新しいタイプとして,関連性幻覚と事実性幻覚を導入する。 LLM生成クエリの形式からコンテンツを切り離す効果的な方法を提案し、入力から抽出・統合された事実知識を保存し、LLMの強力な言語機能を用いて関数語を含む構文構造をコンパイルする。
  論文  参考訳（メタデータ） (2024-10-15T07:41:40Z)
• TinyAgent: Function Calling at the Edge [32.174966522801746]
  本稿では,エッジ上でエージェントシステムを駆動するための関数呼び出しが可能なタスク固有小言語モデルエージェントの訓練とデプロイのためのエンドツーエンドフレームワークを提案する。 駆動アプリケーションとして、テキストや音声入力によるユーザコマンドの実行が可能な、AppleのMacBook用のローカルSiriライクなシステムをデモする。
  論文  参考訳（メタデータ） (2024-09-01T04:23:48Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• Enhancing the General Agent Capabilities of Low-Parameter LLMs through Tuning and Multi-Branch Reasoning [56.82041895921434]
  オープンソースの事前訓練された大規模言語モデル(LLM)は、強力な言語理解と生成能力を示す。 現実世界の複雑な問題に対処するエージェントとして使用される場合、ChatGPTやGPT-4のような大型の商用モデルに比べてパフォーマンスははるかに劣る。
  論文  参考訳（メタデータ） (2024-03-29T03:48:12Z)
• Agent-FLAN: Designing Data and Methods of Effective Agent Tuning for Large Language Models [56.00992369295851]
  オープンソースのLarge Language Models(LLM)は、さまざまなNLPタスクで大きな成功を収めていますが、エージェントとして振る舞う場合、それでもAPIベースのモデルよりもはるかに劣っています。 本稿では,(1) エージェント学習コーパスを,(1) エージェント学習データの分布から大きくシフトするエージェント推論と,(2) エージェントタスクが必要とする能力に異なる学習速度を示すエージェント学習コーパスと,(3) 幻覚を導入することでエージェント能力を改善する際の副作用について述べる。 本稿では,エージェントのためのFLANモデルを効果的に構築するためのエージェントFLANを提案する。
  論文  参考訳（メタデータ） (2024-03-19T16:26:10Z)
• More Agents Is All You Need [16.372072265248192]
  単にサンプリング・アンド・投票方式によって,大規模言語モデル(LLM)の性能は,エージェントの数がインスタンス化されるに従ってスケールすることがわかった。
  論文  参考訳（メタデータ） (2024-02-03T05:55:24Z)
• LLMDet: A Third Party Large Language Models Generated Text Detection Tool [119.0952092533317]
  大規模言語モデル(LLM)は、高品質な人間によるテキストに非常に近い。 既存の検出ツールは、機械が生成したテキストと人間によるテキストしか区別できない。 本稿では,モデル固有,セキュア,効率的,拡張可能な検出ツールであるLLMDetを提案する。
  論文  参考訳（メタデータ） (2023-05-24T10:45:16Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。