論文の概要: AuditLLM: A Tool for Auditing Large Language Models Using Multiprobe
Approach
- arxiv url: http://arxiv.org/abs/2402.09334v1
- Date: Wed, 14 Feb 2024 17:31:04 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-15 14:20:54.690471
- Title: AuditLLM: A Tool for Auditing Large Language Models Using Multiprobe
Approach
- Title(参考訳): auditllm: multiprobe アプローチによる大規模言語モデルの監査ツール
- Authors: Maryam Amirizaniani, Tanya Roosta, Aman Chadha, Chirag Shah
- Abstract要約: AuditLLMは様々な大規模言語モデルの性能を体系的に評価する新しいツールである。
合理的に堅牢で、信頼性があり、一貫性のあるLCMは、質問に対して意味的に類似した応答を出力すべきである。
あるレベルの矛盾が潜在的なバイアス、幻覚、その他の問題の指標であることが示されている。
- 参考スコア(独自算出の注目度): 10.133328312573724
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: As Large Language Models (LLMs) gain wider adoption in various contexts, it
becomes crucial to ensure they are reasonably safe, consistent, and reliable
for an application at hand. This may require probing or auditing them. Probing
LLMs with varied iterations of a single question could reveal potential
inconsistencies in their knowledge or functionality. However, a tool for
performing such audits with simple workflow and low technical threshold is
lacking. In this demo, we introduce "AuditLLM," a novel tool designed to
evaluate the performance of various LLMs in a methodical way. AuditLLM's core
functionality lies in its ability to test a given LLM by auditing it using
multiple probes generated from a single question, thereby identifying any
inconsistencies in the model's understanding or operation. A reasonably robust,
reliable, and consistent LLM should output semantically similar responses for a
question asked differently or by different people. Based on this assumption,
AuditLLM produces easily interpretable results regarding the LLM's
consistencies from a single question that the user enters. A certain level of
inconsistency has been shown to be an indicator of potential bias,
hallucinations, and other issues. One could then use the output of AuditLLM to
further investigate issues with the aforementioned LLM. To facilitate
demonstration and practical uses, AuditLLM offers two key modes: (1) Live mode
which allows instant auditing of LLMs by analyzing responses to real-time
queries; (2) Batch mode which facilitates comprehensive LLM auditing by
processing multiple queries at once for in-depth analysis. This tool is
beneficial for both researchers and general users, as it enhances our
understanding of LLMs' capabilities in generating responses, using a
standardized auditing platform.
- Abstract(参考訳): 大規模言語モデル(llm)がさまざまな状況で広く採用されるようになるにつれ、アプリケーションの安全性、一貫性、信頼性を確保することが重要になります。
調査や監査が必要かもしれない。
一つの質問の繰り返しの異なる LLM を求めると、その知識や機能の潜在的な矛盾が明らかになる。
しかし、単純なワークフローと低い技術閾値で監査を行うツールは欠落している。
本稿では,様々なLLMの性能を体系的に評価する新しいツールであるAuditLLMを紹介する。
AuditLLMのコア機能は、1つの質問から生成された複数のプローブを使って監査することで、与えられたLLMをテストする能力にある。
合理的に堅牢で信頼性があり、一貫性のあるllmは、質問に対して意味的に類似した応答を出力すべきである。
この仮定に基づいて、AuditLLM はユーザが入力した単一の質問から LLM の相補性について簡単に解釈可能な結果を生成する。
あるレベルの矛盾は潜在的なバイアス、幻覚、その他の問題の指標であることが示されている。
次に AuditLLM の出力を使用して、前述の LLM の問題をさらに調査することができる。
AuditLLM は,実時間クエリに対する応答を解析して LLM の即時監査を可能にするライブモードと,複数のクエリを同時に処理して詳細な分析を行う包括的 LLM 監査を容易にするバッチモードの2つのキーモードを提供する。
このツールは,標準監査プラットフォームを用いて,LLMの応答生成能力の理解を深めるため,研究者と一般ユーザ双方にとって有益である。
関連論文リスト
- Automated Commit Message Generation with Large Language Models: An Empirical Study and Beyond [24.151927600694066]
コミットメッセージ生成(CMG)アプローチは、与えられたコード差分に基づいてコミットメッセージを自動的に生成することを目的としている。
本稿では,Large Language Models (LLMs) を用いて高品質なコミットメッセージの生成にどの程度の期間を費やしてきたかを調べるための,最初の包括的な実験を行う。
論文 参考訳(メタデータ) (2024-04-23T08:24:43Z) - Are More LLM Calls All You Need? Towards Scaling Laws of Compound
Inference Systems [80.54551166283805]
本研究では,Large Language Model (LLM) の呼び出し回数が1層投票システムの性能に与える影響について検討する。
この非単調性は,タスク内の問合せの難しさの多様性に起因すると考えられる。
論文 参考訳(メタデータ) (2024-03-04T19:12:48Z) - Benchmarking LLMs on the Semantic Overlap Summarization Task [9.656095701778975]
本稿では,セマンティック・オーバーラップ・サマリゼーション(SOS)タスクにおいて,Large Language Models (LLM) を包括的に評価する。
本稿では, ROUGE, BERTscore, SEM-F1$などの定評ある指標を, 2種類の代替物語のデータセット上で報告する。
論文 参考訳(メタデータ) (2024-02-26T20:33:50Z) - Developing a Framework for Auditing Large Language Models Using
Human-in-the-Loop [8.159685593135407]
例えば、バイアス、矛盾、幻覚などがある。
有効な方法は、同じ質問の異なるバージョンを用いてLLMを探索することである。
この監査方法を大規模に運用するには、これらのプローブを確実かつ自動的に作成するためのアプローチが必要である。
論文 参考訳(メタデータ) (2024-02-14T17:49:31Z) - Efficient Tool Use with Chain-of-Abstraction Reasoning [65.18096363216574]
大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。
マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。
マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-30T21:53:30Z) - Small LLMs Are Weak Tool Learners: A Multi-LLM Agent [73.54562551341454]
大規模言語モデル(LLM)エージェントはスタンドアロンのLLMの機能を大幅に拡張する。
本稿では、上記の機能をプランナー、呼び出し元、要約器に分解する新しい手法を提案する。
このモジュール化されたフレームワークは、個々の更新と、それぞれの機能を構築するための小さなLLMの潜在的な使用を容易にする。
論文 参考訳(メタデータ) (2024-01-14T16:17:07Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - MINT: Evaluating LLMs in Multi-turn Interaction with Tools and Language
Feedback [78.60644407028022]
我々は,大規模言語モデルのマルチターンインタラクションによる課題解決能力を評価するベンチマークであるMINTを紹介する。
LLMは一般的に、ツールと言語フィードバックの恩恵を受けます。
LLMの評価、教師あり指導ファインタニング(SIFT)、人間からのフィードバックからの強化学習(RLHF)は、一般的にマルチターン能力を損なう。
論文 参考訳(メタデータ) (2023-09-19T15:25:42Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。