論文の概要: DebUnc: Mitigating Hallucinations in Large Language Model Agent Communication with Uncertainty Estimations

• arxiv url: http://arxiv.org/abs/2407.06426v1
• Date: Mon, 8 Jul 2024 22:15:01 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-10 19:44:58.194659
• Title: DebUnc: Mitigating Hallucinations in Large Language Model Agent Communication with Uncertainty Estimations
• Title（参考訳）: DebUnc:不確かさ推定を用いた大規模言語モデルエージェントコミュニケーションにおける幻覚の軽減
• Authors: Luke Yoffe, Alfonso Amayuelas, William Yang Wang,
• Abstract要約: DebUncは、不確実性メトリクスを使用してエージェントの信頼性レベルを評価するマルチエージェントの議論フレームワークである。 我々は、信頼度に基づいてトークン重量を調整するために注意機構を適用した。 評価の結果,注意に基づく手法は特に有効であることが示唆された。
• 参考スコア（独自算出の注目度）: 52.242449026151846
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: To enhance Large Language Model (LLM) capabilities, multi-agent debates have been introduced, where multiple LLMs discuss solutions to a problem over several rounds of debate. However, LLMs often produce incorrect responses that appear deceptively confident, which can mislead other agents. This is partly because agents do not express their confidence levels during standard debates. To address this, we introduce DebUnc, a multi-agent debate framework that uses uncertainty metrics to assess agent confidence levels. We adapted the LLM attention mechanism to adjust token weights based on confidence levels and also explored using textual prompts to convey confidence. Our evaluations across various benchmarks show that attention-based methods are particularly effective, and that as uncertainty metrics evolve, performance will continue to increase. The code is available at https://github.com/lukeyoffe/debunc
• Abstract（参考訳）: LLM(Large Language Model)の能力を高めるために、複数のLLMがいくつかの議論で問題に対する解決策について議論するマルチエージェントの議論が導入されている。 しかし、LSMは誤った反応を生じさせ、他の薬剤を誤解させる恐れがある。 これは、エージェントが標準討論中に信頼レベルを表現していないためである。 これを解決するために,不確実性指標を用いてエージェント信頼度を評価するマルチエージェント討論フレームワークであるDebUncを紹介する。 LLMの注意機構を信頼性レベルに基づくトークン重み調整に応用し,信頼度を伝達するためのテキストプロンプトを用いた検討を行った。 各種ベンチマークを用いて評価した結果,注意に基づく手法は特に有効であり,不確実性指標が進化するにつれて,性能が向上し続けることが示唆された。 コードはhttps://github.com/lukeyoffe/debuncで入手できる。

関連論文リスト

• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• Towards Uncertainty-Aware Language Agent [10.227089771963943]
  不確実性認識言語エージェント(Uncertainty-Aware Language Agent, UALA)は、不確実性定量化を用いてエージェントと外部世界の相互作用を編成するフレームワークである。 我々の実験では、UALAは、外部世界への依存度を著しく低くしながら、パフォーマンスを大幅に改善することを示した。
  論文  参考訳（メタデータ） (2024-01-25T08:48:21Z)
• Should we be going MAD? A Look at Multi-Agent Debate Strategies for LLMs [7.7433783185451075]
  コスト、時間、正確性の間のトレードオフを探るため、さまざまな議論と戦略をベンチマークします。 マルチエージェントの議論システムは、現在の形式では、他の提案されたプロンプト戦略を確実に上回っているわけではない。 これらの結果に基づいて、エージェント合意レベルの調整など、議論戦略の改善に関する洞察を提供する。
  論文  参考訳（メタデータ） (2023-11-29T05:54:41Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• AgentBench: Evaluating LLMs as Agents [88.45506148281379]
  大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。 我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
  論文  参考訳（メタデータ） (2023-08-07T16:08:11Z)
• Generating with Confidence: Uncertainty Quantification for Black-box Large Language Models [37.63939774027709]
  自然言語生成(NLG)に特化した大規模言語モデル(LLM)が,最近,有望な機能を示すようになった。 我々は、信頼できない結果が無視されるか、さらなる評価のために得られるような、選択的なNLG*に適用し、いくつかの信頼/不確実性対策を提案し、比較する。 その結果, セマンティックな分散の簡易な測定は, LLM応答の質の信頼性を予測できることがわかった。
  論文  参考訳（メタデータ） (2023-05-30T16:31:26Z)
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.89346248535922]
  複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。 我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
  論文  参考訳（メタデータ） (2023-05-30T15:25:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。