論文の概要: MindScope: Exploring cognitive biases in large language models through Multi-Agent Systems

• arxiv url: http://arxiv.org/abs/2410.04452v1
• Date: Sun, 6 Oct 2024 11:23:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 07:25:54.528092
• Title: MindScope: Exploring cognitive biases in large language models through Multi-Agent Systems
• Title（参考訳）: MindScope: マルチエージェントシステムによる大規模言語モデルにおける認知バイアスの探索
• Authors: Zhentao Xie, Jiabao Zhao, Yilei Wang, Jinxin Shi, Yanhong Bai, Xingjiao Wu, Liang He,
• Abstract要約: 我々は静的要素と動的要素を区別して統合する'MindScope'データセットを紹介した。 静的成分は、72の認知バイアスカテゴリにまたがる5,170のオープンエンド質問からなる。 動的コンポーネントはルールベースのマルチエージェント通信フレームワークを利用して、マルチラウンド対話を生成する。 さらに,検索・拡張生成(RAG),競争的議論,強化学習に基づく意思決定モジュールを組み込んだ多エージェント検出手法を提案する。
• 参考スコア（独自算出の注目度）: 12.245537894266803
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Detecting cognitive biases in large language models (LLMs) is a fascinating task that aims to probe the existing cognitive biases within these models. Current methods for detecting cognitive biases in language models generally suffer from incomplete detection capabilities and a restricted range of detectable bias types. To address this issue, we introduced the 'MindScope' dataset, which distinctively integrates static and dynamic elements. The static component comprises 5,170 open-ended questions spanning 72 cognitive bias categories. The dynamic component leverages a rule-based, multi-agent communication framework to facilitate the generation of multi-round dialogues. This framework is flexible and readily adaptable for various psychological experiments involving LLMs. In addition, we introduce a multi-agent detection method applicable to a wide range of detection tasks, which integrates Retrieval-Augmented Generation (RAG), competitive debate, and a reinforcement learning-based decision module. Demonstrating substantial effectiveness, this method has shown to improve detection accuracy by as much as 35.10% compared to GPT-4. Codes and appendix are available at https://github.com/2279072142/MindScope.
• Abstract（参考訳）: 大きな言語モデル(LLM)における認知バイアスを検出することは、これらのモデル内の既存の認知バイアスを調査することを目的とした魅力的なタスクである。 言語モデルにおける認知バイアスを検出する現在の方法は、一般的に不完全な検出能力と、検出可能なバイアスの種類が制限された範囲に悩まされている。 この問題に対処するため、静的および動的要素を区別して統合する'MindScope'データセットを導入しました。 静的成分は、72の認知バイアスカテゴリにまたがる5,170のオープンエンド質問からなる。 動的コンポーネントはルールベースのマルチエージェント通信フレームワークを利用して、マルチラウンド対話を生成する。 このフレームワークは柔軟性があり、LSMを含む様々な心理的実験に容易に適応できる。 さらに,検索・拡張生成(RAG),競争的議論,強化学習に基づく意思決定モジュールを組み込んだ多エージェント検出手法を提案する。 有効性を実証し、GPT-4と比較して検出精度を最大35.10%向上させることが示されている。 コードと付録はhttps://github.com/2279072142/MindScope.comで入手できる。

関連論文リスト

• Binary Code Similarity Detection via Graph Contrastive Learning on Intermediate Representations [52.34030226129628]
  バイナリコード類似度検出(BCSD)は、脆弱性検出、マルウェア分析、コードの再利用識別など、多くの分野で重要な役割を果たしている。 本稿では,LLVM-IRと高レベルのセマンティック抽象化を利用して,コンパイル差を緩和するIRBinDiffを提案する。 IRBinDiffは1対1の比較と1対多の検索シナリオにおいて,他の主要なBCSD手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-24T09:09:20Z)
• Exploring Conditional Multi-Modal Prompts for Zero-shot HOI Detection [37.57355457749918]
  本稿では,条件付きマルチモーダルプロンプット(CMMP)を用いたゼロショットHOI検出のための新しいフレームワークを提案する。 従来のプロンプト学習法とは異なり,対話性を考慮した視覚特徴抽出のための学習用分離視覚と言語用プロンプトを提案する。 条件付きマルチモーダルプロンプトを用いた検知器の有効性を実験により実証し, 様々なゼロショット設定の未確認クラスにおいて, 先行技術よりも優れていた。
  論文  参考訳（メタデータ） (2024-08-05T14:05:25Z)
• FairMonitor: A Dual-framework for Detecting Stereotypes and Biases in Large Language Models [9.385390205833893]
  大規模言語モデル(LLM)におけるステレオタイプとバイアスの包括的評価のためのFairMonitorフレームワークの提案と静的力学検出手法の適用について述べる。 静的なコンポーネントは、直接調査テスト、暗黙の関連テスト、未知の状況テストで構成され、その中には、9つのセンシティブな要因と26の教育シナリオを含む10,262のオープンエンド質問が含まれている。 我々はマルチエージェントシステムを用いて、より複雑で現実的な環境で微妙なバイアスを検出する動的シナリオを信頼する。
  論文  参考訳（メタデータ） (2024-05-06T01:23:07Z)
• Toward Multi-class Anomaly Detection: Exploring Class-aware Unified Model against Inter-class Interference [67.36605226797887]
  統一型異常検出(MINT-AD)のためのマルチクラスインプリシトニューラル表現変換器を提案する。 マルチクラス分布を学習することにより、モデルが変換器デコーダのクラス対応クエリ埋め込みを生成する。 MINT-ADは、カテゴリと位置情報を特徴埋め込み空間に投影することができ、さらに分類と事前確率損失関数によって監督される。
  論文  参考訳（メタデータ） (2024-03-21T08:08:31Z)
• Secret Collusion among Generative AI Agents [43.468790060808914]
  近年の大規模言語モデル(LLM)では,コミュニケーション生成AIエージェントのグループによる共同作業の解決が試みられている。 これは、未承認の情報共有に関するプライバシーとセキュリティ上の問題を引き起こす。 現代のステガノグラフィー技術は、そのようなダイナミクスを検出しにくくする。
  論文  参考訳（メタデータ） (2024-02-12T09:31:21Z)
• MAgIC: Investigation of Large Language Model Powered Multi-Agent in Cognition, Adaptability, Rationality and Collaboration [102.41118020705876]
  大規模言語モデル(LLM)は自然言語処理の分野で大きな進歩を遂げている。 アプリケーションがマルチエージェント環境に拡張されるにつれ、包括的な評価フレームワークの必要性が高まっている。 この研究は、マルチエージェント設定内でLLMを評価するために特別に設計された新しいベンチマークフレームワークを導入している。
  論文  参考訳（メタデータ） (2023-11-14T21:46:27Z)
• HuntGPT: Integrating Machine Learning-Based Anomaly Detection and Explainable AI with Large Language Models (LLMs) [0.09208007322096533]
  我々はランダムフォレスト分類器を応用した特殊な侵入検知ダッシュボードであるHuntGPTを提案する。 この論文は、Certified Information Security Manager (CISM) Practice Examsを通じて評価された、システムのアーキテクチャ、コンポーネント、技術的正確性について論じている。 その結果、LLMによってサポートされ、XAIと統合された会話エージェントは、侵入検出において堅牢で説明可能な、実行可能なAIソリューションを提供することを示した。
  論文  参考訳（メタデータ） (2023-09-27T20:58:13Z)
• Interactive System-wise Anomaly Detection [66.3766756452743]
  異常検出は様々なアプリケーションにおいて基本的な役割を果たす。 既存のメソッドでは、インスタンスがデータとして容易に観察できないシステムであるシナリオを扱うのが難しい。 システム埋め込みを学習するエンコーダデコーダモジュールを含むエンドツーエンドアプローチを開発する。
  論文  参考訳（メタデータ） (2023-04-21T02:20:24Z)
• Semantic Novelty Detection via Relational Reasoning [17.660958043781154]
  本稿では,関係推論に基づく表現学習パラダイムを提案する。 実験の結果,この知識は様々なシナリオに直接伝達可能であることがわかった。 クローズドセット認識モデルを信頼できるオープンセットに変換するプラグイン・アンド・プレイモジュールとして利用することができる。
  論文  参考訳（メタデータ） (2022-07-18T15:49:27Z)
• Multi-Modal Few-Shot Object Detection with Meta-Learning-Based Cross-Modal Prompting [77.69172089359606]
  本稿では,マルチモーダルな複数ショットオブジェクト検出(FSOD)について,少数ショット視覚例とクラスセマンティック情報の両方を用いて検討する。 我々のアプローチは、(メトリックベース)メタラーニングとプロンプトベースラーニングの高レベルな概念的類似性によって動機付けられている。 提案するマルチモーダルFSODモデルを,複数の複数ショットオブジェクト検出ベンチマークで総合的に評価し,有望な結果を得た。
  論文  参考訳（メタデータ） (2022-04-16T16:45:06Z)
• Discriminative Nearest Neighbor Few-Shot Intent Detection by Transferring Natural Language Inference [150.07326223077405]
  データ不足を緩和するためには、ほとんどショットラーニングが注目を集めている。 深部自己注意を伴う識別的近傍分類を提示する。 自然言語推論モデル(NLI)を変換することで識別能力を高めることを提案する。
  論文  参考訳（メタデータ） (2020-10-25T00:39:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。