論文の概要: Soft Measures for Extracting Causal Collective Intelligence
- arxiv url: http://arxiv.org/abs/2409.18911v1
- Date: Fri, 27 Sep 2024 16:54:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-10-01 07:51:30.141940
- Title: Soft Measures for Extracting Causal Collective Intelligence
- Title(参考訳): 因果情報抽出のためのソフト対策
- Authors: Maryam Berijanian, Spencer Dork, Kuldeep Singh, Michael Riley Millikan, Ashlin Riggs, Aadarsh Swaminathan, Sarah L. Gibbs, Scott E. Friedman, Nathan Brugnone,
- Abstract要約: ファジィ認知マップ(FCM)と呼ばれる方向グラフは、因果精神モデルを符号化するための強力なツールを提供する。
本研究では,大規模言語モデル(LLM)を用いてFCM抽出を自動化する手法を提案する。
グラフに基づく新しい類似度尺度を導入し,その出力と人間の判断を関連づけて評価する。
- 参考スコア(独自算出の注目度): 2.1948331804353223
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding and modeling collective intelligence is essential for addressing complex social systems. Directed graphs called fuzzy cognitive maps (FCMs) offer a powerful tool for encoding causal mental models, but extracting high-integrity FCMs from text is challenging. This study presents an approach using large language models (LLMs) to automate FCM extraction. We introduce novel graph-based similarity measures and evaluate them by correlating their outputs with human judgments through the Elo rating system. Results show positive correlations with human evaluations, but even the best-performing measure exhibits limitations in capturing FCM nuances. Fine-tuning LLMs improves performance, but existing measures still fall short. This study highlights the need for soft similarity measures tailored to FCM extraction, advancing collective intelligence modeling with NLP.
- Abstract(参考訳): 複雑な社会システムに対処するためには、集団知能の理解とモデリングが不可欠である。
ファジィ認知マップ(FCM)と呼ばれる方向グラフは因果精神モデルを符号化する強力なツールを提供するが、テキストから高積分性FCMを抽出することは困難である。
本研究では,大規模言語モデル(LLM)を用いてFCM抽出を自動化する手法を提案する。
本稿では,新しいグラフに基づく類似度尺度を導入し,その出力と人間の判断をElo評価システムを通じて関連付けて評価する。
その結果, 人的評価と正の相関が認められたが, 最高の評価基準でさえFCMニュアンスを捕捉する際の限界を示した。
微調整 LLM の性能は向上するが、既存の対策は依然として不足している。
本研究は、FCM抽出に適したソフトな類似性対策の必要性を強調し、NLPを用いた集団知能モデリングを推進している。
関連論文リスト
- Adaptive Fuzzy C-Means with Graph Embedding [84.47075244116782]
ファジィクラスタリングアルゴリズムは、大まかに2つの主要なグループに分類できる: ファジィC平均法(FCM)と混合モデルに基づく方法。
本稿では,FCMを用いたクラスタリングモデルを提案する。
論文 参考訳(メタデータ) (2024-05-22T08:15:50Z) - Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳(メタデータ) (2024-04-04T15:36:53Z) - HGOT: Hierarchical Graph of Thoughts for Retrieval-Augmented In-Context Learning in Factuality Evaluation [20.178644251662316]
本稿では,文脈内学習における関連する文節の検索を促進するために,階層的思考グラフ(HGOT)を導入する。
このフレームワークは、複雑なクエリを管理可能なサブクエリに分割する、分割/クエリ戦略を採用している。
それは、最近提案された引用リコールと精度の指標を取り入れた、回答の選択のための自己一貫性の過半数投票を洗練する。
論文 参考訳(メタデータ) (2024-02-14T18:41:19Z) - Beyond Task Performance: Evaluating and Reducing the Flaws of Large
Multimodal Models with In-Context Learning [105.77733287326308]
我々は,3Bから80Bパラメータスケールまでの最近のオープンソースLMMを,幻覚,禁忌,構成性,説明可能性,指示に従う5つの異なる軸で評価した。
トレーニングフリーなインコンテキスト学習(ICL)をソリューションとして検討し、それがこれらの制限に与える影響について検討する。
ICL研究に基づき、ICLをさらに推し進め、Multitask-ICL、Chain-of-Hindsight-ICL、Self-Correcting-ICLといった新しい多モードICL変種を提案する。
論文 参考訳(メタデータ) (2023-10-01T12:02:59Z) - A Low-rank Matching Attention based Cross-modal Feature Fusion Method
for Conversational Emotion Recognition [56.20144064187554]
本稿では,会話感情認識(CER)タスクのためのクロスモーダルな特徴融合手法を提案する。
LMAMは、一致重みを設定し、モーダル特徴列間のアテンションスコアを計算することにより、自己注意法よりも少ないパラメータを含む。
LMAMは既存のDLベースのCERメソッドに組み込むことができ、プラグ・アンド・プレイ方式で性能を向上させることができることを示す。
論文 参考訳(メタデータ) (2023-06-16T16:02:44Z) - Discover, Explanation, Improvement: An Automatic Slice Detection
Framework for Natural Language Processing [72.14557106085284]
スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。
本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。
評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
論文 参考訳(メタデータ) (2022-11-08T19:00:00Z) - The m-connecting imset and factorization for ADMG models [10.839217026568784]
非巡回有向混合グラフ(ADMG)モデルはDAGモデルのマージンを特徴づける。
ADMGモデルは、その複雑さと分析のための統計ツールの不足のために、広く使われていない。
我々はADMGによって誘導される独立モデルの代替表現を提供するm-connecting imsetを紹介する。
論文 参考訳(メタデータ) (2022-07-18T22:29:15Z) - Time Series Forecasting Using Fuzzy Cognitive Maps: A Survey [0.0]
ファジィ認知マップ(FCM)は、複雑なシステムの力学をモデル化し解析するためのツールとして、顕著な結果を示している。
FCMはファジィ論理、ニューラルネットワーク、エキスパートシステムの各側面の混合であり、複雑なシステムの動的挙動をシミュレーションし研究するための強力なツールとして機能する。
論文 参考訳(メタデータ) (2022-01-07T02:11:53Z) - SAIS: Supervising and Augmenting Intermediate Steps for Document-Level
Relation Extraction [51.27558374091491]
本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。
そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
論文 参考訳(メタデータ) (2021-09-24T17:37:35Z) - Evolutionary Algorithms for Fuzzy Cognitive Maps [0.0]
ファジィ認知マップ(FCMs)は、近年人気が高まっている複雑なシステムモデリング手法である。
本研究では、FCMの訓練に用いられる遺伝的アルゴリズムをレビューするとともに、FCM学習アルゴリズムの概要を概観する。
論文 参考訳(メタデータ) (2020-12-19T15:17:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。