論文の概要: Soft Measures for Extracting Causal Collective Intelligence

• arxiv url: http://arxiv.org/abs/2409.18911v1
• Date: Fri, 27 Sep 2024 16:54:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-10-01 07:51:30.141940
• Title: Soft Measures for Extracting Causal Collective Intelligence
• Title（参考訳）: 因果情報抽出のためのソフト対策
• Authors: Maryam Berijanian, Spencer Dork, Kuldeep Singh, Michael Riley Millikan, Ashlin Riggs, Aadarsh Swaminathan, Sarah L. Gibbs, Scott E. Friedman, Nathan Brugnone,
• Abstract要約: ファジィ認知マップ(FCM)と呼ばれる方向グラフは、因果精神モデルを符号化するための強力なツールを提供する。 本研究では,大規模言語モデル(LLM)を用いてFCM抽出を自動化する手法を提案する。 グラフに基づく新しい類似度尺度を導入し,その出力と人間の判断を関連づけて評価する。
• 参考スコア（独自算出の注目度）: 2.1948331804353223
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Understanding and modeling collective intelligence is essential for addressing complex social systems. Directed graphs called fuzzy cognitive maps (FCMs) offer a powerful tool for encoding causal mental models, but extracting high-integrity FCMs from text is challenging. This study presents an approach using large language models (LLMs) to automate FCM extraction. We introduce novel graph-based similarity measures and evaluate them by correlating their outputs with human judgments through the Elo rating system. Results show positive correlations with human evaluations, but even the best-performing measure exhibits limitations in capturing FCM nuances. Fine-tuning LLMs improves performance, but existing measures still fall short. This study highlights the need for soft similarity measures tailored to FCM extraction, advancing collective intelligence modeling with NLP.
• Abstract（参考訳）: 複雑な社会システムに対処するためには、集団知能の理解とモデリングが不可欠である。 ファジィ認知マップ(FCM)と呼ばれる方向グラフは因果精神モデルを符号化する強力なツールを提供するが、テキストから高積分性FCMを抽出することは困難である。 本研究では,大規模言語モデル(LLM)を用いてFCM抽出を自動化する手法を提案する。 本稿では,新しいグラフに基づく類似度尺度を導入し,その出力と人間の判断をElo評価システムを通じて関連付けて評価する。 その結果, 人的評価と正の相関が認められたが, 最高の評価基準でさえFCMニュアンスを捕捉する際の限界を示した。 微調整 LLM の性能は向上するが、既存の対策は依然として不足している。 本研究は、FCM抽出に適したソフトな類似性対策の必要性を強調し、NLPを用いた集団知能モデリングを推進している。

関連論文リスト

• Automatic Evaluation for Text-to-image Generation: Task-decomposed Framework, Distilled Training, and Meta-evaluation Benchmark [62.58869921806019]
  GPT-4oに基づくタスク分解評価フレームワークを提案し、新しいトレーニングデータセットを自動構築する。 我々は、GPT-4oの評価能力を7BオープンソースMLLM、MiniCPM-V-2.6に効果的に蒸留するための革新的なトレーニング戦略を設計する。 実験結果から,我々の蒸留したオープンソースMLLMは,現在のGPT-4oベースラインよりも有意に優れていた。
  論文  参考訳（メタデータ） (2024-11-23T08:06:06Z)
• THaMES: An End-to-End Tool for Hallucination Mitigation and Evaluation in Large Language Models [0.0]
  事実的に誤ったコンテンツの生成である幻覚は、大規模言語モデルにおいてますます困難になっている。 本稿では,このギャップに対処する統合フレームワークとライブラリであるTHaMESを紹介する。 THaMES は LLM における幻覚の評価と緩和のためのエンドツーエンドのソリューションを提供する。
  論文  参考訳（メタデータ） (2024-09-17T16:55:25Z)
• A Gradient Analysis Framework for Rewarding Good and Penalizing Bad Examples in Language Models [63.949883238901414]
  本稿では,損失関数の勾配解析の特異な角度について述べる。 ExMATEはMLEの優れたサロゲートであり,DPOとMLEの代わりにExMATEを組み合わせることで,統計的(5-7%)と生成的(+18%)の性能が向上することがわかった。
  論文  参考訳（メタデータ） (2024-08-29T17:46:18Z)
• MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
  大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。 本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。 メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
  論文  参考訳（メタデータ） (2024-06-20T03:50:23Z)
• Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
  本稿では,新しい評価手法SQC-Scoreを提案する。 主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。 3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
  論文  参考訳（メタデータ） (2024-04-04T15:36:53Z)
• HGOT: Hierarchical Graph of Thoughts for Retrieval-Augmented In-Context Learning in Factuality Evaluation [20.178644251662316]
  本稿では,文脈内学習における関連する文節の検索を促進するために,階層的思考グラフ(HGOT)を導入する。 このフレームワークは、複雑なクエリを管理可能なサブクエリに分割する、分割/クエリ戦略を採用している。 それは、最近提案された引用リコールと精度の指標を取り入れた、回答の選択のための自己一貫性の過半数投票を洗練する。
  論文  参考訳（メタデータ） (2024-02-14T18:41:19Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• The m-connecting imset and factorization for ADMG models [10.839217026568784]
  非巡回有向混合グラフ(ADMG)モデルはDAGモデルのマージンを特徴づける。 ADMGモデルは、その複雑さと分析のための統計ツールの不足のために、広く使われていない。 我々はADMGによって誘導される独立モデルの代替表現を提供するm-connecting imsetを紹介する。
  論文  参考訳（メタデータ） (2022-07-18T22:29:15Z)
• Time Series Forecasting Using Fuzzy Cognitive Maps: A Survey [0.0]
  ファジィ認知マップ(FCM)は、複雑なシステムの力学をモデル化し解析するためのツールとして、顕著な結果を示している。 FCMはファジィ論理、ニューラルネットワーク、エキスパートシステムの各側面の混合であり、複雑なシステムの動的挙動をシミュレーションし研究するための強力なツールとして機能する。
  論文  参考訳（メタデータ） (2022-01-07T02:11:53Z)
• SAIS: Supervising and Augmenting Intermediate Steps for Document-Level Relation Extraction [51.27558374091491]
  本稿では,関係抽出のための中間ステップ(SAIS)を監督し,拡張することにより,関連コンテキストやエンティティタイプをキャプチャするモデルを明示的に教えることを提案する。 そこで本提案手法は,より効果的な管理を行うため,より優れた品質の関係を抽出するだけでなく,それに対応する証拠をより正確に抽出する。
  論文  参考訳（メタデータ） (2021-09-24T17:37:35Z)
• Evolutionary Algorithms for Fuzzy Cognitive Maps [0.0]
  ファジィ認知マップ(FCMs)は、近年人気が高まっている複雑なシステムモデリング手法である。 本研究では、FCMの訓練に用いられる遺伝的アルゴリズムをレビューするとともに、FCM学習アルゴリズムの概要を概観する。
  論文  参考訳（メタデータ） (2020-12-19T15:17:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。