論文の概要: Collective Reasoning Among LLMs A Framework for Answer Validation Without Ground Truth

• arxiv url: http://arxiv.org/abs/2502.20758v1
• Date: Fri, 28 Feb 2025 06:20:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:43:34.865715
• Title: Collective Reasoning Among LLMs A Framework for Answer Validation Without Ground Truth
• Title（参考訳）: LLMの集合的推論 : 根拠のない回答検証のための枠組み
• Authors: Seyed Pouyan Mousavi Davoudi, Alireza Shafiee Fard, Alireza Amiri-Margavi,
• Abstract要約: 本研究では,モデル間のコンセンサスによって応答信頼性が向上し,生成した質問の質を評価するためのプロキシとして機能することを示す。 本稿では、GPT-4-0125-preview、Meta-LLaMA-3-70B-Instruct、Claude-3-Opus、Gemini-1.5-Flashといった複数の大規模言語モデルを用いて、複雑なPhDレベルの確率問題の生成と応答を行う協調フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: We present a collaborative framework where multiple large language models, namely GPT-4-0125-preview, Meta-LLaMA-3-70B-Instruct, Claude-3-Opus, and Gemini-1.5-Flash, work together to generate and respond to complex PhD-level probability questions in the absence of definitive ground truth. This study explores how inter-model consensus enhances response reliability and serves as a proxy for assessing the quality of generated questions. To quantify agreement and consistency, we employ statistical methods including chi-square tests, Fleiss' Kappa, and confidence interval analysis, measuring both response precision and question clarity. Our findings highlight that Claude and Gemini generate well-structured and less ambiguous questions, leading to higher inter-model agreement. This is reflected in their narrower confidence intervals and stronger alignment with answering models. Conversely, LLaMA demonstrates increased variability and lower reliability in question formulation, as indicated by broader confidence intervals and reduced consensus rates. These results suggest that multi-model collaboration not only enhances the reliability of responses but also provides a valuable framework for assessing and improving question quality in the absence of explicit ground truth. This research offers meaningful insights into optimizing AI-driven reasoning through collaborative large-language model interactions.
• Abstract（参考訳）: 本稿では,GPT-4-0125-preview,Meta-LLaMA-3-70B-Instruct,Claude-3-Opus,Gemini-1.5-Flashという複数の大規模言語モデルを用いて,決定的根拠のない複雑なPhDレベルの確率問題の生成と応答を行う協調フレームワークを提案する。 本研究では,モデル間のコンセンサスによって応答信頼性が向上し,生成した質問の質を評価するためのプロキシとして機能することを示す。 整合性と整合性の定量化には, チ二乗検定, フライス・カッパ, 信頼区間解析などの統計的手法を用い, 応答精度と質問明度の両方を測定した。 以上の結果から,Claude と Gemini は構造がよく,曖昧でない質問を発生し,モデル間合意が高くなることが示唆された。 これは、より狭い信頼区間と、応答モデルとのより強い整合性に反映される。 逆にLLaMAは、より広範な信頼区間とコンセンサス率の低下によって示されるように、質問定式化における変数の増加と信頼性の低下を示す。 これらの結果から,マルチモデルコラボレーションは応答の信頼性を高めるだけでなく,明確な根拠のない質問品質の評価と改善のための貴重なフレームワークも提供することが示唆された。 この研究は、協力的な大言語モデルインタラクションによるAI駆動推論の最適化に関する有意義な洞察を提供する。

関連論文リスト

• Aligning Large Language Models for Faithful Integrity Against Opposing Argument [71.33552795870544]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な機能を示している。 原文が正しい場合でも、会話中に不誠実な議論によって容易に誤解される。 本稿では,信頼度と信頼度を両立させる新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-02T16:38:21Z)
• On Adversarial Robustness and Out-of-Distribution Robustness of Large Language Models [0.16874375111244325]
  大規模言語モデル(LLM)における対向ロバストネスとOODロバストネスの相関について検討する。 以上の結果より, 対向ロバスト性とOODロバスト性との間にはニュアンスな相互作用がみられ, 移動性に限界があることが示唆された。 これらの相互作用を、より大きなモデルと様々なアーキテクチャにわたって評価するためには、さらなる研究が必要である。
  論文  参考訳（メタデータ） (2024-12-13T20:04:25Z)
• A NotSo Simple Way to Beat Simple Bench [0.0]
  本稿では,大規模言語モデル(LLM)における推論能力向上のための新しい枠組みを提案する。 モデル精度とロバスト性を改善するために,グローバルな整合性チェックと組み合わせたマルチステッププロンプト戦略を提案する。 クロードは論理的整合性を維持するのに優れ, GPT-4oは探索的創造性を示すが, 曖昧なプロンプトに苦しむ。
  論文  参考訳（メタデータ） (2024-12-12T16:04:31Z)
• Enhancing Answer Reliability Through Inter-Model Consensus of Large Language Models [1.6874375111244329]
  本稿では,複数の大規模言語モデルが複雑なPhDレベルの統計的質問を生成・回答する協調フレームワークを提案する。 本研究は,モデル間のコンセンサスにより応答信頼性が向上し,生成した質問の質が向上することを示す。
  論文  参考訳（メタデータ） (2024-11-25T10:18:17Z)
• Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
  本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。 また,信頼度の高い自己補正(textbfConFix$)も開発した。
  論文  参考訳（メタデータ） (2024-11-20T14:15:18Z)
• Graph-based Confidence Calibration for Large Language Models [22.394717844099684]
  本稿では,信頼度推定モデルを構築するための新しい手法を提案する。 重み付きグラフを用いて、質問に対する大きな言語モデルの応答の一貫性を表現します。 次に、正しい応答の確率を推定するためにグラフニューラルネットワークを訓練する。
  論文  参考訳（メタデータ） (2024-11-03T20:36:44Z)
• The BRAVO Semantic Segmentation Challenge Results in UNCV2024 [68.20197719071436]
  我々は,(1)モデルが様々な摂動にさらされたときの精度とキャリブレーションを反映したセマンティック信頼性,(2)トレーニング中に未知のオブジェクトクラスを検出する能力を測定するOOD信頼性の2つのカテゴリを定義した。 その結果、大規模事前学習と最小限のアーキテクチャ設計が、堅牢で信頼性の高いセマンティックセグメンテーションモデルを開発する上で重要であるという興味深い洞察が浮かび上がっている。
  論文  参考訳（メタデータ） (2024-09-23T15:17:30Z)
• Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
  信頼性・確率アライメントの概念を紹介します。 モデルの内部と信頼感の一致を調査する。 分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
  論文  参考訳（メタデータ） (2024-05-25T15:42:04Z)
• Exchange-of-Thought: Enhancing Large Language Model Capabilities through Cross-Model Communication [76.04373033082948]
  大規模言語モデル(LLM)は、最近、Chain-of-Thoughtテクニックによる複雑な推論タスクにおいて大きな進歩を遂げました。 本稿では,問題解決時のクロスモデル通信を可能にする新しいフレームワークであるExchange-of-Thought (EoT)を提案する。
  論文  参考訳（メタデータ） (2023-12-04T11:53:56Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)
• Trusted Multi-View Classification with Dynamic Evidential Fusion [73.35990456162745]
  信頼型マルチビュー分類(TMC)と呼ばれる新しいマルチビュー分類アルゴリズムを提案する。 TMCは、様々な視点をエビデンスレベルで動的に統合することで、マルチビュー学習のための新しいパラダイムを提供する。 理論的および実験的結果は、精度、堅牢性、信頼性において提案されたモデルの有効性を検証した。
  論文  参考訳（メタデータ） (2022-04-25T03:48:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。