論文の概要: Collective Reasoning Among LLMs: A Framework for Answer Validation Without Ground Truth

• arxiv url: http://arxiv.org/abs/2502.20758v2
• Date: Fri, 27 Jun 2025 03:53:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-30 15:06:57.85494
• Title: Collective Reasoning Among LLMs: A Framework for Answer Validation Without Ground Truth
• Title（参考訳）: LLMの集合推論: 根拠のない回答検証のためのフレームワーク
• Authors: Seyed Pouyan Mousavi Davoudi, Amin Gholami Davodi, Alireza Amiri-Margavi, Mahdi Jafari,
• Abstract要約: いくつかの先進的な大規模言語モデルが複雑で博士レベルの確率問題を生成・解き出す新しいアプローチを導入する。 本研究は, 多様なモデル間の合意が, アウトプットの信頼性を如何に示すかに焦点を当てる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: We introduce a new approach in which several advanced large language models-specifically GPT-4-0125-preview, Meta-LLAMA-3-70B-Instruct, Claude-3-Opus, and Gemini-1.5-Flash-collaborate to both produce and answer intricate, doctoral-level probability problems without relying on any single "correct" reference. Rather than depending on an established ground truth, our investigation focuses on how agreement among diverse models can signal the reliability of their outputs and, by extension, reflect the overall quality of the generated questions. To measure this inter-model alignment, we apply a suite of statistical evaluations, including chi-square tests, Fleiss' Kappa coefficients, and confidence interval calculations, thereby capturing both precision in answers and clarity in question phrasing. Our analysis reveals that Claude and Gemini tend to frame questions more coherently and unambiguously, which is evidenced by their tighter confidence intervals and greater concordance with responding agents. In contrast, LLAMA exhibits wider confidence bands and a lower level of agreement, indicating more variability and reduced consistency in its question formulations. These observations support the notion that a multi-model collaborative strategy not only improves answer dependability but also offers an effective, data-driven mechanism for evaluating and refining question quality when no definitive solution exists. Ultimately, this work delivers actionable insights into enhancing AI-guided reasoning processes through coordinated interactions among heterogeneous language models.
• Abstract（参考訳）: そこで我々は,GPT-4-0125-preview, Meta-LLAMA-3-70B-Instruct, Claude-3-Opus, Gemini-1.5-Flash-Collaborate といった先進的な大規模言語モデルを用いて,1つの「正しい」参照に頼らずに複雑で博士レベルの確率問題を生成・解答する手法を提案する。 本研究は, 確立された基礎的事実に頼るのではなく, 多様なモデル間の合意が, アウトプットの信頼性をいかに示しているか, および, 拡張によって, 生成した質問の全体的な品質を反映するかに注目した。 このモデル間のアライメントを測定するために, カイ二乗検定, フライスのカッパ係数, 信頼区間計算などの統計的評価を施し, 回答の精度と質問文の明瞭度を両立させる。 分析の結果, クロードとジェミニは, より厳密で曖昧な質問を, より厳密な信頼区間と応答するエージェントとの一致により, より厳密で曖昧な質問を列挙する傾向にあることがわかった。 対照的に、LAMAはより広範な信頼バンドと低い同意レベルを示し、質問の定式化においてより多様性と一貫性の低下を示す。 これらの観察は、多モデル協調戦略が回答の信頼性を向上するだけでなく、決定的な解決策が存在しない場合に質問品質を評価し、精査するための効果的なデータ駆動メカニズムを提供するという考えを支持している。 最終的にこの研究は、異種言語モデル間の協調的な相互作用を通じて、AI誘導推論プロセスの強化に関する実用的な洞察を提供する。

関連論文リスト

• Firm or Fickle? Evaluating Large Language Models Consistency in Sequential Interactions [8.069858557211132]
  大きな言語モデル(LLM)は、様々なタスクにまたがって顕著な能力を示していますが、高い領域への展開には、複数のインタラクションラウンドで一貫したパフォーマンスが必要です。 本稿では,LLM応答整合性の評価と改善のための総合的なフレームワークを紹介し,その3つの重要な貢献について述べる。
  論文  参考訳（メタデータ） (2025-03-28T11:49:56Z)
• RECSIP: REpeated Clustering of Scores Improving the Precision [0.0]
  本稿では,repeated Clustering of Scores Improving the Precision (RECSIP)を紹介する。 RECSIPは大規模言語モデル(LLM)の精度向上に重点を置いており、複数のモデルを並列に問い合わせ、応答のスコア付けとクラスタ化を行い、応答に対する信頼性を高める。 GPT-4o, Claude, Gemini モデルを用いたベンチマーク MMLU-Pro による基準実装の評価では, 使用済みモデルと比較して総合的に5.8% の増加が見られた。
  論文  参考訳（メタデータ） (2025-03-15T12:36:32Z)
• Enhancing LLM Reliability via Explicit Knowledge Boundary Modeling [48.15636223774418]
  大きな言語モデル(LLM)は、不一致の自己認識のためにしばしば幻覚する。 既存のアプローチは、不確実性推定やクエリの拒否を通じて幻覚を緩和する。 高速かつ低速な推論システムを統合するための明示的知識境界モデリングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-03-04T03:16:02Z)
• Aligning Large Language Models for Faithful Integrity Against Opposing Argument [71.33552795870544]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な機能を示している。 原文が正しい場合でも、会話中に不誠実な議論によって容易に誤解される。 本稿では,信頼度と信頼度を両立させる新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-02T16:38:21Z)
• On Adversarial Robustness and Out-of-Distribution Robustness of Large Language Models [0.16874375111244325]
  大規模言語モデル(LLM)における対向ロバストネスとOODロバストネスの相関について検討する。 以上の結果より, 対向ロバスト性とOODロバスト性との間にはニュアンスな相互作用がみられ, 移動性に限界があることが示唆された。 これらの相互作用を、より大きなモデルと様々なアーキテクチャにわたって評価するためには、さらなる研究が必要である。
  論文  参考訳（メタデータ） (2024-12-13T20:04:25Z)
• Enhancing Answer Reliability Through Inter-Model Consensus of Large Language Models [1.6874375111244329]
  本稿では,複数の大規模言語モデルが複雑なPhDレベルの統計的質問を生成・回答する協調フレームワークを提案する。 本研究は,モデル間のコンセンサスにより応答信頼性が向上し,生成した質問の質が向上することを示す。
  論文  参考訳（メタデータ） (2024-11-25T10:18:17Z)
• Fact-Level Confidence Calibration and Self-Correction [64.40105513819272]
  本稿では,事実レベルでの信頼度と妥当性の重み付けを校正するFact-Levelフレームワークを提案する。 また,信頼度の高い自己補正(textbfConFix$)も開発した。
  論文  参考訳（メタデータ） (2024-11-20T14:15:18Z)
• The BRAVO Semantic Segmentation Challenge Results in UNCV2024 [68.20197719071436]
  我々は,(1)モデルが様々な摂動にさらされたときの精度とキャリブレーションを反映したセマンティック信頼性,(2)トレーニング中に未知のオブジェクトクラスを検出する能力を測定するOOD信頼性の2つのカテゴリを定義した。 その結果、大規模事前学習と最小限のアーキテクチャ設計が、堅牢で信頼性の高いセマンティックセグメンテーションモデルを開発する上で重要であるという興味深い洞察が浮かび上がっている。
  論文  参考訳（メタデータ） (2024-09-23T15:17:30Z)
• Confidence Under the Hood: An Investigation into the Confidence-Probability Alignment in Large Language Models [14.5291643644017]
  信頼性・確率アライメントの概念を紹介します。 モデルの内部と信頼感の一致を調査する。 分析したモデルのうち、OpenAIのGPT-4は信頼性と信頼性のアライメントが最強であった。
  論文  参考訳（メタデータ） (2024-05-25T15:42:04Z)
• When to Trust LLMs: Aligning Confidence with Response Quality [49.371218210305656]
  我々はconfidence-Quality-ORDer保存アライメントアプローチ(CONQORD)を提案する。 品質報酬と秩序保存アライメント報酬機能を統合する。 実験により,CONQORDは信頼性と応答精度のアライメント性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2024-04-26T09:42:46Z)
• Think Twice Before Trusting: Self-Detection for Large Language Models through Comprehensive Answer Reflection [90.71323430635593]
  本稿では, LLM生成解を超える包括的解答空間を考察した, 新たな自己検出パラダイムを提案する。 このパラダイムに基づいて、2段階のフレームワークを導入し、まずまずLLMに各候補の回答を反映し、正当化するように指示する。 このフレームワークは、優れた自己検出のための既存のアプローチとシームレスに統合できる。
  論文  参考訳（メタデータ） (2024-03-15T02:38:26Z)
• Exchange-of-Thought: Enhancing Large Language Model Capabilities through Cross-Model Communication [76.04373033082948]
  大規模言語モデル(LLM)は、最近、Chain-of-Thoughtテクニックによる複雑な推論タスクにおいて大きな進歩を遂げました。 本稿では,問題解決時のクロスモデル通信を可能にする新しいフレームワークであるExchange-of-Thought (EoT)を提案する。
  論文  参考訳（メタデータ） (2023-12-04T11:53:56Z)
• Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
  大規模言語モデルはしばしば「ハロシン化」の課題に直面している 本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-07T12:06:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。