論文の概要: Reevaluating Self-Consistency Scaling in Multi-Agent Systems
- arxiv url: http://arxiv.org/abs/2511.00751v1
- Date: Sun, 02 Nov 2025 00:36:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-11-05 16:37:26.92107
- Title: Reevaluating Self-Consistency Scaling in Multi-Agent Systems
- Title（参考訳）: マルチエージェントシステムにおける自己整合性スケーリングの再評価
- Authors: Chiyan Loo,
- Abstract要約: 本研究では,現代大言語モデル(LLM)における自己整合性におけるサンプル推論経路の増加のトレードオフについて検討する。
古いモデルによる以前の研究では、複数の推論チェーンを組み合わせることで、高原に到達する前に結果が改善されていた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This study examines the trade-offs of increasing sampled reasoning paths in self-consistency for modern large language models (LLMs). Earlier research with older models showed that combining multiple reasoning chains improves results before reaching a plateau. Using Gemini 2.5 models on HotpotQA and Math-500, we revisit those claims under current model conditions. Each configuration pooled outputs from varying sampled reasoning paths and compared them to a single chain-of-thought (CoT) baseline. Larger models exhibited a more stable and consistent improvement curve. The results confirm that performance gains taper off after moderate sampling, aligning with past findings. This plateau suggests diminishing returns driven by overlap among reasoning paths. Self-consistency remains useful, but high-sample configurations offer little benefit relative to their computational cost.
- Abstract（参考訳）: 本研究では,現代大言語モデル(LLM)における自己整合性におけるサンプル推論経路の増加のトレードオフについて検討する。
古いモデルによる以前の研究では、複数の推論チェーンを組み合わせることで、高原に到達する前に結果が改善されていた。
ホットポットQAとMath-500のGemini 2.5モデルを用いて、これらの主張を現在のモデル条件で再検討する。
各構成は、様々なサンプル推論パスから出力をプールし、それらを単一のチェーン・オブ・ソート(CoT)ベースラインと比較した。
大型モデルはより安定的で一貫した改善曲線を示した。
その結果, 適度なサンプリングを行った結果, 過去の結果と一致して, 性能が低下することが確認された。
この台地は、推論パス間の重複によって引き起こされるリターンの減少を示唆している。
自己整合性は依然として有用であるが、高いサンプル構成は計算コストに対してほとんど利益を与えない。
関連論文リスト
- TL;DR: Too Long, Do Re-weighting for Efficient LLM Reasoning Compression [55.37723860832064]
高度なデータアノテーションに依存しない動的比に基づくトレーニングパイプラインを提案する。
我々は、DeepSeek-R1-Distill-7BとDeepSeek-R1-Distill-14Bのモデルと、様々な難易度を持つ様々なベンチマークのモデルに対するアプローチを検証する。
論文 参考訳（メタデータ） (2025-06-03T09:23:41Z) - Why Do More Experts Fail? A Theoretical Analysis of Model Merging [51.18155031364046]
モデルマージは、複数のエキスパートモデルを単一のマルチタスクモデルに組み合わせることで、ストレージと計算資源を劇的に削減する。
最近のモデルマージ手法は有望な結果を示しているが、マージモデルの増加に伴い性能向上の維持に苦慮している。
限定効用パラメータ空間は、マージを成功させることのできるモデルの数に厳密な制約を課すことを示す。
論文 参考訳（メタデータ） (2025-05-27T14:10:46Z) - Long-Short Chain-of-Thought Mixture Supervised Fine-Tuning Eliciting Efficient Reasoning in Large Language Models [23.34070841541423]
LS-Mixture SFT(Long-Short Chain-of-Thought Mixture Supervised Fine-Tuning)を提案する。
LS-Mixture SFTでトレーニングしたモデルと直接SFTでトレーニングしたモデルでは,平均精度が2.3%向上した。
この研究は、教師付き微調整によって推論能力を持つ非推論モデルを実現するアプローチを提供する。
論文 参考訳（メタデータ） (2025-05-06T12:18:11Z) - Multi-Level Collaboration in Model Merging [56.31088116526825]
本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。
これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
論文 参考訳（メタデータ） (2025-03-03T07:45:04Z) - Towards Thinking-Optimal Scaling of Test-Time Compute for LLM Reasoning [108.07030347318624]
より長い思考の連鎖(CoTs)によるスケーリングは、特定の領域におけるLarge Language Models(LLMs)の推論性能を損なう可能性があることを示す。
深層思考に異なる推論手法を採用するためのモデルを教えるための思考-最適スケーリング戦略を提案する。
我々のQwen2.5-32B-Instructに基づく自己改善モデルは、様々なベンチマークで他の蒸留ベースの32B o1-likeモデルより優れています。
論文 参考訳（メタデータ） (2025-02-25T10:48:05Z) - Post-Hoc Reversal: Are We Selecting Models Prematurely? [13.910702424593797]
ポストホック変換を適用した後に性能傾向が逆転するポストホック逆転現象を示す。
予備的な分析は、これらの変換が、誤ラベルされた例の影響を抑えることによって、逆転を引き起こすことを示唆している。
ポストホック選択(post-hoc selection)は、ポストホックメトリクスがモデル開発決定を通知するシンプルな手法である。
論文 参考訳（メタデータ） (2024-04-11T14:58:19Z) - Self-Consistency of Large Language Models under Ambiguity [4.141513298907867]
本研究は,不特定の場合の自己整合性評価ベンチマークを示す。
あいまいな整数列補完タスクを用いて,OpenAIモデルスイート上で一連の動作実験を行う。
平均一貫性は67%から82%の範囲であり、モデルの一貫性がランダムであれば予測されるよりもはるかに高い。
論文 参考訳（メタデータ） (2023-10-20T11:57:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。