論文の概要: Ranked Voting based Self-Consistency of Large Language Models

• arxiv url: http://arxiv.org/abs/2505.10772v1
• Date: Fri, 16 May 2025 01:09:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:13.783602
• Title: Ranked Voting based Self-Consistency of Large Language Models
• Title（参考訳）: ランク付き投票に基づく大規模言語モデルの自己整合性
• Authors: Weiqin Wang, Yile Wang, Hui Huang,
• Abstract要約: 多数決投票は、連鎖推論を強化する効果的な方法と考えられている。 各推論プロセスにおいてランク付けされた回答を生成することを提案する。 我々は、即時投票、ボルダカウント投票、平均相互投票の3つのランク付け方法を使用している。
• 参考スコア（独自算出の注目度）: 10.90900304483994
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Majority voting is considered an effective method to enhance chain-of-thought reasoning, as it selects the answer with the highest "self-consistency" among different reasoning paths (Wang et al., 2023). However, previous chain-of-thought reasoning methods typically generate only a single answer in each trial, thereby ignoring the possibility of other potential answers. As a result, these alternative answers are often overlooked in subsequent voting processes. In this work, we propose to generate ranked answers in each reasoning process and conduct ranked voting among multiple ranked answers from different responses, thereby making the overall self-consistency more reliable. Specifically, we use three ranked voting methods: Instant-runoff voting, Borda count voting, and mean reciprocal rank voting. We validate our methods on six datasets, including three multiple-choice and three open-ended question-answering tasks, using both advanced open-source and closed-source large language models. Extensive experimental results indicate that our proposed method outperforms the baselines, showcasing the potential of leveraging the information of ranked answers and using ranked voting to improve reasoning performance. The code is available at https://github.com/szu-tera/RankedVotingSC.
• Abstract（参考訳）: 多数決は、異なる推論経路 (Wang et al , 2023) の中で、最も高い「自己整合性」で答えを選択するため、思考の連鎖的推論を強化する効果的な方法と考えられている。 しかし、従来の連鎖推論法は、通常、各試行で1つの答えしか生成しないため、他の潜在的な答えの可能性を無視している。 結果として、これらの代替回答は、しばしばその後の投票プロセスで見過ごされる。 本研究では,各推論プロセスにおいてランク付けされた回答を生成し,異なる回答から複数のランク付けされた回答の中からランク付けされた投票を行うことを提案する。 具体的には, 即時投票, ボルダカウント投票, 平均相互投票という3つのランク付け方式を用いる。 我々は,先進的なオープンソースとクローズドな大規模言語モデルの両方を用いて,3つの複数選択と3つのオープンエンド質問回答タスクを含む6つのデータセットで手法を検証する。 実験結果から,提案手法は評価基準よりも優れており,回答情報の活用の可能性を示すとともに,投票結果を用いた推論性能の向上を図っている。 コードはhttps://github.com/szu-tera/RankedVotingSCで公開されている。

関連論文リスト

• RankAlign: A Ranking View of the Generator-Validator Gap in Large Language Models [51.080608392304505]
  我々は,モデルが生成した解答と,その解答の検証,ジェネレータとバリケータのギャップとの相違について考察する。 この測定結果から,質問応答,語彙意味論タスク,次の単語予測など,さまざまな設定に大きなギャップがあることが分かる。 次にランキングベースのトレーニング手法である RankAlign を提案し、そのギャップを平均で 31.8% に拡大し、すべてのベースライン手法を上回ります。
  論文  参考訳（メタデータ） (2025-04-15T16:53:31Z)
• Optimal bounds for dissatisfaction in perpetual voting [84.02572742131521]
  我々は、投票者が何回も不満を抱いていないことを保証し、永遠の投票方法を考える。 我々は、不満のサブ線形成長が可能な有権者行動に関する十分な条件を特定する。 本稿では,専門家の助言による予測から得られた標準手法に基づいて,紛争条件下での不満をサブ線形に保証する投票手法を提案する。
  論文  参考訳（メタデータ） (2024-12-20T19:58:55Z)
• Reranking Overgenerated Responses for End-to-End Task-Oriented Dialogue Systems [71.33737787564966]
  エンド・ツー・エンド(E2E)タスク指向対話システム(ToD)は、いわゆる「いいね! 本稿では,システムによって当初過剰に生成された応答リストから高品質な項目を選択する方法を提案する。 本研究では,最先端のE2E ToDシステムを2.4BLEU,3.2ROUGE,2.8 METEORで改善し,新たなピーク値を得た。
  論文  参考訳（メタデータ） (2022-11-07T15:59:49Z)
• Two is Better than Many? Binary Classification as an Effective Approach to Multi-Choice Question Answering [43.35258958775454]
  正のインスタンスと正のインスタンスと負のインスタンスとを分類することは、さまざまなモデルやデータセットにおいて、はるかに効果的であることを示す。 当社のDeBERTaバイナリ分類モデルは、さまざまなタスクのための公開リーダボードの上位あるいは上位に到達します。
  論文  参考訳（メタデータ） (2022-10-29T05:11:45Z)
• Double Retrieval and Ranking for Accurate Question Answering [120.69820139008138]
  本研究では,トランスフォーマーを用いた解答選択モデルに導入された解答検証ステップが,問合せ解答における解答の精度を大幅に向上させることを示す。 AS2のためのよく知られた3つのデータセットの結果は、最先端の一貫性と大幅な改善を示している。
  論文  参考訳（メタデータ） (2022-01-16T06:20:07Z)
• Full Characterization of Adaptively Strong Majority Voting in Crowdsourcing [0.5831737970661138]
  クラウドソーシングでは、労働者がアイテムを調べ、その正確性に投票することで、品質管理が一般的に達成される。 信頼できないワーカー応答の影響を最小限に抑えるため、$delta$-marginの投票プロセスが使用される。 本研究は,マルコフ連鎖を吸収し,この投票プロセスの特性をモデル化する手法を提案する。
  論文  参考訳（メタデータ） (2021-11-11T18:58:09Z)
• A Semantic-based Method for Unsupervised Commonsense Question Answering [40.18557352036813]
  ラベル付きタスクデータに依存しないため、教師なしのコモンセンス質問応答は魅力的である。 教師なしコモンセンス質問応答のためのSemantic-based Question Answering法(SEQA)を提案する。
  論文  参考訳（メタデータ） (2021-05-31T08:21:52Z)
• Diverse and Non-redundant Answer Set Extraction on Community QA based on DPPs [18.013010857062643]
  コミュニティベースの質問応答プラットフォームでは、ユーザが多くの回答の中から有用な情報を得るのに時間がかかる。 本稿では,回答のランク付けよりも多様で非冗長な回答セットを選択することを提案する。
  論文  参考訳（メタデータ） (2020-11-18T07:33:03Z)
• Differentiable Open-Ended Commonsense Reasoning [80.94997942571838]
  我々は、自然言語で書かれたコモンセンス事実のコーパスのみを資源として、オープンエンドコモンセンス推論(OpenCSR)について研究する。 OpenCSRへのアプローチとして、知識ファクトに対するマルチホップ推論のための効率的な微分可能なモデルDrFactを提案する。
  論文  参考訳（メタデータ） (2020-10-24T10:07:00Z)
• MS-Ranker: Accumulating Evidence from Potentially Correct Candidates for Answer Selection [59.95429407899612]
  そこで我々は,MS-Ranker という,新しい強化学習に基づくマルチステップランキングモデルを提案する。 我々は、候補の潜在的な正しさを明示的に考慮し、ゲーティング機構で証拠を更新する。 我々のモデルは、外部リソースに依存しない既存の手法を著しく上回ります。
  論文  参考訳（メタデータ） (2020-10-10T10:36:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。