論文の概要: Town Hall Debate Prompting: Enhancing Logical Reasoning in LLMs through Multi-Persona Interaction

• arxiv url: http://arxiv.org/abs/2502.15725v1
• Date: Tue, 28 Jan 2025 11:58:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-02 04:52:22.723982
• Title: Town Hall Debate Prompting: Enhancing Logical Reasoning in LLMs through Multi-Persona Interaction
• Title（参考訳）: 市役所討論会:マルチペソナインタラクションによるLLMにおける論理的推論の強化
• Authors: Vivaan Sandwar, Bhav Jain, Rishan Thangaraj, Ishaan Garg, Michael Lam, Kevin Zhu,
• Abstract要約: 本稿では,言語モデルを複数のペルソナに分割し,相互に議論を交わし,結論に達することを目的とした,タウンホール型討論プロンプト(THDP)を提案する。 実験の結果,LLM決定型人格型5人の市役所がゼブラ論理で最適に機能することが確認された。
• 参考スコア（独自算出の注目度）: 1.8532406942078647
• License:
• Abstract: Debate is a commonly used form of human communication catered towards problem-solving because of its efficiency. Debate fundamentally allows multiple viewpoints to be brought up in problem-solving, and for complex problems, each viewpoint opens a new path for problem-solving. In this work, we apply this concept to LLM decision-making by proposing town hall-style debate prompting (THDP), a prompting method that splices a language model into multiple personas that will debate one another to reach a conclusion. Our experimental pipeline varies both the number of personas and the personality types of each persona to find the optimum town hall size and personality for benchmark performance as measured by ZebraLogic bench, a reasoning-intensive benchmark characterized by both multiple-choice and fill-in-the-blank questions. Our experimental results demonstrate that a town hall size of 5 personas with LLM-determined personality types performs optimally on ZebraLogic, achieving a 13\% improvement over one-shot CoT baselines in per-cell accuracy in GPT-4o, 9% puzzle accuracy increase in Claude 3.5 Sonnet, and an improvement in hard puzzle accuracy from 10-15%.
• Abstract（参考訳）: ディベート(英: Debate)は、人間のコミュニケーションにおいて、その効率性から問題解決に向けられた一般的な形態である。 議論によって、問題解決において複数の視点が持ち上げられ、複雑な問題に対して、それぞれの視点が問題解決のための新しい道を開く。 本研究では,この概念を,言語モデルを複数のペルソナに分割し,相互に議論を交わし,結論に達するプロンプト手法であるタウンホールスタイルの議論促進法(THDP)を提案することにより,LLM意思決定に適用する。 実験パイプラインでは,各人格の人格・人格・人格・人格・人格を,ZebraLogicのベンチで測定されたベンチマーク性能の最適な町役所サイズと人格を,複数選択と補足の両方を特徴とする推論集約的なベンチマークであるZebraLogicのベンチで測定した。 GPT-4oでは1ショットのCoTベースラインよりも13%向上し,Claude 3.5 Sonnetでは9%のパズル精度が向上し,ハードパズル精度は10～15%向上した。

関連論文リスト

• FB-Bench: A Fine-Grained Multi-Task Benchmark for Evaluating LLMs' Responsiveness to Human Feedback [33.532239489610056]
  FB-Benchは、中国語の実際の使用シナリオ下での人間のフィードバックに対する大規模言語モデルの応答性を評価するために設計されたベンチマークである。 我々は,多種多様なLLMを広範囲に評価し,異なる相互作用シナリオにおける性能の顕著な変動を明らかにした。 我々の研究結果は、現在のモデルの強みと限界の両方を強調し、将来の研究に価値ある洞察と方向性を提供する。
  論文  参考訳（メタデータ） (2024-10-12T07:40:01Z)
• AHP-Powered LLM Reasoning for Multi-Criteria Evaluation of Open-Ended Responses [26.850344968677582]
  本研究では,大規模言語モデルを用いたオープンエンド質問に対する回答評価手法を提案する。 また,ChatGPT-3.5-turbo と GPT-4 の2つのデータセットについて実験を行った。 以上の結果から,本研究のアプローチは4つの基準線よりも人間の判断と密接に一致していることが示唆された。
  論文  参考訳（メタデータ） (2024-10-02T05:22:07Z)
• Self-Directed Turing Test for Large Language Models [56.64615470513102]
  チューリングテストは、自然言語の会話においてAIが人間のような振る舞いを示すことができるかどうかを調べる。 従来のチューリングテストでは、各参加者が1回に1つのメッセージだけを送信する厳格な対話形式を採用している。 本稿では,バーストダイアログ形式を用いた自己指示チューリングテストを提案する。
  論文  参考訳（メタデータ） (2024-08-19T09:57:28Z)
• Navigating the Labyrinth: Evaluating and Enhancing LLMs' Ability to Reason About Search Problems [59.72548591120689]
  我々は,11種類の検索問題を含む新しいベンチマークであるSearchBenchを紹介する。 もっとも先進的なLCMでさえ、これらの問題をエンドツーエンドのテキストで解決することができないことを示す。 LLMにその問題を解決するコードを生成するように指示することは助けになるが、GPT4のパフォーマンスは11.7%向上した。
  論文  参考訳（メタデータ） (2024-06-18T00:44:58Z)
• Flow of Reasoning:Training LLMs for Divergent Problem Solving with Minimal Examples [12.48027669682156]
  Flow of Reasoning (FoR)は、最小限のデータで推論の品質と多様性を改善することを目的としている。 FoR は DAG 構造推論グラフ上のマルコフフローとして多段階 LLM 推論を定式化する。 実験によると、限られたトレーニング例で、FoRは多様な創造的で高品質なソリューションの発見を可能にする。
  論文  参考訳（メタデータ） (2024-06-09T07:06:58Z)
• RankPrompt: Step-by-Step Comparisons Make Language Models Better Reasoners [38.30539869264287]
  大きな言語モデル(LLM)は、様々な推論タスクで素晴らしいパフォーマンスを実現しています。 しかし、ChatGPTのような最先端のLCMでさえ、推論プロセス中に論理的な誤りを犯しやすい。 新たなプロンプト手法である RankPrompt を導入し,LLM が追加リソースを必要とせずに応答を自己ランクできる手法を提案する。
  論文  参考訳（メタデータ） (2024-03-19T02:34:18Z)
• The Earth is Flat? Unveiling Factual Errors in Large Language Models [89.94270049334479]
  ChatGPTのような大規模言語モデル(LLM)は、事前学習や微調整の知識が豊富にあるため、様々な応用がある。 それにもかかわらず、医療、ジャーナリズム、教育といった重要な分野に懸念を抱き、事実と常識の誤りを引き起こす傾向にある。 LLMにおける事実不正確な事実を明らかにすることを目的とした,新しい自動テストフレームワークであるFactCheckerを紹介する。
  論文  参考訳（メタデータ） (2024-01-01T14:02:27Z)
• BotChat: Evaluating LLMs' Capabilities of Having Multi-Turn Dialogues [72.65163468440434]
  本報告では,人間型マルチターンチャットのための既存大規模言語モデルの予備的評価を行う。 そこで我々は,ChatSEEDに基づくマルチターン対話を発話によって生成する大規模言語モデル(LLM)を提案する。 GPT-4は優れた品質の人型多元対話を生成できるが、その性能は著しく上回っている。
  論文  参考訳（メタデータ） (2023-10-20T16:53:51Z)
• Thought Propagation: An Analogical Approach to Complex Reasoning with Large Language Models [62.96551299003463]
  大規模言語モデルの複雑な推論能力を高めるために,textbftextitThought Propagation (TP)を提案する。 TP はまず LLM に対して,入力問題に関連する類似問題の集合を提案し,解決するよう促す。 TPは、類似問題の結果を再利用して、新しいソリューションを直接生成したり、スクラッチから得られた初期ソリューションを修正するための知識集約的な実行プランを導出する。
  論文  参考訳（メタデータ） (2023-10-06T01:40:09Z)
• Enhancing Large Language Models in Coding Through Multi-Perspective Self-Consistency [127.97467912117652]
  大規模言語モデル(LLM)は、コード生成において顕著な能力を示した。 しかし、単一の試みで正しいソリューションを生成することは依然として課題である。 本稿では,MPSC(Multi-Perspective Self-Consistency)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T14:23:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。