論文の概要: DaVinci at SemEval-2024 Task 9: Few-shot prompting GPT-3.5 for Unconventional Reasoning
- arxiv url: http://arxiv.org/abs/2405.11559v1
- Date: Sun, 19 May 2024 14:21:53 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-21 15:12:36.402552
- Title: DaVinci at SemEval-2024 Task 9: Few-shot prompting GPT-3.5 for Unconventional Reasoning
- Title（参考訳）: SemEval-2024 Task 9: Few-shot prompting GPT-3.5 for Unconventional Reasoning (英語)
- Authors: Suyash Vardhan Mathur, Akshett Rai Jindal, Manish Shrivastava,
- Abstract要約: SemEval 2024では、Sentence PuzzlesとWord Puzzlesという2つのタイプの質問を含むBRAINTEASERのタスクが導入されている。
本稿では,GPT-3.5における小文字プロンプトを用いた2種類の質問に対処し,両者の性質の違いについて考察する。
- 参考スコア（独自算出の注目度）: 3.8123851870465626
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While significant work has been done in the field of NLP on vertical thinking, which involves primarily logical thinking, little work has been done towards lateral thinking, which involves looking at problems from an unconventional perspective and defying existing conceptions and notions. Towards this direction, SemEval 2024 introduces the task of BRAINTEASER, which involves two types of questions -- Sentence Puzzles and Word Puzzles that defy conventional common-sense reasoning and constraints. In this paper, we tackle both types of questions using few-shot prompting on GPT-3.5 and gain insights regarding the difference in the nature of the two types. Our prompting strategy placed us 26th on the leaderboard for the Sentence Puzzle and 15th on the Word Puzzle task.
- Abstract（参考訳）: 垂直思考に関するNLPの分野では、主に論理的思考を含む重要な研究がなされているが、非伝統的な視点から問題を考察し、既存の概念や概念を否定する側面的思考への取り組みはほとんど行われていない。
この方向に向かって、SemEval 2024はBRAINTEASERのタスクを導入している。これは、従来の常識的推論と制約に反する2つのタイプの質問であるSentence PuzzlesとWord Puzzlesだ。
本稿では,GPT-3.5における小文字プロンプトを用いた2種類の質問に対処し,両者の性質の違いについて考察する。
弊社のプロンプト戦略は、Sentence Puzzleのリーダーボードで26位、Word Puzzleのタスクで15位だった。
関連論文リスト
- AmazUtah_NLP at SemEval-2024 Task 9: A MultiChoice Question Answering System for Commonsense Defying Reasoning [0.0]
SemEval 2024 BRAINTEASERタスクは、分散思考のための言語モデルの能力をテストすることを目的としている。
複数の選択アーキテクチャにおいて、最先端の事前学習モデルを活用することで、包括的な戦略を採用する。
提案手法はセンテンスパズルサブタスクにおいて92.5%の精度、ワードパズルサブタスクでは80.2%の精度を実現している。
論文 参考訳（メタデータ） (2024-05-16T18:26:38Z) - SemEval-2024 Task 9: BRAINTEASER: A Novel Task Defying Common Sense [15.95314613982879]
SemEval Task 9: BRAIN-TEASER(S)は、システムの推論と横方向の思考能力をテストするために設計された、このコンペティションにおける最初のタスクである。
本稿では,競争結果のきめ細かいシステム解析と,それがシステムに横方向の推論能力にどのような意味を持つのかを考察する。
論文 参考訳（メタデータ） (2024-04-22T07:21:27Z) - AILS-NTUA at SemEval-2024 Task 9: Cracking Brain Teasers: Transformer Models for Lateral Thinking Puzzles [1.9939549451457024]
本稿では,SemEval-2024タスク9コンペティションへの提案の概要を述べる。
我々は,様々な大きさのトランスフォーマーベース言語モデルを微調整により評価する。
トップパフォーマンスのアプローチは、競争のリーダーボード上での競争的なポジションを確保しました。
論文 参考訳（メタデータ） (2024-04-01T12:27:55Z) - A Picture Is Worth a Graph: A Blueprint Debate Paradigm for Multimodal Reasoning [53.35861580821777]
この研究は、過剰な要約による意見の自明化と、画像から導入された散逸した概念による焦点の転換という2つの主要な課題に対処する。
この問題に対処するため,BDoG (Blueprint Debate on Graphs) と呼ばれる演目的(トップダウン)な議論手法を提案する。
BDoGでは、世界レベルの要約による意見の自明化を防止するために、ブループリントグラフに限定して議論を行う。さらに、BDoGはグラフ内の枝に証拠を格納することで、頻繁だが無関係な概念によって引き起こされる混乱を緩和する。
論文 参考訳（メタデータ） (2024-03-22T06:03:07Z) - Thread of Thought Unraveling Chaotic Contexts [133.24935874034782]
思考のスレッド(ThoT)戦略は、人間の認知プロセスからインスピレーションを得ている。
実験では、他のプロンプト技術と比較して、ThoTは推論性能を著しく改善する。
論文 参考訳（メタデータ） (2023-11-15T06:54:44Z) - BRAINTEASER: Lateral Thinking Puzzles for Large Language Models [15.95314613982879]
BRAINTEASERは、横方向の思考を示すモデルの能力をテストするために設計された多重選択質問回答タスクである。
最先端のインストラクションとコモンセンス言語モデルを用いた実験により,人間とモデルの性能の間に大きなギャップがあることが判明した。
横方向の思考モデルの開発と評価作業を促進するために、コードとデータをすべて利用可能にしています。
論文 参考訳（メタデータ） (2023-10-08T07:46:01Z) - Pushing the Limits of ChatGPT on NLP Tasks [79.17291002710517]
ChatGPTの成功にもかかわらず、ほとんどのNLPタスクのパフォーマンスは教師付きベースラインよりかなり低い。
そこで本研究では,原因を調べた結果,以下の要因が原因であることが判明した。
NLPタスクにおけるChatGPTの限界を押し上げるために,これらの問題に対処する汎用モジュールの集合を提案する。
論文 参考訳（メタデータ） (2023-06-16T09:40:05Z) - Tree of Thoughts: Deliberate Problem Solving with Large Language Models [52.31950122881687]
言語モデル推論のための新しいフレームワーク、Tree of Thoughts (ToT)を紹介します。
ToTは、言語モデルを促進するために人気のChain of Thoughtアプローチを一般化する。
実験の結果,ToTは言語モデルの問題解決能力を大幅に向上させることがわかった。
論文 参考訳（メタデータ） (2023-05-17T23:16:17Z) - SemEval-2023 Task 11: Learning With Disagreements (LeWiDi) [75.85548747729466]
共有タスクのLeWiDiシリーズの第2版について報告する。
この第2版は幅広い参加者を集め、13のタスクの共用論文が提出された。
論文 参考訳（メタデータ） (2023-04-28T12:20:35Z) - Video Anomaly Detection by Solving Decoupled Spatio-Temporal Jigsaw
Puzzles [67.39567701983357]
ビデオ異常検出(VAD)はコンピュータビジョンにおいて重要なトピックである。
近年の自己教師型学習の進歩に触発された本論文は,直感的かつ難解なプレテキストタスクを解くことによって,VADに対処する。
提案手法は3つの公開ベンチマークにおいて最先端のベンチマークよりも優れている。
論文 参考訳（メタデータ） (2022-07-20T19:49:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。