Fugu-MT 論文翻訳(概要): Prompt Engineering and Calibration for Zero-Shot Commonsense Reasoning

論文の概要: Prompt Engineering and Calibration for Zero-Shot Commonsense Reasoning

arxiv url: http://arxiv.org/abs/2304.06962v1
Date: Fri, 14 Apr 2023 07:07:42 GMT
ステータス: 処理完了
システム内更新日: 2023-04-17 14:22:46.585704
Title: Prompt Engineering and Calibration for Zero-Shot Commonsense Reasoning
Title（参考訳）: ゼロショット常識推論のためのプロンプトエンジニアリングとキャリブレーション
Authors: Chenkai Ma
Abstract要約: より小さな言語モデルに基づく推論のための戦略を検討・評価する。それぞれの戦略は特定のモデルを好むが、その共同効果はほとんど否定的である。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Prompt engineering and calibration make large language models excel at reasoning tasks, including multiple choice commonsense reasoning. From a practical perspective, we investigate and evaluate these strategies on smaller language models. Through experiments on five commonsense reasoning benchmarks, we find that each strategy favors certain models, but their joint effects are mostly negative.
Abstract（参考訳）: プロンプトエンジニアリングとキャリブレーションにより、複数の選択コモンセンス推論を含む、大きな言語モデルが推論タスクに優れている。実践的な観点から、より小さな言語モデルにおけるこれらの戦略を調査し、評価する。 5つのコモンセンス推論ベンチマークの実験を通して、それぞれの戦略が特定のモデルを好むが、それらの共同効果は概ね負である。

関連論文リスト

TypedThinker: Typed Thinking Improves Large Language Model Reasoning [44.8904486513791]
大規模言語モデルの問題解決能力を高めるフレームワークであるTypedThinkerを提案する。 TypedThinkerは、与えられた問題に対して適切な推論型を選択し、特定の推論型を効果的に実装する、という2つの主要な課題に対処する。実験の結果、Mistral 7Bは3.4%、LLaMA3 8Bは16.7%の精度でベースラインモデルよりも大幅に改善された。
論文参考訳（メタデータ） (2024-10-02T18:54:45Z)
Reasoning Elicitation in Language Models via Counterfactual Feedback [17.908819732623716]
事実と反事実の質問において精度のバランスをとる新しい指標を導出する。本稿では,より優れた推論機構を実現するための微調整手法を提案する。各種現実シナリオにおける微調整言語モデルの性能評価を行った。
論文参考訳（メタデータ） (2024-10-02T15:33:30Z)
GameBench: Evaluating Strategic Reasoning Abilities of LLM Agents [4.209869303518743]
大規模言語モデルの戦略的推論能力を評価するためのクロスドメインベンチマークであるGameBenchを紹介する。戦略的推論能力の向上を目的とした2つの足場フレームワークとともに,GPT-3とGPT-4をベースとして評価を行った。以上の結果から,試験対象モデルと人体性能は一致せず,GPT-4は無作為な動作よりも悪い結果が得られた。
論文参考訳（メタデータ） (2024-06-07T00:28:43Z)
Conceptual and Unbiased Reasoning in Language Models [98.90677711523645]
本稿では,抽象的質問に対する概念的推論をモデルに強制する,新しい概念化フレームワークを提案する。既存の大規模言語モデルは概念的推論では不足しており、様々なベンチマークでは9%から28%に低下している。ハイレベルな抽象的推論が不偏で一般化可能な意思決定の鍵となるので、モデルがどのように改善できるかについて議論する。
論文参考訳（メタデータ） (2024-03-30T00:53:53Z)
Exploring the Numerical Reasoning Capabilities of Language Models: A Comprehensive Analysis on Tabular Data [10.124148115680315]
本研究では,4つのレベルに10種類以上の推論型を持つ数値推論スキルのための階層型分類法を提案する。我々は、それらに特有の推論課題を特定するために、最先端モデルの包括的評価を行う。以上の結果から,すべての数値推論型に対してモデルが常に排他的でないことが示唆された。
論文参考訳（メタデータ） (2023-11-03T20:05:30Z)
Large Language Models as Analogical Reasoners [155.9617224350088]
CoT(Chain-of- Thought)は、言語モデルのプロンプトとして、推論タスク全体で素晴らしいパフォーマンスを示す。そこで本稿では,大規模言語モデルの推論プロセスを自動的にガイドする,新たなプロンプト手法であるアナログプロンプトを導入する。
論文参考訳（メタデータ） (2023-10-03T00:57:26Z)
Searching for Effective Multilingual Fine-Tuning Methods: A Case Study in Summarization [99.07737750028895]
我々は多言語学習のための様々なチューニング戦略、特にテキスト要約の文脈で評価する。我々はXL-Sumデータセット上に新しい最先端技術を確立する。
論文参考訳（メタデータ） (2022-12-12T07:37:45Z)
A Multi-dimensional Evaluation of Tokenizer-free Multilingual Pretrained Models [87.7086269902562]
サブワードベースのモデルは、多くの設定において依然として最も実用的な選択肢であることを示している。我々は,新しいモデルを設計し,評価する際のこれらの要因を検討するために,トークンフリーな手法の今後の取り組みを奨励する。
論文参考訳（メタデータ） (2022-10-13T15:47:09Z)
Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
論文参考訳（メタデータ） (2021-09-07T03:13:06Z)
Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering [80.60605604261416]
本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
論文参考訳（メタデータ） (2020-11-07T22:52:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。