論文の概要: Exploring the Effectiveness of GPT Models in Test-Taking: A Case Study of the Driver's License Knowledge Test

• arxiv url: http://arxiv.org/abs/2308.11827v1
• Date: Tue, 22 Aug 2023 23:18:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-24 16:27:54.976459
• Title: Exploring the Effectiveness of GPT Models in Test-Taking: A Case Study of the Driver's License Knowledge Test
• Title（参考訳）: テストテイクにおけるgptモデルの有効性の検討 : 運転免許知識試験を事例として
• Authors: Saba Rahimi, Tucker Balch, Manuela Veloso
• Abstract要約: 本研究では,これまで学習データに含まれていなかった情報ソースからコンテキストを活用することで,GPTモデルによる質問応答を可能にする手法を提案する。 本手法をカリフォルニアドライバハンドブックを情報源として,制御されたテストシナリオに適用した。 GPT-3モデルは、50のサンプル駆動知識テストの質問に対して96%のパススコアを達成した。
• 参考スコア（独自算出の注目度）: 11.560251256064646
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models such as Open AI's Generative Pre-trained Transformer (GPT) models are proficient at answering questions, but their knowledge is confined to the information present in their training data. This limitation renders them ineffective when confronted with questions about recent developments or non-public documents. Our research proposes a method that enables GPT models to answer questions by employing context from an information source not previously included in their training data. The methodology includes preprocessing of contextual information, the embedding of contexts and queries, constructing prompt through the integration of context embeddings, and generating answers using GPT models. We applied this method in a controlled test scenario using the California Driver's Handbook as the information source. The GPT-3 model achieved a 96% passing score on a set of 50 sample driving knowledge test questions. In contrast, without context, the model's passing score fell to 82%. However, the model still fails to answer some questions correctly even with providing library of context, highlighting room for improvement. The research also examined the impact of prompt length and context format, on the model's performance. Overall, the study provides insights into the limitations and potential improvements for GPT models in question-answering tasks.
• Abstract（参考訳）: Open AIのGenerative Pre-trained Transformer (GPT)モデルのような大規模言語モデルは、質問に答えるには熟練しているが、その知識はトレーニングデータに存在する情報に限られている。 この制限により、最近の開発や非公開文書に関する疑問に直面すると効果が低下する。 本研究は,gptモデルが学習データに含まれない情報ソースから文脈を用いて質問に答えることを可能にする手法を提案する。 この手法には、文脈情報の事前処理、コンテキストとクエリの埋め込み、コンテキストの埋め込みの統合によるプロンプトの構築、GPTモデルによる回答の生成が含まれる。 本手法をカリフォルニアドライバハンドブックを情報源として,制御されたテストシナリオに適用した。 gpt-3モデルは50個のサンプル駆動型知識テスト質問で96%の合格点を達成した。 対照的に、文脈のないモデルでは、パススコアは82%に低下した。 しかし、このモデルは、改善の余地を強調しながら、コンテキストのライブラリを提供しても、いくつかの質問に答えることができない。 また,モデルの性能に及ぼすプロンプト長とコンテキストフォーマットの影響についても検討した。 この研究は、質問応答タスクにおけるGPTモデルの限界と潜在的な改善に関する洞察を提供する。

関連論文リスト

• Selecting Between BERT and GPT for Text Classification in Political Science Research [4.487884986288122]
  低データシナリオにおけるBERTモデルとGPTモデルの有効性を評価する。 パフォーマンス、使いやすさ、コストの観点から、これらのアプローチを比較して結論付けます。
  論文  参考訳（メタデータ） (2024-11-07T07:29:39Z)
• Negative Sampling in Knowledge Graph Representation Learning: A Review [2.6703221234079946]
  知識グラフ表現学習(KGRL)は知識構築や情報検索といったAIアプリケーションに不可欠である。 既存の知識グラフから高品質な負のサンプルを生成することは難しい。 本報告では, 各種陰性サンプリング法とそのKGRL成功への貢献について, 系統的に検討する。
  論文  参考訳（メタデータ） (2024-02-29T14:26:20Z)
• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Large Language Models Meet Knowledge Graphs to Answer Factoid Questions [57.47634017738877]
  本稿では,知識グラフから追加情報に富んだ事前学習されたテキスト・テキスト言語モデルを探索する手法を提案する。 抽出した部分グラフの線形化によりトランスフォーマーモデルで容易に情報を得る。 抽出された情報で回答候補を最終ランク付けすると、事前訓練されたテキスト-テキスト言語モデルのHits@1スコアが4-6%向上する。
  論文  参考訳（メタデータ） (2023-10-03T15:57:00Z)
• Promoting Open-domain Dialogue Generation through Learning Pattern Information between Contexts and Responses [5.936682548344234]
  本稿では,学習サンプルの文脈と応答の間の暗黙的なパターン情報を学ぶことにより,生成した応答の品質を向上させる。 また、文脈と応答間の暗黙的パターン情報をマイニングする応答認識機構を設計し、生成した応答をより多様でヒトの応答に近似するようにした。
  論文  参考訳（メタデータ） (2023-09-06T08:11:39Z)
• A Comprehensive Survey on Test-Time Adaptation under Distribution Shifts [143.14128737978342]
  新たなパラダイムであるテスト時適応は、事前トレーニングされたモデルをテスト中にラベルのないデータに適用し、予測を行う可能性がある。 このパラダイムの最近の進歩は、推論に先立って自己適応モデルのトレーニングにラベルのないデータを活用するという大きな利点を浮き彫りにしている。
  論文  参考訳（メタデータ） (2023-03-27T16:32:21Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Socratic Pretraining: Question-Driven Pretraining for Controllable Summarization [89.04537372465612]
  ソクラティック事前訓練は、要約タスクにおける制御性を改善するために設計された、質問駆動で教師なし事前訓練の目的である。 以上の結果から,Socraticプレトレーニングはタスク固有のラベル付きデータ要件を半分に削減することがわかった。
  論文  参考訳（メタデータ） (2022-12-20T17:27:10Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Automatic Short Math Answer Grading via In-context Meta-learning [2.0263791972068628]
  本研究では,数学質問に対する児童生徒の回答に対する自動短解格付けの問題について検討する。 我々は、数学的な内容に適応した人気のある言語モデルBERTの変種である MathBERT をベースモデルとして使用しています。 第二に、言語モデルへの入力としてスコアリングサンプルを提供する、コンテキスト内学習アプローチを用いる。
  論文  参考訳（メタデータ） (2022-05-30T16:26:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。