論文の概要: Why does in-context learning fail sometimes? Evaluating in-context learning on open and closed questions

• arxiv url: http://arxiv.org/abs/2407.02028v1
• Date: Tue, 2 Jul 2024 07:52:30 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-03 16:24:25.254190
• Title: Why does in-context learning fail sometimes? Evaluating in-context learning on open and closed questions
• Title（参考訳）: 文脈内学習はなぜ失敗するのか? オープンおよびクローズドな質問に対する文脈内学習の評価
• Authors: Xiang Li, Haoran Tang, Siyu Chen, Ziwei Wang, Ryan Chen, Marcin Abram,
• Abstract要約: オープン・クローズドな質問に対するタスクノベルティと難解さの関数として,文脈内学習の性能を測定した。 反故意に、トピックとより整合したコンテキストは、必ずしもあまり関係のないコンテキストに役立ちません。
• 参考スコア（独自算出の注目度）: 14.999106867218572
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We measure the performance of in-context learning as a function of task novelty and difficulty for open and closed questions. For that purpose, we created a novel benchmark consisting of hard scientific questions, each paired with a context of various relevancy. We show that counter-intuitively, a context that is more aligned with the topic does not always help more than a less relevant context. This effect is especially visible for open questions and questions of high difficulty or novelty. This result reveals a fundamental difference between the treatment of close-form and open-form questions by large-language models and shows a need for a more robust evaluation of in-context learning on the variety of different types of questions. It also poses a new question of how to optimally select a context for large language models, especially in the context of Retrieval Augmented Generation (RAG) systems. Our results suggest that the answer to this question can be highly application-dependent and might be contingent on factors including the format of the question, the perceived difficulty level of the questions, and the novelty or popularity of the information we seek.
• Abstract（参考訳）: オープン・クローズドな質問に対するタスクノベルティと難解さの関数として,文脈内学習の性能を測定した。 その目的のために、我々は、それぞれが様々な関連性の文脈と組み合わせて、硬い科学的疑問からなる新しいベンチマークを作成しました。 反故意に、トピックとより整合したコンテキストは、必ずしもあまり関係のないコンテキストに役立ちません。 この効果は、特にオープンな質問や、高い難易度や斬新さに関する質問に顕著である。 この結果から,大規模モデルによるクローズドフォームとオープンフォームの問合せの扱いの根本的な違いが明らかとなり,様々な種類の問合せに対して,文脈内学習をより堅牢に評価することの必要性が示唆された。 また、特にレトリーバル拡張生成(RAG)システムのコンテキストにおいて、大規模言語モデルのコンテキストをどのように最適に選択するかという新しい疑問も提起している。 この結果から,質問の形式,質問の難易度,求めている情報の新規性や人気度などの要因を考慮すれば,この質問に対する回答は高いアプリケーション依存性を持つ可能性が示唆された。

関連論文リスト

• Open Domain Question Answering with Conflicting Contexts [55.739842087655774]
  あいまいでオープンなドメインの質問の25%は、Google Searchを使って検索すると、コンフリクトのあるコンテキストにつながります。 我々はアノテータに正しい回答の選択についての説明を依頼する。
  論文  参考訳（メタデータ） (2024-10-16T07:24:28Z)
• How to Engage Your Readers? Generating Guiding Questions to Promote Active Reading [60.19226384241482]
  教科書や科学論文から10Kのインテキスト質問のデータセットであるGuidingQを紹介した。 言語モデルを用いてこのような質問を生成するための様々なアプローチを探索する。 我々は、そのような質問が読解に与える影響を理解するために、人間の研究を行う。
  論文  参考訳（メタデータ） (2024-07-19T13:42:56Z)
• Which questions should I answer? Salience Prediction of Inquisitive Questions [118.097974193544]
  非常に健全な質問は、同じ記事で経験的に答えられる可能性が高いことを示す。 質問に対する回答が,ニュースの要約品質の指標であることを示すことで,我々の知見をさらに検証する。
  論文  参考訳（メタデータ） (2024-04-16T21:33:05Z)
• Answering Ambiguous Questions with a Database of Questions, Answers, and Revisions [95.92276099234344]
  ウィキペディアから生成される曖昧な質問のデータベースを利用して、あいまいな質問に答えるための新しい最先端技術を提案する。 提案手法は,リコール対策で15%,予測出力から不明瞭な質問を評価する尺度で10%向上する。
  論文  参考訳（メタデータ） (2023-08-16T20:23:16Z)
• RECKONING: Reasoning through Dynamic Knowledge Encoding [51.076603338764706]
  言語モデルは、文脈の一部として提供される知識について推論することで、質問に答えることができることを示す。 これらの状況では、モデルは質問に答えるために必要な知識を区別することができない。 我々は、与えられた文脈知識をモデルのパラメータに折り畳み、より堅牢に推論するようにモデルに教えることを提案する。
  論文  参考訳（メタデータ） (2023-05-10T17:54:51Z)
• Discourse Comprehension: A Question Answering Framework to Represent Sentence Connections [35.005593397252746]
  談話理解のためのモデルの構築と評価における重要な課題は、注釈付きデータの欠如である。 本稿では,ニュース文書の理解を目的としたスケーラブルなデータ収集を実現する新しいパラダイムを提案する。 得られたコーパスDCQAは、607の英語文書からなる22,430の質問応答ペアで構成されている。
  論文  参考訳（メタデータ） (2021-11-01T04:50:26Z)
• Inquisitive Question Generation for High Level Text Comprehension [60.21497846332531]
  InQUISITIVEは、文書を読みながら19K質問を抽出するデータセットである。 我々は,読者が情報を求めるための実践的な戦略に携わることを示す。 我々は, GPT-2に基づく質問生成モデルを評価し, 妥当な質問を生成することができることを示す。
  論文  参考訳（メタデータ） (2020-10-04T19:03:39Z)
• Stay Hungry, Stay Focused: Generating Informative and Specific Questions in Information-Seeking Conversations [41.74162467619795]
  情報非対称な会話における情報的質問生成の問題について検討する。 実践的な質問を生成するために,情報量測定を最適化するために強化学習を用いる。 そこで本研究では,提案した実用的質問は,ベースラインモデル上で生成した質問の有意性と特異性を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2020-04-30T00:49:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。