論文の概要: Examining Two Hop Reasoning Through Information Content Scaling

• arxiv url: http://arxiv.org/abs/2502.03490v2
• Date: Fri, 21 Mar 2025 03:49:12 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-24 14:54:18.317230
• Title: Examining Two Hop Reasoning Through Information Content Scaling
• Title（参考訳）: 情報コンテンツスケーリングによる2つのホップ推論の検討
• Authors: David Johnston, Nora Belrose,
• Abstract要約: 2つの質問と回答のデータセットをそのサイズで学習するトランスフォーマーの能力について検討する。 キャパシティスケーリングと一般化はどちらも、潜伏する2つのホップQAは、トランスフォーマーがそれぞれの事実を2回学ぶ必要があるという仮説を支持している。
• 参考スコア（独自算出の注目度）: 1.1286386117655467
• License:
• Abstract: Prior work has found that transformers have an inconsistent ability to learn to answer latent two-hop questions -- questions of the form "Who is Bob's mother's boss?" We study why this is the case by examining how transformers' capacity to learn datasets of two-hop questions and answers (two-hop QA) scales with their size, motivated by prior work on transformer knowledge capacity for simple factual memorization. We find that capacity scaling and generalization both support the hypothesis that latent two-hop QA requires transformers to learn each fact twice, while two-hop QA with chain of thought does not. We also show that with appropriate dataset parameters, it is possible to "trap" very small models in a regime where they memorize answers to two-hop questions independently, even though they would perform better if they could learn to answer them with function composition. Our findings show that measurement of capacity scaling can complement existing interpretability methods, though there are challenges in using it for this purpose.
• Abstract（参考訳）: 以前の研究で、トランスフォーマーは潜伏する2人乗りの質問に答えることを学ぶのに一貫性がないことが判明した。 簡単な事実記憶のためのトランスフォーマー知識能力に関する先行研究に動機づけられた2ホップ質問と回答(2ホップQA)のデータセットをそのサイズで学習するトランスフォーマーの能力について検討する。 キャパシティスケーリングと一般化はどちらも、潜伏する2ホップのQAが各事実を2回学習するトランスフォーマーを必要とするという仮説を支持しているのに対し、思考の連鎖を持つ2ホップのQAはそうではない。 また、適切なデータセットパラメータを用いて、2つのホップ質問に対する回答を個別に記憶する仕組みで、非常に小さなモデルを"トラップ"することが可能であることを示しています。 本研究は,キャパシティスケーリングの測定が既存の解釈可能性手法を補完するものであることを示唆する。

関連論文リスト

• Understanding and Improving Zero-shot Multi-hop Reasoning in Generative Question Answering [85.79940770146557]
  マルチホップ質問を複数の単一ホップ質問に分解する。 これらの対の見かけ上同一の問合せ連鎖について、QAモデルの答えに顕著な矛盾が認められる。 シングルホップの質問だけを訓練すると、モデルはマルチホップの質問に対してあまり一般化しない。
  論文  参考訳（メタデータ） (2022-10-09T11:48:07Z)
• Prompt-based Conservation Learning for Multi-hop Question Answering [11.516763652013005]
  マルチホップ質問応答には、複雑な質問に答えるために複数の文書を推論する必要がある。 既存のマルチホップQAメソッドの多くは、サブクエストのかなりの部分に答えられません。 マルチホップQAのためのPromptベースの保存学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-14T20:50:46Z)
• Locate Then Ask: Interpretable Stepwise Reasoning for Multi-hop Question Answering [71.49131159045811]
  マルチホップ推論では、複雑な質問に答えるために複数の文書を集約する必要がある。 既存の方法は通常、マルチホップの質問を単純なシングルホップの質問に分解する。 そこで本研究では,単一ホップ支援文識別と単一ホップ質問生成の両方を組み込む,解釈可能な段階的推論フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-08-22T13:24:25Z)
• Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
  本稿では,単純な生成手法(PathFid)を提案する。 PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。 実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-18T21:57:59Z)
• MuSiQue: Multi-hop Questions via Single-hop Question Composition [36.84063888323547]
  マルチホップ質問を単一ホップ質問の合成として構築することにより,結果のマルチホップ質問の品質をよりよく制御することができる。 このプロセスを使用して、新しいマルチホップQAデータセットを構築する。 MuSiQue-Ans with 25K 2-4 ホップ質問。
  論文  参考訳（メタデータ） (2021-08-02T00:33:27Z)
• Constructing A Multi-hop QA Dataset for Comprehensive Evaluation of Reasoning Steps [31.472490306390977]
  マルチホップ質問応答データセットは、モデルが与えられた質問に答えるために複数の段落を読むことを要求することにより、推論と推論のスキルをテストすることを目的としている。 これまでの研究では、既存のマルチホップデータセットの多くの例は、質問に答えるためにマルチホップ推論を必要としないことが判明した。 構造化データと非構造化データを利用する2WikiMultiHopQAと呼ばれる新しいマルチホップQAデータセットを提案する。
  論文  参考訳（メタデータ） (2020-11-02T15:42:40Z)
• Unsupervised Multi-hop Question Answering by Question Generation [108.61653629883753]
  MQA-QGは、人間のようなマルチホップトレーニングデータを生成する、教師なしのフレームワークである。 生成された学習データのみを用いて、教師付き学習性能の61%と83%を達成できる有能なマルチホップQAを訓練することができる。
  論文  参考訳（メタデータ） (2020-10-23T19:13:47Z)
• Multi-hop Question Generation with Graph Convolutional Network [58.31752179830959]
  マルチホップ質問生成(Multi-hop Question Generation, QG)は,異なる段落から散在する複数の証拠を集約・推論することで,回答に関連する質問を生成することを目的とする。 複数のホップでコンテキストエンコーディングを行うMulQG(Multi-Hop volution Fusion Network for Question Generation)を提案する。 提案モデルでは,高い完全性を有する流動的な質問を生成することができ,マルチホップ評価において,最強のベースラインを20.8%向上させることができる。
  論文  参考訳（メタデータ） (2020-10-19T06:15:36Z)
• Is Multihop QA in DiRe Condition? Measuring and Reducing Disconnected Reasoning [50.114651561111245]
  モデルは、しばしば、複数のサポート事実をまたいで情報を接続することなく、正しい回答を生成するためにデータセットアーティファクトを利用する。 我々は、支持事実のサブセットにまたがる不連結推論のような望ましくない振る舞いを定式化する。 実験によると、読書理解設定においてマルチホップQAがあまり進歩していないことが示唆されている。
  論文  参考訳（メタデータ） (2020-05-02T11:01:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。