論文の概要: Context Matters: An Empirical Study of the Impact of Contextual Information in Temporal Question Answering Systems
- arxiv url: http://arxiv.org/abs/2406.19538v1
- Date: Thu, 27 Jun 2024 21:31:30 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-01 18:22:04.927923
- Title: Context Matters: An Empirical Study of the Impact of Contextual Information in Temporal Question Answering Systems
- Title（参考訳）: 文脈事項:時間的質問回答システムにおける文脈情報の影響に関する実証的研究
- Authors: Dan Schumacher, Fatemeh Haji, Tara Grey, Niharika Bandlamudi, Nupoor Karnik, Gagana Uday Kumar, Jason Cho-Yu Chiang, Paul Rad, Nishant Vishwamitra, Anthony Rios,
- Abstract要約: 本稿では,様々な文脈で学習した時間的質問応答システムのロバスト性について実験的に検討する。
これらのコンテキストを混合したトレーニングにより、モデルの堅牢性と精度が向上することを示す。
我々は、コンテキストリッチなTQAデータセットであるContextAQAとContextTQEを導入し、堅牢なTQAモデルをトレーニングするための包括的な評価とガイドラインを提供する。
- 参考スコア（独自算出の注目度）: 7.393290178125003
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) often struggle with temporal reasoning, crucial for tasks like historical event analysis and time-sensitive information retrieval. Despite advancements, state-of-the-art models falter in handling temporal information, especially when faced with irrelevant or noisy contexts. This paper addresses this gap by empirically examining the robustness of temporal question-answering (TQA) systems trained on various context types, including relevant, irrelevant, slightly altered, and no context. Our findings indicate that training with a mix of these contexts enhances model robustness and accuracy. Additionally, we show that the position of context relative to the question significantly impacts performance, with question-first positioning yielding better results. We introduce two new context-rich TQA datasets, ContextAQA and ContextTQE, and provide comprehensive evaluations and guidelines for training robust TQA models. Our work lays the foundation for developing reliable and context-aware temporal QA systems, with broader implications for enhancing LLM robustness against diverse and potentially adversarial information.
- Abstract（参考訳）: 大規模言語モデル(LLM)は、歴史的事象分析や時間に敏感な情報検索といったタスクに不可欠な時間的推論に苦しむことが多い。
進歩にも拘わらず、最先端のモデルでは、特に無関係や騒々しい状況に直面した場合、時間的情報を扱うのが苦手である。
本稿では, 時間的質問応答(TQA)システムにおいて, 関連性, 関連性, 変更性, 文脈性など, 様々な文脈タイプで訓練された頑健さを実証的に検証することによって, このギャップを解消する。
以上の結果から,これらのコンテキストの混合によるトレーニングにより,モデルの堅牢性と精度が向上することが示唆された。
さらに,質問に対する文脈の位置が性能に大きく影響し,質問優先の位置がより良い結果をもたらすことを示した。
我々は、コンテキストリッチなTQAデータセットであるContextAQAとContextTQEを導入し、堅牢なTQAモデルをトレーニングするための包括的な評価とガイドラインを提供する。
我々の研究は、多種多様かつ潜在的に敵対的な情報に対するLCM堅牢性を高めるために、信頼性と文脈に配慮した時間的QAシステムの開発の基礎を築いた。
関連論文リスト
- UnSeenTimeQA: Time-Sensitive Question-Answering Beyond LLMs' Memorization [34.257914212541394]
UnSeenTimeQAは、新しい時間に敏感な質問応答ベンチマークである。
これは、事実とWeb検索可能なクエリを避けることで、従来のTSQAベンチマークから切り離されている。
真の時間的推論を行うには、大きな言語モデルが必要である。
論文 参考訳（メタデータ） (2024-07-03T22:02:07Z) - Synthetic Context Generation for Question Generation [6.226609932118123]
本稿では,大規模言語モデルによる合成文脈を用いたQGモデルの訓練について検討する。
たとえ合成されたとしても、QGタスクにはコンテキストが不可欠であることがわかった。
論文 参考訳（メタデータ） (2024-06-19T03:37:52Z) - Limited Out-of-Context Knowledge Reasoning in Large Language Models [65.72847298578071]
LLM(Large Language Models)は、知識ベースとしての強力な能力と、コンテキスト内推論能力を示す。
本稿では、複数の知識を組み合わせて新しい知識を推論する、アウト・オブ・コンテクストの知識推論(OCKR: Out-of-context Knowledge Reasoning)について論じる。
論文 参考訳（メタデータ） (2024-06-11T15:58:59Z) - Consistency Training by Synthetic Question Generation for Conversational Question Answering [14.211024633768986]
我々は、歴史的情報を合成的な質問で強化し、その推論を無関係な歴史に対して堅牢にする。
これは、会話型QA設定をモデル化するためのデータ拡張の一形態として、質問生成を用いた最初の研究例である。
論文 参考訳（メタデータ） (2024-04-17T06:49:14Z) - Towards Robust Temporal Reasoning of Large Language Models via a Multi-Hop QA Dataset and Pseudo-Instruction Tuning [73.51314109184197]
大規模言語モデル(LLM)には時間的知識の概念を理解することが不可欠である。
本稿では,複数質問応答と複数ホップの時間的推論に焦点をあてた複雑な時間的質問応答データセットであるComplex-TRを提案する。
論文 参考訳（メタデータ） (2023-11-16T11:49:29Z) - Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。
FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。
テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
論文 参考訳（メタデータ） (2023-11-14T18:41:54Z) - Lost in the Middle: How Language Models Use Long Contexts [88.78803442320246]
本研究では,言語モデルの性能を2つのタスクで解析する。
関連する情報の位置を変えると,性能が著しく低下することがわかった。
我々の分析は、言語モデルが入力コンテキストをどのように使用するかをよりよく理解し、将来の長文言語モデルのための新しい評価プロトコルを提供する。
論文 参考訳（メタデータ） (2023-07-06T17:54:11Z) - Large Language Models with Controllable Working Memory [64.71038763708161]
大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。
これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。
モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
論文 参考訳（メタデータ） (2022-11-09T18:58:29Z) - Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。
動的パーソナライズされた価格設定などの問題の因果構造を形式化する。
本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
論文 参考訳（メタデータ） (2021-10-19T16:15:56Z) - Sorting through the noise: Testing robustness of information processing
in pre-trained language models [5.371816551086117]
本稿では,意図しないコンテンツに関連性のあるコンテキスト情報を配置するモデルの頑健さについて検討する。
モデルが従来の文脈から関連する事実を理解・適用するために単純な文脈に現れるが、注意散らしながら無関係なコンテンツの存在は、混乱したモデル予測に明らかな影響を与えている。
論文 参考訳（メタデータ） (2021-09-25T16:02:23Z) - SituatedQA: Incorporating Extra-Linguistic Contexts into QA [7.495151447459443]
SituatedQA(SituatedQA)は,時間的・地理的文脈を考慮に入れた質問に対して,システムが正しい回答を提示しなければならない,オープン検索型QAデータセットである。
質問を求める情報のかなりの割合は、文脈に依存した回答であることがわかった。
我々の研究は、既存のモデルが頻繁に更新される、あるいは珍しい場所から回答を得るのに苦労していることを示している。
論文 参考訳（メタデータ） (2021-09-13T17:53:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。