論文の概要: Mitigating Temporal Misalignment by Discarding Outdated Facts
- arxiv url: http://arxiv.org/abs/2305.14824v3
- Date: Tue, 5 Mar 2024 16:32:58 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-07 03:27:25.013564
- Title: Mitigating Temporal Misalignment by Discarding Outdated Facts
- Title(参考訳): 時代遅れの要素を識別する時間的過失
- Authors: Michael J.Q. Zhang and Eunsol Choi
- Abstract要約: 大規模な言語モデルは、しばしば時間的ミスアライメントの下で使われ、現在に関する質問に答える。
我々は、ある事実がいつまで真実であるかを予測するタスクとして、事実期間予測を提案する。
私たちのデータとコードはhttps://github.com/mikejqzhang/mitigating_misalignment.comで公開されています。
- 参考スコア(独自算出の注目度): 58.620269228776294
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: While large language models are able to retain vast amounts of world
knowledge seen during pretraining, such knowledge is prone to going out of date
and is nontrivial to update. Furthermore, these models are often used under
temporal misalignment, tasked with answering questions about the present,
despite having only been trained on data collected in the past. To mitigate the
effects of temporal misalignment, we propose fact duration prediction: the task
of predicting how long a given fact will remain true. In our experiments, we
demonstrate that identifying which facts are prone to rapid change can help
models avoid reciting outdated information and determine which predictions
require seeking out up-to-date knowledge sources. We also show how modeling
fact duration improves calibration for knowledge-intensive tasks, such as
open-retrieval question answering, under temporal misalignment, by discarding
volatile facts. Our data and code are released publicly at
https://github.com/mikejqzhang/mitigating_misalignment.
- Abstract(参考訳): 大規模な言語モデルは、事前トレーニング中に見られる膨大な量の知識を保持できるが、そのような知識は時代遅れになりがちであり、更新するのは簡単ではない。
さらに、これらのモデルは、過去に収集されたデータについてのみ訓練されたにもかかわらず、現在に関する質問に答えるタスクとして、時間的ミスアライメントの下でしばしば使用される。
時間的ミスアライメントの効果を軽減するために,与えられた事実がいつまで真実であるかを予測するタスクとして,実時間予測を提案する。
実験では、どの事実が急速に変化しやすいかを特定することで、モデルが時代遅れの情報を引用することを避け、どの予測が最新の知識ソースを求める必要があるかを判断するのに役立つことを実証する。
また,時間的ミスアライメントの下では,知識集約型タスクのキャリブレーションのモデル化により,不安定な事実を排除し,知識集約型タスクのキャリブレーションが向上することを示す。
私たちのデータとコードはhttps://github.com/mikejqzhang/mitigating_misalignmentで公開されています。
関連論文リスト
- Remember This Event That Year? Assessing Temporal Information and
Reasoning in Large Language Models [1.3062731746155414]
大規模言語モデル(LLM)はますます普及しているが、時間的情報を推論し保持する能力は依然として限られている。
本稿では,新しい大規模時間的データセットであるtextbfTempUN の最先端モデルを用いて,時間的保持と推論能力の大幅な制限を明らかにする。
論文 参考訳(メタデータ) (2024-02-19T09:43:03Z) - R-Tuning: Teaching Large Language Models to Refuse Unknown Questions [68.60002086172133]
我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。
このアプローチは、まずパラメトリック知識と命令チューニングデータの間の知識ギャップを識別することによって定式化される。
実験により、この新しい命令チューニングアプローチは、既知の質問に答えるモデルの能力を効果的に改善することを示した。
論文 参考訳(メタデータ) (2023-11-16T08:45:44Z) - The Effect of Masking Strategies on Knowledge Retention by Language
Models [9.130890741447422]
本稿では,事前学習タスクが言語モデルによって捉え,忘れられた知識量に与える影響を理解することを目的とする。
我々は,実際の質問に答える能力を測定することによって,モデルの知識保持を検証した。
我々の研究結果は、あるタスクを実行する能力と同様に、そのタスクでトレーニングされた知識は、あるモデルが別のタスクを実行するように訓練されたときに忘れられることを示した。
論文 参考訳(メタデータ) (2023-06-12T15:35:23Z) - Can LMs Learn New Entities from Descriptions? Challenges in Propagating
Injected Knowledge [72.63368052592004]
我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。
既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。
しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
論文 参考訳(メタデータ) (2023-05-02T17:59:46Z) - A Dataset for Answering Time-Sensitive Questions [88.95075983560331]
時間とは、我々の物理的世界において重要な次元である。多くの事実が時間に関して進化することができる。
時間次元を考慮し、既存のQAモデルに時間とともに推論する権限を与えることが重要です。
既存のQAデータセットには、時間に敏感な質問がほとんどないため、モデルの時間的推論能力の診断やベンチマークには適さない。
論文 参考訳(メタデータ) (2021-08-13T16:42:25Z) - FaVIQ: FAct Verification from Information-seeking Questions [77.7067957445298]
実ユーザによる情報探索質問を用いて,ファVIQと呼ばれる大規模事実検証データセットを構築した。
我々の主張は自然であると証明され、語彙バイアスがほとんどなく、検証の証拠を完全に理解する必要がある。
論文 参考訳(メタデータ) (2021-07-05T17:31:44Z) - Time-Aware Language Models as Temporal Knowledge Bases [39.00042720454899]
言語モデル(LM)は特定のタイミングで収集されたデータのスナップショットに基づいて訓練される。
本稿では,時間とともに変化する事実的知識に対するLMの探索を目的とした診断データセットを提案する。
本稿では,テキストをタイムスタンプでモデル化する簡単な手法を提案する。
論文 参考訳(メタデータ) (2021-06-29T06:18:57Z) - Editing Factual Knowledge in Language Models [51.947280241185]
本稿では,この知識を編集する手法であるKnowledgeEditorを提案する。
knowledgeeditorは計算効率が高いだけでなく、lm事前トレーニングの修正も必要としない。
2つの一般的なアーキテクチャと知識集約型タスクで、KnowledgeEditorの有効性を示します。
論文 参考訳(メタデータ) (2021-04-16T15:24:42Z) - Learning from History: Modeling Temporal Knowledge Graphs with
Sequential Copy-Generation Networks [8.317441990017924]
本稿では,新しいタイムアウェアコピー生成機構に基づく時間知識グラフ,すなわちCyGNetの表現学習モデルを提案する。
cygnetは、エンティティの語彙全体から将来の事実を予測できるだけでなく、繰り返しで事実を識別できるため、過去の既知の事実を参照して、そのような将来の事実を予測できる。
論文 参考訳(メタデータ) (2020-12-15T18:38:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。