論文の概要: MuLan: A Study of Fact Mutability in Language Models

• arxiv url: http://arxiv.org/abs/2404.03036v1
• Date: Wed, 3 Apr 2024 19:47:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-05 16:44:51.940154
• Title: MuLan: A Study of Fact Mutability in Language Models
• Title（参考訳）: MuLan: 言語モデルにおけるFact Mutabilityの研究
• Authors: Constanza Fierro, Nicolas Garneau, Emanuele Bugliarello, Yova Kementchedjhieva, Anders Søgaard,
• Abstract要約: 信頼できる言語モデルは、理想的には変更可能な事実をそのようなものとして識別し、それに従って処理する。 MuLanは、英語モデルが時間一貫性を予測できる能力を評価するためのベンチマークです。
• 参考スコア（独自算出の注目度）: 50.626787909759976
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Facts are subject to contingencies and can be true or false in different circumstances. One such contingency is time, wherein some facts mutate over a given period, e.g., the president of a country or the winner of a championship. Trustworthy language models ideally identify mutable facts as such and process them accordingly. We create MuLan, a benchmark for evaluating the ability of English language models to anticipate time-contingency, covering both 1:1 and 1:N relations. We hypothesize that mutable facts are encoded differently than immutable ones, hence being easier to update. In a detailed evaluation of six popular large language models, we consistently find differences in the LLMs' confidence, representations, and update behavior, depending on the mutability of a fact. Our findings should inform future work on the injection of and induction of time-contingent knowledge to/from LLMs.
• Abstract（参考訳）: 事実は偶発的であり、異なる状況下で真または偽である可能性がある。 そのような事態の1つは時間であり、ある期間、例えば国家の大統領やチャンピオンシップの勝者など、いくつかの事実が変化する。 信頼できる言語モデルは、理想的には変更可能な事実をそのようなものとして識別し、それに従って処理する。 MuLanは,1:1と1:Nの関係を網羅した,英語モデルによる時間の予測能力を評価するベンチマークである。 変更可能な事実は不変なものとは異なるコード化されているため、更新が容易である、という仮説を立てる。 6つのポピュラーな大言語モデルの詳細な評価では, 事実の不変性に応じて, LLMの信頼性, 表現, 更新行動の相違点を一貫して見出す。 本研究は,LLMへの時間依存的知識の注入と誘導に関する今後の研究について報告するものである。

関連論文リスト

• Learning and Unlearning of Fabricated Knowledge in Language Models [16.971082623826263]
  共通知識と矛盾する事実が数万のトレーニングステップで記憶されていることを示す。 LMにおける知識共用事実の影響は,長期にわたる可能性があるが,マルチステップスパース更新の新たな適用により,ほぼ消去可能であることを示す。
  論文  参考訳（メタデータ） (2024-10-29T05:33:14Z)
• Co-occurrence is not Factual Association in Language Models [19.708303468664088]
  言語モデルは,真の事実関連性ではなく,単語共起統計の学習に偏りがあることが示される。 本稿では,言語モデルにおける事実関連性の学習を改善するための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2024-09-21T08:13:16Z)
• Time Awareness in Large Language Models: Benchmarking Fact Recall Across Time [0.0]
  我々は、時間に敏感な事実を扱う大規模言語モデルの能力を厳格にテストするために設計された新しいデータセットを導入する。 我々のベンチマークは、LLMが自身の知識を正しい時間文脈とどのように一致させるかを測定するための体系的な方法を提供する。
  論文  参考訳（メタデータ） (2024-09-20T08:57:20Z)
• Fine-tuning Language Models for Factuality [96.5203774943198]
  大規模な事前訓練型言語モデル(LLM)は、しばしば伝統的な検索エンジンの代替として、広く使われるようになった。 しかし、言語モデルは説得力のあるが事実的に不正確な主張をしがちである(しばしば「幻覚」と呼ばれる)。 本研究では,人間のラベル付けなしに,より現実的な言語モデルを微調整する。
  論文  参考訳（メタデータ） (2023-11-14T18:59:15Z)
• Cross-Lingual Consistency of Factual Knowledge in Multilingual Language Models [2.6626950367610402]
  本研究では,多言語PLMにおける事実知識の言語間整合性(CLC)について検討する。 本稿では,言語間の知識一貫性を精度から独立して評価するために,ランク付けに基づく一貫性尺度(RankC)を提案する。
  論文  参考訳（メタデータ） (2023-10-16T13:19:17Z)
• Do Large Language Models Know about Facts? [60.501902866946]
  大規模言語モデル(LLM)は、最近、さまざまな自然言語処理タスクにおいて、大幅なパフォーマンス改善を推進している。 我々は,ベンチマークPinocchioを設計し,LLM内の事実知識の範囲と範囲を評価することを目的とする。 Pinocchioには、異なるソース、タイムライン、ドメイン、リージョン、言語にまたがる20万のさまざまな事実質問が含まれている。
  論文  参考訳（メタデータ） (2023-10-08T14:26:55Z)
• Mitigating Temporal Misalignment by Discarding Outdated Facts [58.620269228776294]
  大規模な言語モデルは、しばしば時間的ミスアライメントの下で使われ、現在に関する質問に答える。 我々は、ある事実がいつまで真実であるかを予測するタスクとして、事実期間予測を提案する。 私たちのデータとコードはhttps://github.com/mikejqzhang/mitigating_misalignment.comで公開されています。
  論文  参考訳（メタデータ） (2023-05-24T07:30:08Z)
• Can LMs Learn New Entities from Descriptions? Challenges in Propagating Injected Knowledge [72.63368052592004]
  我々は、注入された事実に基づいて推論を行う(またはそれらの事実を伝播する)LMの能力について研究する。 既存の知識更新手法では,注入知識の伝播がほとんどないことがわかった。 しかし、LMのコンテキストにおけるエンティティ定義の予測は、すべての設定におけるパフォーマンスを改善する。
  論文  参考訳（メタデータ） (2023-05-02T17:59:46Z)
• Multi-timescale Representation Learning in LSTM Language Models [69.98840820213937]
  言語モデルは、非常に短いから非常に長いまでの時間スケールで単語間の統計的依存関係を捉えなければならない。 我々は、長期記憶言語モデルにおけるメモリゲーティング機構が、パワーローの減衰を捉えることができるかの理論を導出した。 実験の結果,自然言語で学習したLSTM言語モデルは,この理論分布を近似することがわかった。
  論文  参考訳（メタデータ） (2020-09-27T02:13:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。