論文の概要: Molecular Facts: Desiderata for Decontextualization in LLM Fact Verification

• arxiv url: http://arxiv.org/abs/2406.20079v1
• Date: Fri, 28 Jun 2024 17:43:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-01 16:01:13.072756
• Title: Molecular Facts: Desiderata for Decontextualization in LLM Fact Verification
• Title（参考訳）: 分子 Facts: Desiderata for Decontextualization in LLM Fact Verification
• Authors: Anisha Gunjal, Greg Durrett,
• Abstract要約: 我々は、完全な原子的事実は正しい表現ではなく、分子的事実の2つの基準を定義する。 本稿では,分子事実を自動生成するための基準手法を提案する。
• 参考スコア（独自算出の注目度）: 56.39904484784127
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Automatic factuality verification of large language model (LLM) generations is becoming more and more widely used to combat hallucinations. A major point of tension in the literature is the granularity of this fact-checking: larger chunks of text are hard to fact-check, but more atomic facts like propositions may lack context to interpret correctly. In this work, we assess the role of context in these atomic facts. We argue that fully atomic facts are not the right representation, and define two criteria for molecular facts: decontextuality, or how well they can stand alone, and minimality, or how little extra information is added to achieve decontexuality. We quantify the impact of decontextualization on minimality, then present a baseline methodology for generating molecular facts automatically, aiming to add the right amount of information. We compare against various methods of decontextualization and find that molecular facts balance minimality with fact verification accuracy in ambiguous settings.
• Abstract（参考訳）: 大規模言語モデル(LLM)世代の自動事実検証は、幻覚と戦うためにますます広く使われている。 より大きなテキストの塊は事実チェックが難しいが、命題のようなアトミックな事実は、正しく解釈する文脈を欠いているかもしれない。 本研究では,これらの原子的事実における文脈の役割を評価する。 完全原子的事実は正しい表現ではなく、分子的事実の2つの基準を定義する。 最小化における非文脈化の影響を定量化し, 分子事実を自動生成するためのベースライン方法論を提示し, 適切な量の情報を加えることを目的とした。 その結果,分子的事実は,不明瞭な環境下での事実検証精度と最小限の相関関係があることが判明した。

関連論文リスト

• FactLens: Benchmarking Fine-Grained Fact Verification [6.814173254027381]
  我々は、複雑なクレームを個別の検証のためにより小さなサブステートに分割する、きめ細かい検証へのシフトを提唱する。 我々は,ファクトレンス(FactLens)という,ファクトレンス(FactLens)という,詳細な事実検証のベンチマークを紹介した。 この結果から,FactLens自動評価器と人的判断との整合性を示し,評価性能に対する準定値特性の影響について考察した。
  論文  参考訳（メタデータ） (2024-11-08T21:26:57Z)
• FactGenius: Combining Zero-Shot Prompting and Fuzzy Relation Mining to Improve Fact Verification with Knowledge Graphs [0.0]
  FactGeniusは,大規模言語モデルのゼロショットプロンプトと知識グラフ上のファジィテキストマッチングを組み合わせることで,ファクトチェックを強化する新しい手法である。 事実検証のベンチマークデータセットであるFactKG上でのFactGeniusの評価は、既存のベースラインを大幅に上回っていることを示している。
  論文  参考訳（メタデータ） (2024-06-03T13:24:37Z)
• Atomas: Hierarchical Alignment on Molecule-Text for Unified Molecule Understanding and Generation [42.08917809689811]
  SMILES文字列とテキストから表現を共同学習するマルチモーダルな分子表現学習フレームワークAtomasを提案する。 検索タスクでは、Atomasは堅牢な一般化能力を示し、ベースラインを平均30.8%上回っている。 生成タスクでは、Atomasは分子キャプションタスクと分子生成タスクの両方で最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-04-23T12:35:44Z)
• Linking Surface Facts to Large-Scale Knowledge Graphs [23.380979397966286]
  Open Information extract (OIE)メソッドは、自然言語のテキストから、"subject"、"relation"、"object"の三重項の形で事実を抽出する。 知識グラフ(KG)は、正準形式(すなわち曖昧な形式)の事実を含むが、そのカバレッジは静的スキーマによって制限される。 本稿では,例えば,ファクトリンク性能を粒度三重スロットレベルで測定できる新しい評価プロトコルを用いたベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-10-23T13:18:49Z)
• The Perils & Promises of Fact-checking with Large Language Models [55.869584426820715]
  大規模言語モデル(LLM)は、学術論文、訴訟、ニュース記事を書くことをますます信頼されている。 語句検索,文脈データ検索,意思決定などにより,実検におけるLLMエージェントの使用状況を評価する。 本研究は, 文脈情報を用いたLLMの高度化を示すものである。 LLMは事実チェックにおいて有望であるが、不整合の正確性のため注意が必要である。
  論文  参考訳（メタデータ） (2023-10-20T14:49:47Z)
• MolXPT: Wrapping Molecules with Text for Generative Pre-training [141.0924452870112]
  MolXPTは、テキストでラップされたSMILESで事前訓練されたテキストと分子の統一言語モデルである。 MolXPT は MoleculeNet 上での分子特性予測の強いベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-05-18T03:58:19Z)
• Missing Counter-Evidence Renders NLP Fact-Checking Unrealistic for Misinformation [67.69725605939315]
  誤報は、信頼できる情報が限られている不確実な時に現れる。 NLPベースのファクトチェックは、まだ利用できないかもしれない反証拠に依存しているため、これは難しい。
  論文  参考訳（メタデータ） (2022-10-25T09:40:48Z)
• A Molecular Multimodal Foundation Model Associating Molecule Graphs with Natural Language [63.60376252491507]
  本稿では,分子グラフとその意味的関連テキストデータから事前学習した分子マルチモーダル基礎モデルを提案する。 我々のモデルは、生物学、化学、材料、環境、医学などの分野において、AIを動力とする分野に幅広い影響を与えるだろうと考えています。
  論文  参考訳（メタデータ） (2022-09-12T00:56:57Z)
• Factuality Enhanced Language Models for Open-Ended Text Generation [60.27166549575472]
  我々は、LM世代の実測のためのFactalityPromptsテストセットとメトリクスを設計する。 より大きなLMはより小さなものよりも現実的であることが分かるが、以前の研究では、大きなLMは誤解の観点からは真実性が低いことを示唆している。 そこで本稿では,TopicPrefixを用いた事実認識と文完成のための実感強化学習手法を提案する。
  論文  参考訳（メタデータ） (2022-06-09T17:16:43Z)
• The Role of Context in Detecting Previously Fact-Checked Claims [27.076320857009655]
  我々は、文脈が本当に重要である政治的議論でなされた主張に焦点を当てている。 本稿では,事実確認説明書において,クレームのコンテキストをソース側とターゲット側の両方でモデル化することの影響について検討する。
  論文  参考訳（メタデータ） (2021-04-15T12:39:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。