論文の概要: Atomic Inference for NLI with Generated Facts as Atoms

• arxiv url: http://arxiv.org/abs/2305.13214v2
• Date: Tue, 01 Oct 2024 15:48:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-02 16:32:59.661501
• Title: Atomic Inference for NLI with Generated Facts as Atoms
• Title（参考訳）: 生成ファクトを原子とするNLIの原子推論
• Authors: Joe Stacey, Pasquale Minervini, Haim Dubossarsky, Oana-Maria Camburu, Marek Rei,
• Abstract要約: 原子推論は解釈可能で忠実なモデル決定を提供する。 このアプローチでは、全体的な予測を導出するために解釈可能かつ決定論的ルールを使用する前に、インスタンスの異なるコンポーネント(または原子)の予測を行う。 本研究では, LLM生成した事実を原子として利用し, 自然言語推論の前提を事実のリストに分解する方法について検討する。
• 参考スコア（独自算出の注目度）: 26.320297488995262
• License:
• Abstract: With recent advances, neural models can achieve human-level performance on various natural language tasks. However, there are no guarantees that any explanations from these models are faithful, i.e. that they reflect the inner workings of the model. Atomic inference overcomes this issue, providing interpretable and faithful model decisions. This approach involves making predictions for different components (or atoms) of an instance, before using interpretable and deterministic rules to derive the overall prediction based on the individual atom-level predictions. We investigate the effectiveness of using LLM-generated facts as atoms, decomposing Natural Language Inference premises into lists of facts. While directly using generated facts in atomic inference systems can result in worse performance, with 1) a multi-stage fact generation process, and 2) a training regime that incorporates the facts, our fact-based method outperforms other approaches.
• Abstract（参考訳）: 近年の進歩により、ニューラルモデルは様々な自然言語タスクにおいて人間レベルのパフォーマンスを達成することができる。 しかし、これらのモデルからの説明が忠実であること、すなわちモデルの内部の動作を反映していることは保証されていない。 原子推論はこの問題を克服し、解釈可能で忠実なモデル決定を提供する。 このアプローチでは、個々の原子レベルの予測に基づいて全体的な予測を導出するために解釈可能かつ決定論的ルールを使用する前に、インスタンスの異なるコンポーネント(または原子)の予測を行う。 本研究では, LLM生成した事実を原子として利用し, 自然言語推論の前提を事実のリストに分解する方法について検討する。 原子推論システムで生成した事実を直接使用すると、パフォーマンスが悪化する可能性がある。 1)多段階の事実生成プロセス、及び 2) 事実を取り入れた学習体制では, 事実に基づく手法が他の手法より優れている。

関連論文リスト

• Preserving Knowledge Invariance: Rethinking Robustness Evaluation of Open Information Extraction [50.62245481416744]
  実世界におけるオープン情報抽出モデルの評価をシミュレートする最初のベンチマークを示す。 我々は、それぞれの例が知識不変のcliqueである大規模なテストベッドを設計し、注釈付けする。 さらにロバスト性計量を解明することにより、その性能が全体の傾きに対して一貫して正確であるならば、モデルはロバストであると判断される。
  論文  参考訳（メタデータ） (2023-05-23T12:05:09Z)
• Multi-Scales Data Augmentation Approach In Natural Language Inference For Artifacts Mitigation And Pre-Trained Model Optimization [0.0]
  クラウドソーシングされたStanford Natural Language Inference corpus内でデータセットのアーティファクトを分析し、配置するための様々な技術を提供する。 データセットアーティファクトを緩和するために、2つの異なるフレームワークで独自のマルチスケールデータ拡張技術を採用している。 本手法は, 摂動試験に対するモデルの抵抗性を向上し, トレーニング済みベースラインの連続的な性能向上を可能にする。
  論文  参考訳（メタデータ） (2022-12-16T23:37:44Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Logical Reasoning with Span Predictions: Span-level Logical Atoms for Interpretable and Robust NLI Models [19.601700560645206]
  現在の自然言語推論(NLI)モデルは、時には非分配テストセットで人間よりも優れた結果が得られる。 我々はNLIのための論理的推論フレームワークを導入し、論理的ルールに基づいた極めて透明なモデル決定を作成します。 SNLIの性能をほぼ完全に維持しつつ、各モデル予測に責任を持つ正確な仮説を特定できます。
  論文  参考訳（メタデータ） (2022-05-23T16:24:27Z)
• An Empirical Investigation of Commonsense Self-Supervision with Knowledge Graphs [67.23285413610243]
  大規模知識グラフから抽出した情報に基づく自己監督は、言語モデルの一般化を改善することが示されている。 本研究では,言語モデルに適用可能な合成データを生成するための知識サンプリング戦略とサイズの影響について検討する。
  論文  参考訳（メタデータ） (2022-05-21T19:49:04Z)
• Explaining the Deep Natural Language Processing by Mining Textual Interpretable Features [3.819533618886143]
  T-EBAnOは、深層自然言語モデルに適した、予測ローカルでクラスベースのモデル-言語的説明戦略である。 自動意思決定プロセスの背後にある理由について、客観的で、人間可読で、ドメイン固有の評価を提供する。
  論文  参考訳（メタデータ） (2021-06-12T06:25:09Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• PSD2 Explainable AI Model for Credit Scoring [0.0]
  本研究の目的は、信用リスクモデルの予測精度を向上させるための高度な分析手法の開発と試験である。 このプロジェクトは、銀行関連のデータベースに説明可能な機械学習モデルを適用することに焦点を当てている。
  論文  参考訳（メタデータ） (2020-11-20T12:12:38Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。