論文の概要: Reverse-engineering NLI: A study of the meta-inferential properties of Natural Language Inference

• arxiv url: http://arxiv.org/abs/2601.05170v2
• Date: Fri, 09 Jan 2026 17:37:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-12 13:49:32.58652
• Title: Reverse-engineering NLI: A study of the meta-inferential properties of Natural Language Inference
• Title（参考訳）: リバースエンジニアリングNLI:自然言語推論のメタ推論特性に関する研究
• Authors: Rasmus Blanck, Bill Noble, Stergios Chatzikyriakidis,
• Abstract要約: 自然言語推論(NLI)は、自然言語理解のための言語モデルを評価する重要なタスクである。 我々は、NLIラベルセットの3つの可能な読み出しを定式化し、それらが持つメタ推論特性を包括的に分析する。 論理的関係の読み出しがデータセットによってエンコードされるという知見を導出する。
• 参考スコア（独自算出の注目度）: 0.3431752534091897
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Natural Language Inference (NLI) has been an important task for evaluating language models for Natural Language Understanding, but the logical properties of the task are poorly understood and often mischaracterized. Understanding the notion of inference captured by NLI is key to interpreting model performance on the task. In this paper we formulate three possible readings of the NLI label set and perform a comprehensive analysis of the meta-inferential properties they entail. Focusing on the SNLI dataset, we exploit (1) NLI items with shared premises and (2) items generated by LLMs to evaluate models trained on SNLI for meta-inferential consistency and derive insights into which reading of the logical relations is encoded by the dataset.
• Abstract（参考訳）: 自然言語推論(NLI)は、自然言語理解のための言語モデルを評価する上で重要なタスクであるが、そのタスクの論理的性質はよく理解されておらず、しばしば誤認識される。 NLIが捉えた推論の概念を理解することが、タスクのモデルパフォーマンスを解釈する鍵となる。 本稿では,NLIラベルセットの3つの可能な読み出しを定式化し,それらが持つメタ推論特性を包括的に解析する。 SNLIデータセットに着目し,(1)共有前提のNLI項目と(2)LLMが生成した項目を利用して,SNLI上でトレーニングされたモデルを用いてメタ推論整合性を評価し,そのデータセットで論理的関係を読み取るための洞察を導出する。

関連論文リスト

• Let's CONFER: A Dataset for Evaluating Natural Language Inference Models on CONditional InFERence and Presupposition [6.429761894240061]
  本研究では,NLIモデルが条件文の推論をどのように処理するかを評価するための新しいデータセットであるConFERを紹介する。 2つの事前学習モデルを含む4つのNLIモデルの性能を評価し、条件付き推論への一般化について検討する。 以上の結果から,NLIモデルは条件付き推論に苦慮し,既存のNLIデータセットの微調整が必ずしも性能を向上するとは限らないことが示唆された。
  論文  参考訳（メタデータ） (2025-06-06T14:42:20Z)
• Pushing the boundary on Natural Language Inference [49.15148871877941]
  自然言語推論(NLI)は、ファクトチェック、質問応答、情報検索における自然言語理解の中心的なタスクである。 その重要性にもかかわらず、現在のNLIシステムは、アーティファクトやバイアス、推論、実世界の適用性を制限した学習に大きく依存している。 この作業は、品質や実世界の適用性を犠牲にすることなく、堅牢なNLIシステムを構築するためのフレームワークを提供する。
  論文  参考訳（メタデータ） (2025-04-25T14:20:57Z)
• Automated Data Visualization from Natural Language via Large Language Models: An Exploratory Study [41.84915013818794]
  The Natural Language to Visualization (NL2Vis) taskは、自然言語記述を接地テーブルの視覚表現に変換することを目的としている。 多くのディープラーニングベースのアプローチがNL2Vis向けに開発されているが、目に見えないデータベースや複数のテーブルにまたがるデータの視覚化には課題が続いている。 本稿では,Large Language Models (LLMs) の顕著な生成能力からインスピレーションを得て,その可能性を評価するための実証的研究を行う。
  論文  参考訳（メタデータ） (2024-04-26T03:25:35Z)
• Exploiting Contextual Target Attributes for Target Sentiment Classification [53.30511968323911]
  TSCの既存のPTLMベースモデルは、1)PTLMをコンテキストエンコーダとして採用した微調整ベースモデル、2)テキスト/単語生成タスクに分類タスクを転送するプロンプトベースモデル、の2つのグループに分類される。 我々は,PTLM を TSC に活用する新たな視点として,言語モデリングと文脈的ターゲット属性による明示的ターゲットコンテキスト相互作用の利点を同時に活用する。
  論文  参考訳（メタデータ） (2023-12-21T11:45:28Z)
• kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest Neighbor In-Context Learning [50.40636157214161]
  Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。 LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。 本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-17T17:26:50Z)
• Native Language Identification with Large Language Models [60.80452362519818]
  我々はGPTモデルがNLI分類に熟練していることを示し、GPT-4は0ショット設定でベンチマーク11テストセットで91.7%の新たなパフォーマンス記録を樹立した。 また、従来の完全教師付き設定とは異なり、LLMは既知のクラスに制限されずにNLIを実行できることを示す。
  論文  参考訳（メタデータ） (2023-12-13T00:52:15Z)
• Improving Open Information Extraction with Large Language Models: A Study on Demonstration Uncertainty [52.72790059506241]
  オープン情報抽出(OIE)タスクは、構造化されていないテキストから構造化された事実を抽出することを目的としている。 一般的なタスク解決手段としてChatGPTのような大きな言語モデル(LLM)の可能性にもかかわらず、OIEタスクの最先端(教師付き)メソッドは遅れている。
  論文  参考訳（メタデータ） (2023-09-07T01:35:24Z)
• Exploring Transitivity in Neural NLI Models through Veridicality [39.845425535943534]
  推論関係の推移性に着目する。推論を体系的に描く基本的な性質である。 推移性をキャプチャするモデルは、基本的な推論パターンを構成し、新しい推論を引き出すことができる。 現在のNLIモデルは、推移性推論タスクで一貫してうまく機能しないことがわかります。
  論文  参考訳（メタデータ） (2021-01-26T11:18:35Z)
• Probing the Natural Language Inference Task with Automated Reasoning Tools [6.445605125467574]
  自然言語推論(NLI)タスクは、現在のNLPにおいて重要なタスクである。 我々はNLIタスクの論理構造を調べるために他の手法を用いる。 我々は、機械指向の自然言語がNLI文のパースにどの程度うまく利用できるか、また、自動定理証明器が結果の式に対していかにうまく推論できるかを示す。
  論文  参考訳（メタデータ） (2020-05-06T03:18:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。