論文の概要: Conformal Language Model Reasoning with Coherent Factuality

• arxiv url: http://arxiv.org/abs/2505.17126v1
• Date: Wed, 21 May 2025 22:40:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-26 18:08:33.589342
• Title: Conformal Language Model Reasoning with Coherent Factuality
• Title（参考訳）: Coherent Factuality を用いたコンフォーマル言語モデル推論
• Authors: Maxon Rubin-Toles, Maya Gambhir, Keshav Ramji, Aaron Roth, Surbhi Goel,
• Abstract要約: 我々は,言語モデル出力のコヒーレントな事実性を保証するための共形予測に基づく手法を開発した。 我々はMATHおよびFELMデータセットから数学的推論問題を評価する。
• 参考スコア（独自算出の注目度）: 15.041904552455915
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models are increasingly being used in important decision pipelines, so ensuring the correctness of their outputs is crucial. Recent work has proposed evaluating the "factuality" of claims decomposed from a language model generation and applying conformal prediction techniques to filter out those claims that are not factual. This can be effective for tasks such as information retrieval, where constituent claims may be evaluated in isolation for factuality, but is not appropriate for reasoning tasks, as steps of a logical argument can be evaluated for correctness only within the context of the claims that precede them. To capture this, we define "coherent factuality" and develop a conformal-prediction-based method to guarantee coherent factuality for language model outputs. Our approach applies split conformal prediction to subgraphs within a "deducibility" graph" that represents the steps of a reasoning problem. We evaluate our method on mathematical reasoning problems from the MATH and FELM datasets and find that our algorithm consistently produces correct and substantiated orderings of claims, achieving coherent factuality across target coverage levels. Moreover, we achieve 90% factuality on our stricter definition while retaining 80% or more of the original claims, highlighting the utility of our deducibility-graph-guided approach.
• Abstract（参考訳）: 言語モデルは重要な意思決定パイプラインでますます使われていますので、アウトプットの正確性を保証することが重要です。 最近の研究は、言語モデル生成から切り離されたクレームの「事実性」を評価することを提案し、事実ではないクレームをフィルタリングするためにコンフォーマルな予測手法を適用している。 これは情報検索のようなタスクに有効であり、例えば、構成的クレームは事実性のために独立して評価されるが、論理的クレームのステップはそれらに先行するクレームのコンテキスト内でのみ正確性を評価することができるため、タスクの推論には適していない。 そこで本研究では,言語モデル出力のコヒーレントな事実性を保証するために,コヒーレントな事実性を定義し,共形予測に基づく手法を開発した。 我々のアプローチは、推論問題のステップを表す「再現性」グラフ内の部分グラフに分割共形予測を適用する。 我々は,MATH と FELM のデータセットから数学的推論問題の解法を評価するとともに,提案アルゴリズムが一貫してクレームの正負の順序を生成し,目的のカバレッジレベルにわたって一貫性のある事実性を実現することを発見した。 さらに,従来の主張の80%以上を維持しつつ,より厳密な定義で90%の事実性を達成し,再現性グラフ誘導アプローチの有用性を強調した。

関連論文リスト

• Search-Based Correction of Reasoning Chains for Language Models [72.61861891295302]
  CoT(Chain-of-Thought)推論は言語モデル(LM)の機能と透明性を向上した。 我々はCoTにおける各推論ステップを、その正確性を示す潜在変数で拡張する新しい自己補正フレームワークを導入する。 また,離散探索アルゴリズムであるサーチコレクタも導入した。
  論文  参考訳（メタデータ） (2025-05-17T04:16:36Z)
• Assessing Correctness in LLM-Based Code Generation via Uncertainty Estimation [0.0]
  LLM生成符号の正確性のプロキシとして不確実性推定を検討する。 自然言語生成からコード生成領域への2つの最先端技術を適用する。 これらの手法を用いて計算した不確実性と正確性との間には強い相関関係があることが示唆された。
  論文  参考訳（メタデータ） (2025-02-17T10:03:01Z)
• Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
  グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。 課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
  論文  参考訳（メタデータ） (2024-05-30T10:49:22Z)
• Unsupervised Pretraining for Fact Verification by Language Model Distillation [4.504050940874427]
  SFAVEL (Self-supervised Fact Verification via Language Model Distillation) は,教師なし事前学習フレームワークである。 アノテーションを必要とせずに、自己管理機能を高品質なクレーム-ファクトアライメントに分解する。 これは、特徴が高品質なクレームとエビデンスアライメントを達成することを奨励する、新しい対照的な損失関数によって実現されている。
  論文  参考訳（メタデータ） (2023-09-28T15:53:44Z)
• Interpretable Automatic Fine-grained Inconsistency Detection in Text Summarization [56.94741578760294]
  本研究の目的は, 要約中の事実誤りの微粒化を予測し, 微粒化不整合検出の課題を提案することである。 要約における現実的不整合の検査方法に触発され,解析可能な微粒不整合検出モデルであるFinGrainFactを提案する。
  論文  参考訳（メタデータ） (2023-05-23T22:11:47Z)
• Logical Satisfiability of Counterfactuals for Faithful Explanations in NLI [60.142926537264714]
  本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。 これは、説明に表される論理述語に基づいて、反実仮説を生成する。 そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
  論文  参考訳（メタデータ） (2022-05-25T03:40:59Z)
• Leveraging Unlabeled Data for Entity-Relation Extraction through Probabilistic Constraint Satisfaction [54.06292969184476]
  シンボリックドメイン知識の存在下でのエンティティ関係抽出の問題を研究する。 本手法では,論理文の正確な意味を捉える意味的損失を用いる。 低データ体制に焦点をあてて、セマンティックな損失がベースラインをはるかに上回ることを示す。
  論文  参考訳（メタデータ） (2021-03-20T00:16:29Z)
• Generating Fact Checking Explanations [52.879658637466605]
  まだ欠けているパズルの重要なピースは、プロセスの最も精巧な部分を自動化する方法を理解することです。 本稿では、これらの説明を利用可能なクレームコンテキストに基づいて自動生成する方法について、最初の研究を行う。 この結果から,個別に学習するのではなく,両目標を同時に最適化することで,事実確認システムの性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-04-13T05:23:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。