論文の概要: From Atomic Evidence to Logical Composition: Structured Compositional Reasoning over Compound Answer Options
- arxiv url: http://arxiv.org/abs/2608.12836v1
- Date: Thu, 13 Aug 2026 05:18:55 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-14 18:29:38.404237
- Title: From Atomic Evidence to Logical Composition: Structured Compositional Reasoning over Compound Answer Options
- Title（参考訳）: 原子的エビデンスから論理的組成へ:複合解答オプションによる構造的組成推論
- Abstract要約: AND,OR,NEITHER/NORで接続された複合オプションについて検討し,各オプションを原子答えに分解するフレームワークを提案する。
演算子制約の整数線形プログラムは、スコアを単一の予測に構成する。
本フレームワークは, 人為的なLOGical-CommonSENSEQAを48.3から77.0に, LOGical-SATAを47.0から75.6に分割し, NEITHER/NORを最大ゲインとした。
- 参考スコア（独自算出の注目度）: 6.8658995041250455
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models often fail when answer options require combining atomic judgments under explicit logical operators, even when they judge the individual atoms correctly. We study compound options connected by AND, OR, and NEITHER/NOR, introducing a framework that decomposes each option into atomic answers and scores contrastive hypotheses about each one, so the model never sees a compound option. An operator-constrained integer linear program then composes the calibrated scores into a single prediction. We evaluate on LOGICAL-COMMONSENSEQA and introduce LOGICAL-SATA, a reading-comprehension benchmark derived from SATA-Bench. Our framework improves Macro-F1 from 48.3 to 77.0 on the human-validated LOGICAL-COMMONSENSEQA split and from 47.0 to 75.6 on LOGICAL-SATA, with the largest gains on NEITHER/NOR.
- Abstract（参考訳）: 大きな言語モデルは、個々の原子を正しく判断する場合でも、明確な論理演算子の下で原子の判断を組み合わせなければならない場合、しばしば失敗する。
AND, OR, NEITHER/NORによって接続された複合オプションについて検討し, 各オプションを原子的回答に分解し, それぞれに対して対照的な仮説を採点するフレームワークを導入する。
演算子制約の整数線形プログラムは、校正されたスコアを単一の予測に構成する。
LOGical-CommonSENSEQAについて検討し、SATA-Benchから派生した読み理解ベンチマークであるLOGical-SATAを紹介する。
本フレームワークは, 人為的なLOGical-CommonSENSEQAを48.3から77.0に, LOGical-SATAを47.0から75.6に分割し, NEITHER/NORを最大ゲインとした。
関連論文リスト
- Reasoning Shortcuts and Value Symmetries: What Symmetry Permits, Architecture Realizes, and Optimization Selects [10.012788934490084]
推論ショートカット(Reasoning shortcuts)は、意図しない概念を通じて正しい予測を生成するニューロシンボリックシステムの規則の解である。
竹村、井上、西野の最近のフレームワークは、値を許容する自己同型群を通してそれらを分析している。
まず, 評価した4つのベンチマークのどれにも記載されているように, フレームワークの主要な定義である共有置換が適用されないことを示す。
論文 参考訳（メタデータ） (2026-08-11T03:10:20Z) - LLMEval-Logic: A Solver-Verified Chinese Benchmark for Logical Reasoning of LLMs with Adversarial Hardening [69.1037790901185]
現実的な状況シナリオから構築した中国の論理的推論ベンチマークLLMEval-Logicを提案する。
パイプラインのフォワードオーサとエキスパート-オーディット 自然言語アイテムは、参照の形式化とともに、Z3による注釈付き回答を検証し、自然言語から形式へのグレーディングのためのエキスパートルーブリックを構築し、クローズドループの逆行ワークフローを通じて選択されたアイテムを硬化させる。
論文 参考訳（メタデータ） (2026-05-19T09:40:29Z) - Probing Structural Mathematical Reasoning in Language Models with Algebraic Trapdoors [0.0]
言語モデルにおける構造的数学的推論を評価するためのベンチマークスイートを提案する。
各インスタンスは有限生成された部分群を整数行列のリストとして提示する。
本稿では,2つの最先端モデルから得られた5つの代表的な推論指標について実験結果について報告する。
論文 参考訳（メタデータ） (2026-05-05T23:16:30Z) - Rethinking Atomic Decomposition for LLM Judges: A Prompt-Controlled Study of Reference-Grounded QA Evaluation [5.94231111588812]
我々は、自己分解型原子式判定器(単一プロンプト分解検証器)を、同じ入力と同様の詳細なルーリックを持つ、即時制御された全体的判定器と比較する。
我々の発見は、QAスタイルの3つのベンチマークで、それぞれ200のソース例で自己分解するシングルプロンプトパターンに特化しています。
論文 参考訳（メタデータ） (2026-03-30T03:55:26Z) - LOGICAL-COMMONSENSEQA: A Benchmark for Logical Commonsense Reasoning [6.8658995041250455]
LOGical-ComMONSENSEQAは、原子文の対上の論理的構成として常識推論を再編成する。
モデルが接続的かつ適度に解離的推論を行うのに対して,性能は否定的質問によって著しく低下することがわかった。
論文 参考訳（メタデータ） (2026-01-23T07:07:19Z) - EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。
このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。
19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
論文 参考訳（メタデータ） (2025-02-18T02:54:25Z) - NLI under the Microscope: What Atomic Hypothesis Decomposition Reveals [19.300202585383914]
従来のNLIと非実現可能なNLIという2つの自然言語推論タスクにおける仮説の原子分解を用いて、原子サブプロブレムを形成する。
これらの原子サブプロブレムは、NLIとデファシブル推論の両方の構造をより理解するためのツールとして機能する。
以上の結果から,LLMは原子性NLIと非実用性NLIサブプロブレムの論理的整合性に苦慮していることが示唆された。
論文 参考訳（メタデータ） (2025-02-12T02:54:12Z) - AtomR: Atomic Operator-Empowered Large Language Models for Heterogeneous Knowledge Reasoning [49.24235059299745]
我々は、原子レベルで正確な異種知識推論を行うための大規模な言語モデルのためのフレームワークAtomRを紹介する。
AtomRは複雑な質問を、各葉ノードが原子知識演算子に対応する推論木に分解する。
推論実行段階では、AtomRは各原子知識演算子を実行し、弾力的に異種源から原子レベルの知識を選択し、取得し、操作する。
論文 参考訳（メタデータ） (2024-11-25T15:35:51Z) - LINC: A Neurosymbolic Approach for Logical Reasoning by Combining
Language Models with First-Order Logic Provers [60.009969929857704]
論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。
本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。
我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
論文 参考訳（メタデータ） (2023-10-23T17:58:40Z) - Getting MoRE out of Mixture of Language Model Reasoning Experts [71.61176122960464]
多様な特殊言語モデルを組み込んだMixture-of-Reasoning-Experts (MoRE) フレームワークを提案する。
実例,マルチホップ,数学的,コモンセンス推論など,さまざまな推論カテゴリに最適化されたプロンプトを備えたバックボーン言語モデルを特化する。
人間の研究では、専門家による予測と回答の選択プロセスが、アノテータがシステムの出力を信頼するタイミングをより正確に調整するのに役立ちます。
論文 参考訳（メタデータ） (2023-05-24T02:00:51Z) - Rationales for Sequential Predictions [117.93025782838123]
シーケンスモデルは現代のNLPシステムにおいて重要な要素であるが、それらの予測は説明が難しい。
モデル説明は有理だが、個々のモデル予測を説明できる文脈のサブセットを考える。
この目的を近似する効率的なグリードアルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-09-14T01:25:15Z) - Invariant Rationalization [84.1861516092232]
典型的な合理化基準、すなわち最大相互情報(MMI)は、合理性のみに基づいて予測性能を最大化する合理性を見つける。
ゲーム理論の不変な有理化基準を導入し、各環境において同じ予測器を最適にするために、有理を制約する。
理論的にも実証的にも、提案された理性は、素早い相関を除外し、異なるテストシナリオをより一般化し、人間の判断とよく一致させることができることを示す。
論文 参考訳（メタデータ） (2020-03-22T00:50:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。