論文の概要: Logic Sketch Prompting (LSP): A Deterministic and Interpretable Prompting Method

• arxiv url: http://arxiv.org/abs/2512.22258v1
• Date: Wed, 24 Dec 2025 09:20:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:29.941262
• Title: Logic Sketch Prompting (LSP): A Deterministic and Interpretable Prompting Method
• Title（参考訳）: 論理スケッチ・プロンプティング(LSP):決定論的かつ解釈可能なプロンプティング法
• Abstract要約: Logic Sketch Prompting (LSP)は、型付き変数、決定論的条件評価器、ルールベースのバリデータを導入した軽量なプロンプトフレームワークである。 LSPを、ゼロショットプロンプト、チェーン思考プロンプト、簡潔な3つのオープンウェイトモデルに対してベンチマークする。 これらの結果から,LSPは性能を犠牲にすることなく決定性,解釈可能性,一貫性を向上し,臨床,規制,安全決定支援システムでの使用を支援することが示唆された。
• 参考スコア（独自算出の注目度）: 1.0152838128195467
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) excel at natural language reasoning but remain unreliable on tasks requiring strict rule adherence, determinism, and auditability. Logic Sketch Prompting (LSP) is a lightweight prompting framework that introduces typed variables, deterministic condition evaluators, and a rule based validator that produces traceable and repeatable outputs. Using two pharmacologic logic compliance tasks, we benchmark LSP against zero shot prompting, chain of thought prompting, and concise prompting across three open weight models: Gemma 2, Mistral, and Llama 3. Across both tasks and all models, LSP consistently achieves the highest accuracy (0.83 to 0.89) and F1 score (0.83 to 0.89), substantially outperforming zero shot prompting (0.24 to 0.60), concise prompts (0.16 to 0.30), and chain of thought prompting (0.56 to 0.75). McNemar tests show statistically significant gains for LSP across nearly all comparisons (p < 0.01). These results demonstrate that LSP improves determinism, interpretability, and consistency without sacrificing performance, supporting its use in clinical, regulated, and safety critical decision support systems.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、自然言語推論において優れているが、厳格な規則順守、決定論、監査性を必要とするタスクには信頼できない。 Logic Sketch Prompting (LSP)は、型付き変数、決定論的条件評価器、およびトレーサブルかつ繰り返し可能な出力を生成するルールベースのバリデータを導入した軽量なプロンプトフレームワークである。 2つの薬理学的論理コンプライアンスタスクを用いて、ゼロショットプロンプト、思考プロンプト、簡潔な3つのオープンウェイトモデル(Gemma 2、Mistral、Llama 3)に対してLSPをベンチマークする。 タスクと全てのモデルにおいて、LSPは最高精度(0.83から0.89)とF1スコア(0.83から0.89)を一貫して達成し、ゼロショットプロンプト(0.24から0.60)、簡潔プロンプト(0.16から0.30)、思考プロンプト(0.56から0.75)を大幅に上回っている。 マクネマール試験では、ほぼ全ての比較(p < 0.01)でLSPが統計的に有意な上昇を示した。 これらの結果から,LSPは性能を犠牲にすることなく決定性,解釈可能性,一貫性を向上し,臨床,規制,安全決定支援システムでの使用を支援することが示唆された。

関連論文リスト

• LLM-as-a-Verifier: A General-Purpose Verification Framework [74.40111651545979]
  本稿では,汎用検証フレームワーク LLM-as-a-Verifier を紹介する。 追加のトレーニングを必要とせずに、エージェントタスクに対してきめ細かいフィードバックを提供する。 いくつかのベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2026-07-06T17:59:35Z)
• SPL: Orchestrating Workflows with Declarative Deterministic-Probabilistic Composition [0.0]
  SPLは1つの仕様で決定論的計算と確率論的計算モードを構成する宣言型言語である。 A.splの仕様は、ローカルノード、クラウドAPI、分散グリッドで動作しない。 広範囲な78レシピの料理ブックと1200ランの制御実験により,SPLの有効性を検証した。
  論文  参考訳（メタデータ） (2026-07-06T03:53:10Z)
• LLM-Assisted Stance Detection in Scientific Discourse: A Test Case in Bayesian Cognitive Science [1.6143062786972913]
  メソッドは理論駆動のコードブック、専門家のコード化された参照アノテーション、診断付きプロンプト最適化検索を組み合わせる。 210条の引用6,858件に展開され、3つのLCMは相当な引用レベルの合意に達した。 低レベルの知覚/運動記事は、高いレベルの認知記事よりも8.8のリアリズムポイントを獲得した。
  論文  参考訳（メタデータ） (2026-06-14T03:03:40Z)
• Measuring Reasoning Quality in LLMs: A Multi-Dimensional Behavioral Framework [9.601233098598456]
  本研究では,LLMにおける推論品質を測定するための多次元統合フレームワークを提案する。 4つのベンチマークから975項目にまたがる7つのLCM実験により、このフレームワークは精度のみのメトリクスから見えない振る舞いを明らかにしている。
  論文  参考訳（メタデータ） (2026-05-23T17:03:42Z)
• Think Before You Prune: Self-Reflective Structured Pruning for Reasoning Language Models [31.422773877490613]
  推論 LLM (Reasoning LLMs) はチェーン・オブ・ソート・ジェネレーションを通じて強力な多段階推論を実現する。 RLMの大きなモデルサイズと長いデコードタイムのアウトプットは、リソース制約のある設定にデプロイするのにコストがかかり、不適当である。 我々は、構造化されたプルーニングフレームワークであるRESPを紹介し、プルーニング決定とモデルの推論力学を一致させる。
  論文  参考訳（メタデータ） (2025-12-01T20:27:05Z)
• RefineBench: Evaluating Refinement Capability of Language Models via Checklists [71.02281792867531]
  本研究は,2つの改良モード(ガイドリファインメントと自己リファインメント)を評価する。 ガイド付き改良では、プロプライエタリなLMと大きなオープンウェイトLMの両方が目標フィードバックを利用して、5ターン以内のほぼ完全なレベルへの応答を洗練できる。 これらの結果は、フロンティアLMは誤った反応を自己調整するためにブレークスルーを必要とすることを示唆している。
  論文  参考訳（メタデータ） (2025-11-27T07:20:52Z)
• Verifying Large Language Models' Reasoning Paths via Correlation Matrix Rank [71.09032766271493]
  大規模言語モデル (LLM) は誤りや幻覚を引き起こす傾向がある。 アウトプットを効果的かつ効率的にチェックする方法は、アプリケーションにとって重要な問題となっている。
  論文  参考訳（メタデータ） (2025-10-28T11:01:10Z)
• Once Upon an Input: Reasoning via Per-Instance Program Synthesis [19.86168542588911]
  PIPS(Per-Instance Program Synthesis)は、構造的フィードバックを用いて、インスタンスレベルでプログラムを生成し、洗練する手法である。 パフォーマンスをさらに向上するため、PIPSは直接推論とプログラム合成を動的に選択する信頼度基準をインスタンス毎に組み込んでいる。
  論文  参考訳（メタデータ） (2025-10-26T21:58:33Z)
• From Flows to Words: Can Zero-/Few-Shot LLMs Detect Network Intrusions? A Grammar-Constrained, Calibrated Evaluation on UNSW-NB15 [0.41998444721319217]
  大規模言語モデル(LLM)は自然言語入力を推論できるが、微調整なしでの侵入検出におけるそれらの役割は未だ不明である。 本研究では、各ネットワークフローをコンパクトなテキストレコードに変換し、軽量でドメインにインスパイアされたフラグで拡張することで、プロンプトオンリーなアプローチを評価する。 ゼロショット,命令誘導,スプリットショットを比較して,同一のスプリット下での強い神経ベースライン,精度,精度,リコール,F1,マクロスコアを比較した。
  論文  参考訳（メタデータ） (2025-10-18T02:11:50Z)
• HALT-RAG: A Task-Adaptable Framework for Hallucination Detection with Calibrated NLI Ensembles and Abstention [0.0]
  HALT-RAGは、Retrieval-Augmented Generationパイプラインの出力における幻覚を特定するために設計されたポストホック検証システムである。 我々のフレキシブルでタスク適応性のあるフレームワークは、2つのフリーズ・オフ・ザ・シェルフ自然言語推論(NLI)モデルと軽量語彙信号のアンサンブルから導かれる普遍的な特徴セットを使用する。 HALT-RAGは軽量・タスク適応型・高精度制約型決定ポリシーと組み合わせることで,要約,QA,対話における強いOOF F1スコア0.7756,0.9786,0.7391を達成する。
  論文  参考訳（メタデータ） (2025-09-09T07:58:46Z)
• The Knowledge-Reasoning Dissociation: Fundamental Limitations of LLMs in Clinical Natural Language Inference [13.59675117792588]
  大規模言語モデルは、データとパラメータをスケーリングすることで、ますます構造化され、一般化可能な内部表現を取得すると仮定されることが多い。 本研究は,4つの理性家族からなる臨床トライアル自然言語帰属ベンチマークを導入することで,この仮定を疑問視する。 各項目は、ターゲットとなるグラウンド知識とメタレベル推論検証プローブと組み合わせて、推論の失敗から事実アクセスの失敗を解離させる。
  論文  参考訳（メタデータ） (2025-08-14T16:01:10Z)
• Syntactic Control of Language Models by Posterior Inference [53.823006836309695]
  言語モデルによって生成されたテキストの構文構造を制御することは、明快さ、スタイリスティックな一貫性、解釈可能性を必要とするアプリケーションにとって重要である。 後部推論に基づくサンプリングアルゴリズムは、生成中に対象の選挙区構造を効果的に強制することができると論じる。 提案手法では,提案分布からのサンプリングにより後続分布を推定するモンテカルロ法と,各生成したトークンが所望の構文構造に整合することを保証する統語タグを併用する。
  論文  参考訳（メタデータ） (2025-06-08T14:01:34Z)
• Non-Determinism of "Deterministic" LLM Settings [7.008076013373744]
  本研究では,10ランにまたがる8つの共通タスクに適用した場合に決定論的に設定された5つのLSMにおける非決定性について検討する。 自然に発生する実行に最大15%の精度のばらつきがあり、最高のパフォーマンスと最悪のパフォーマンスのギャップがある。 本研究では, 決定論の定量化に重点を置いた指標, Nにおける合意率のトータルは生出力上でのTARr@N, 解析された回答の総合意率のTARa@Nを紹介する。
  論文  参考訳（メタデータ） (2024-08-06T16:43:35Z)
• Log Probabilities Are a Reliable Estimate of Semantic Plausibility in Base and Instruction-Tuned Language Models [50.15455336684986]
  意味的妥当性を評価するため,LogProbsの有効性と基本的なプロンプトを評価した。 LogProbsは、直接ゼロショットプロンプトよりも、より信頼性の高いセマンティックな妥当性を提供する。 我々は,プロンプトベースの評価の時代においても,LogProbsは意味的妥当性の有用な指標である,と結論付けた。
  論文  参考訳（メタデータ） (2024-03-21T22:08:44Z)
• LINC: A Neurosymbolic Approach for Logical Reasoning by Combining Language Models with First-Order Logic Provers [60.009969929857704]
  論理的推論は、科学、数学、社会に潜在的影響を与える可能性のある人工知能にとって重要なタスクである。 本研究では、LINCと呼ばれるモジュール型ニューロシンボリックプログラミングのようなタスクを再構成する。 我々は,FOLIOとProofWriterのバランスの取れたサブセットに対して,ほぼすべての実験条件下で,3つの異なるモデルに対して顕著な性能向上を観察した。
  論文  参考訳（メタデータ） (2023-10-23T17:58:40Z)
• Faithful Chain-of-Thought Reasoning [51.21714389639417]
  CoT(Chain-of-Thought)は言語モデル(LM)のパフォーマンスを様々な推論タスクで向上させる。 翻訳と問題解決という2つの段階を含む推論フレームワークであるFithful CoTを提案する。 このことは、推論連鎖が最終回答の忠実な説明を提供することを保証している。
  論文  参考訳（メタデータ） (2023-01-31T03:04:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。