論文の概要: From Logic to Language: A Trust Index for Problem Solving with LLMs
- arxiv url: http://arxiv.org/abs/2507.16028v1
- Date: Mon, 21 Jul 2025 19:50:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-23 21:34:13.865258
- Title: From Logic to Language: A Trust Index for Problem Solving with LLMs
- Title（参考訳）: 論理から言語へ: LLMによる問題解決のための信頼指数
- Authors: Tehseen Rug, Felix Böhmer, Tessa Pfattheicher,
- Abstract要約: 本稿では,Large Language Models (LLM) の理解と対比を目的とした統合フレームワークを提案する。
形式言語と自然言語で対応可能な問題空間を定義し,記述する。
そこで, ベクトル値信頼度指数Qを導入し, 解の品質を反映し, 形式解のバイナリ正当性を自然言語解の連続性スペクトル特性と区別する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Classical computation, grounded in formal, logical systems, has been the engine of technological progress for decades, excelling at problems that can be described with unambiguous rules. This paradigm, however, leaves a vast ocean of human problems -- those characterized by ambiguity, dynamic environments, and subjective context -- largely untouched. The advent of Large Language Models (LLMs) represents a fundamental shift, enabling computational systems to engage with this previously inaccessible domain using natural language. This paper introduces a unified framework to understand and contrast these problem-solving paradigms. We define and delineate the problem spaces addressable by formal languages versus natural language. While solutions to the former problem class can be evaluated using binary quality measures, the latter requires a much more nuanced definition of approximate solution space taking into account the vagueness, subjectivity and ambiguity inherent to natural language. We therefore introduce a vector-valued trust index Q, which reflects solution quality and distinguishes the binary correctness of formal solutions from the continuous adequacy spectrum characteristic of natural language solutions. Within this framework, we propose two statistical quality dimensions. Normalized bi-semantic entropy measures robustness and conceptual diversity of LLM answers given semantic variation in problem formulations. Emotional valence maps subjective valuation of a solution to a quantifiable metric that can be maximized by invoking statistical measures. The concepts introduced in this work will provide a more rigorous understanding of the capabilities, limitations, and inherent nature of problem-solving in the age of LLMs.
- Abstract（参考訳）: 古典的な計算は形式的で論理的なシステムに根ざし、何十年にもわたって技術進歩のエンジンであり、曖昧な規則で説明できる問題に優れてきた。
しかしこのパラダイムは、あいまいさ、動的な環境、主観的な文脈が特徴の、人類の問題の広大な海を残している。
LLM(Large Language Models)の出現は、自然言語を使ってコンピュータシステムがそれまでアクセス不能だった領域に関わり得るという根本的な変化を表している。
本稿では,これらの課題解決パラダイムを理解し,対比するための統一的な枠組みを提案する。
形式言語と自然言語で対応可能な問題空間を定義し,記述する。
従来の問題クラスの解は二項品質測度を用いて評価できるが、後者は自然言語に固有のあいまいさ、主観性、曖昧さを考慮に入れた近似解空間のよりきめ細やかな定義を必要とする。
そこで, ベクトル値信頼度指数Qを導入し, 解の品質を反映し, 形式解のバイナリ正当性を自然言語解の連続性スペクトル特性と区別する。
本枠組みでは,2つの統計的品質次元を提案する。
正規化された双意味エントロピーは、問題定式化において意味的変動が与えられた LLM 回答の堅牢性と概念的多様性を測定する。
感情価は、ある解の主観的評価を、統計測度を呼び出すことで最大化できる定量計量にマッピングする。
この研究で導入された概念は、LLMの時代における問題解決の能力、限界、本質についてより厳密な理解を提供する。
関連論文リスト
- Learning to Reason via Mixture-of-Thought for Logical Reasoning [56.24256916896427]
Mixture-of-Thought (MoT) は、LLMが自然言語、コード、真理表の3つの相補的なモダリティにまたがる推論を可能にするフレームワークである。
MoT は,(1) 自己進化型 MoT トレーニング,(2) 3 つのモーダルの相乗効果を完全に活用してより良い予測を生成する MoT 推論,という2段階の設計を採用する。
論文 参考訳（メタデータ） (2025-05-21T17:59:54Z) - Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1) [66.51642638034822]
推論は人間の知性の中心であり、多様なタスクにまたがる構造化された問題解決を可能にする。
大規模言語モデル(LLM)の最近の進歩は、算術、常識、記号領域における推論能力を大幅に向上させてきた。
本稿では,テキストおよびマルチモーダルLLMにおける推論手法の簡潔かつ洞察に富んだ概要について述べる。
論文 参考訳（メタデータ） (2025-04-04T04:04:56Z) - RM-PoT: Reformulating Mathematical Problems and Solving via Program of Thoughts [13.07180561863778]
本稿では、問題修正(RM)、コード支援推論(PoT)、ドメイン認識による少ショット学習を統合した3段階のフレームワークを提案する。
提案手法はまず,入力問題を多種多様な表面形状に再構成し,構造バイアスを低減し,意味的に整合した5つの例を検索し,文脈的ガイダンスを提供する。
論文 参考訳（メタデータ） (2025-02-18T06:54:32Z) - IOLBENCH: Benchmarking LLMs on Linguistic Reasoning [8.20398036986024]
IOL(International Linguistics Olympiad)問題に基づく新しいベンチマークであるIOLBENCHを紹介する。
このデータセットは、文法、形態学、音韻学、意味論をテストする様々な問題を含んでいる。
最も先進的なモデルでさえ、言語的な複雑さの複雑さを扱うのに苦労している。
論文 参考訳（メタデータ） (2025-01-08T03:15:10Z) - VC Search: Bridging the Gap Between Well-Defined and Ill-Defined Problems in Mathematical Reasoning [46.25056744404318]
5000以上の不確定な数学的問題を含むPMC(Issue with Missing and Contradictory conditions)というベンチマークを開発した。
VCSEARCHは、解決不可能な問題を特定する精度を、さまざまな大きな言語モデルで少なくとも12%向上させる。
論文 参考訳（メタデータ） (2024-06-07T16:24:12Z) - Safe Multi-agent Reinforcement Learning with Natural Language Constraints [49.01100552946231]
安全なマルチエージェント強化学習(MARL)における自然言語制約の役割は重要であるが、しばしば見過ごされる。
自然言語制約付き安全マルチエージェント強化学習(SMALL)という新しいアプローチを提案する。
提案手法は、微調整言語モデルを用いて、自由形式のテキスト制約を解釈し、処理し、セマンティックな埋め込みに変換する。
これらの埋め込みはマルチエージェントのポリシー学習プロセスに統合され、エージェントは報酬を最適化しながら制約違反を最小限に抑えるポリシーを学ぶことができる。
論文 参考訳（メタデータ） (2024-05-30T12:57:35Z) - Kernel Language Entropy: Fine-grained Uncertainty Quantification for LLMs from Semantic Similarities [79.9629927171974]
大規模言語モデル(LLM)の不確実性は、安全性と信頼性が重要であるアプリケーションには不可欠である。
ホワイトボックスとブラックボックス LLM における不確実性評価手法である Kernel Language Entropy (KLE) を提案する。
論文 参考訳（メタデータ） (2024-05-30T12:42:05Z) - Eliciting Problem Specifications via Large Language Models [4.055489363682198]
大型言語モデル(LLM)は、問題クラスを半形式仕様にマッピングするために利用することができる。
認知システムは、問題空間仕様を使用して、問題クラスからの問題の複数のインスタンスを解決することができる。
論文 参考訳（メタデータ） (2024-05-20T16:19:02Z) - Do Language Models Exhibit the Same Cognitive Biases in Problem Solving as Human Learners? [140.9751389452011]
本研究では,大言語モデル(LLM)の偏りを,算術語問題を解く際に,子どもに知られているものと関連づけて検討する。
我々は,これらの各テストに対して,問題特徴のきめ細かい制御を可能にするニューロシンボリックアプローチを用いて,新しい単語問題を生成する。
論文 参考訳（メタデータ） (2024-01-31T18:48:20Z) - ChatABL: Abductive Learning via Natural Language Interaction with
ChatGPT [72.83383437501577]
大規模言語モデル(LLM)は、最近数学的な能力において大きな可能性を証明している。
LLMは現在、認識、言語理解、推論能力のブリッジングに困難を抱えている。
本稿では, LLMを帰納学習フレームワークに統合する新しい手法を提案する。
論文 参考訳（メタデータ） (2023-04-21T16:23:47Z) - Perceptual reasoning based solution methodology for linguistic
optimization problems [13.548237279353408]
言語最適化問題(LOP)は、単一目的言語最適化問題(SOLOP)と多目的言語最適化問題(MOLOP)の2種類からなる。
言語情報の利用は、必然的に単語による計算(CWW)の活用を要求するため、LOPに対して2-tuple言語モデルに基づく解法が提案された。
その結果, 2-tuple言語モデルに基づく解法は,type-1ファジィ集合と順序項集合の組み合わせを用いて,言語情報のセマンティクスを表すことがわかった。
論文 参考訳（メタデータ） (2020-04-30T16:35:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。