論文の概要: Even GPT-5.2 Can't Count to Five: The Case for Zero-Error Horizons in Trustworthy LLMs

• arxiv url: http://arxiv.org/abs/2601.15714v1
• Date: Thu, 22 Jan 2026 07:36:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-23 21:37:20.526345
• Title: Even GPT-5.2 Can't Count to Five: The Case for Zero-Error Horizons in Trustworthy LLMs
• Title（参考訳）: GPT-5.2でも5つまで数えられない:信頼できるLDMにおけるゼロエラー・ホライズンズの事例
• Authors: Ryoma Sato,
• Abstract要約: 信頼性の高いLDMのためのゼロエラーホライゾン(ZEH)を提案する。 ZEHは、モデルが誤りを犯さずに解決できる最大範囲を表す。
• 参考スコア（独自算出の注目度）: 15.107423134754859
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Zero-Error Horizon (ZEH) for trustworthy LLMs, which represents the maximum range that a model can solve without any errors. While ZEH itself is simple, we demonstrate that evaluating the ZEH of state-of-the-art LLMs yields abundant insights. For example, by evaluating the ZEH of GPT-5.2, we found that GPT-5.2 cannot even compute the parity of a short string like 11000, and GPT-5.2 cannot determine whether the parentheses in ((((()))))) are balanced. This is surprising given the excellent capabilities of GPT-5.2. The fact that LLMs make mistakes on such simple problems serves as an important lesson when applying LLMs to safety-critical domains. By applying ZEH to Qwen2.5 and conducting detailed analysis, we found that while ZEH correlates with accuracy, the detailed behaviors differ, and ZEH provides clues about the emergence of algorithmic capabilities. Finally, while computing ZEH incurs significant computational cost, we discuss how to mitigate this cost by achieving up to one order of magnitude speedup using tree structures and online softmax.
• Abstract（参考訳）: 信頼性の高いLLMに対してゼロ誤差ホライゾン(ZEH)を提案する。 ZEH自体は単純であるが、最先端のLLMのZEHを評価することで、豊富な洞察が得られることを示す。 例えば、GPT-5.2 の ZEH を評価することで、GPT-5.2 は 11000 のような短い文字列のパリティも計算できず、GPT-5.2 は (((((((()))))) の括弧が平衡であるかどうかを判断できないことがわかった。 GPT-5.2の優れた能力を考えると、これは驚くべきことだ。 LLMがそのような単純な問題でミスを犯しているという事実は、LLMを安全クリティカルな領域に適用する際の重要な教訓となっている。 ZEHをQwen2.5に適用し、詳細な分析を行うことにより、ZEHは精度と相関するが、詳細な振る舞いは異なり、ZEHはアルゴリズム能力の出現に関する手がかりを提供する。 最後に,木構造とオンラインソフトマックスを用いて最大1桁の高速化を実現することで,ZEHの計算コストを大幅に削減する方法について論じる。

関連論文リスト

• Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
  データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。 本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
  論文  参考訳（メタデータ） (2025-11-09T03:38:29Z)
• Fine-Grained Detection of Context-Grounded Hallucinations Using LLMs [16.173245551933178]
  コンテキストグラウンドド・幻覚(Context-grounded hallucination)は、モデル出力がソーステキストに対して検証できない情報を含む場合である。 このような幻覚を局在化するためのLCMの適用性について検討する。
  論文  参考訳（メタデータ） (2025-09-26T17:03:24Z)
• Verifying the Verifiers: Unveiling Pitfalls and Potentials in Fact Verifiers [59.168391398830515]
  我々は,14のファクトチェックベンチマークのサンプルを用いて,12の事前学習LDMと1つの特殊ファクト検証器を評価した。 データセットにおけるアノテーションエラーとあいまいさに対処することの重要性を強調します。 最上位のパフォーマンスを実現するために、前作でしばしば見落とされがちな、数ショットのインコンテキストの例を持つフロンティアLSM。
  論文  参考訳（メタデータ） (2025-06-16T10:32:10Z)
• MSL: Not All Tokens Are What You Need for Tuning LLM as a Recommender [24.03860153639828]
  提案するMasked Softmax Loss (MSL) は,大規模言語モデル (LLM) を推奨する。 MSLは、損失計算中に架空のアイテム記述につながる可能性のある無効トークンを識別し、マスクすることで、LMLを改善している。 4つの公開データセットで実施された大規模な実験は、MSLの有効性をさらに検証し、NDCG@10で平均42.24%の改善を達成した。
  論文  参考訳（メタデータ） (2025-04-05T13:48:33Z)
• Can 1B LLM Surpass 405B LLM? Rethinking Compute-Optimal Test-Time Scaling [69.57918638435491]
  テスト時間スケーリングは、大規模言語モデルの性能を向上させる重要な方法である。 異なるポリシーモデル、PRM、問題の難易度にまたがってテスト時間計算をスケールするための最適なアプローチは何か? 計算-最適TS戦略により、非常に小さなポリシーモデルがより大きなモデルより優れていることを示す。
  論文  参考訳（メタデータ） (2025-02-10T17:30:23Z)
• Predicting Emergent Capabilities by Finetuning [98.9684114851891]
  微調整された言語モデルでは,出現頻度の低いモデルに展開するスケーリングのポイントをシフトできることがわかった。 提案手法は4つの標準NLPベンチマークを用いて検証する。 いくつかのケースでは、最大4倍の計算でトレーニングされたモデルが出現したかどうかを正確に予測できる。
  論文  参考訳（メタデータ） (2024-11-25T01:48:09Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal [64.9938658716425]
  SORRY-Benchは、安全でないユーザ要求を認識し拒否する大規模言語モデル(LLM)能力を評価するためのベンチマークである。 まず、既存の手法では、安全でないトピックの粗い分類を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。