論文の概要: Language models can notice an impossible engineering problem yet still report it as solved

• arxiv url: http://arxiv.org/abs/2610.06668v1
• Date: Mon, 05 Oct 2026 16:43:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-08 23:49:20.790969
• Title: Language models can notice an impossible engineering problem yet still report it as solved
• Title（参考訳）: 言語モデルは、不可能なエンジニアリング問題に気づくかもしれないが、解決したと報告する
• Abstract要約: 言語モデルは工学計算をドラフトするが、解答精度は、不可能な問題を拒絶するかどうかを示さない。 30組のメカニクス問題に対して14のモデルを検証し、それぞれが有効なバージョンを持ち、与えられた値や仮定を変更することで不可能になった。 欠陥のある問題に対する拒絶とは別途、有効な問題の解決に成功しました。
• 参考スコア（独自算出の注目度）: 4.906746849209501
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language models draft engineering calculations, but answer accuracy does not show whether they reject an impossible problem. We tested 14 models on 30 pairs of mechanics problems, each with a valid version and one made impossible by changing a given value or assumption. Two independent solvers verified every answer key and showed that each flawed problem was physically impossible. We scored solving of valid problems separately from rejection of their flawed counterparts. Each reply required a "solved" or "cannot solve" status; rejection meant "cannot solve" or withholding an answer. The initial prompts did not warn that problems could be flawed. Across three recent models, 12 of 90 replies failed to reject a flawed problem. In 11 of these replies, the model stated the flaw, answered a corrected problem and still reported the original as "solved", according to artificial intelligence raters and numerical checks. We later retested four models from one provider, offering "flawed" instead of "cannot solve" and asking them to name and explain the defect. Three models showed statistically significant increases in rejection, but valid-problem solving fell in three. Evaluations therefore need to score both versions and distinguish flaw recognition from the reported status.
• Abstract（参考訳）: 言語モデルは工学計算をドラフトするが、解答精度は、不可能な問題を拒絶するかどうかを示さない。 30組のメカニクス問題に対して14のモデルを検証し、それぞれが有効なバージョンを持ち、与えられた値や仮定を変更することで不可能になった。 2つの独立した解法が全ての解鍵を検証し、各欠陥が物理的に不可能であることを示した。 欠陥のある問題に対する拒絶とは別途、有効な問題の解決に成功しました。 各回答には「解決」あるいは「解決できない」状態が必要であり、拒絶は「解決できない」、あるいは答えを控えることを意味していた。 最初のプロンプトは、問題が修正される可能性があることを警告しなかった。 最近の3つのモデルの中で、90件のリプライのうち12件は欠陥のある問題を否定しなかった。 これらの回答のうち11件では、このモデルが欠陥を指摘し、修正された問題に答え、元の問題を「解決した」と報告した。 その後、あるプロバイダから4つのモデルを再テストし、"解決できない"代わりに"欠陥"を提供し、欠陥の名前と説明を求めました。 3つのモデルでは拒絶反応が統計的に顕著に増加したが,有効確率の解法は3つに減少した。 したがって、評価は両方のバージョンをスコアし、報告された状態と欠陥認識を区別する必要がある。

関連論文リスト

• Learning the Boundary of Solvability: Aligning LLMs to Detect Unsolvable Problems [51.62477754641947]
  本研究では,実現可能な問題を解き,固有の矛盾を検知し,能力を超えたタスクを慎重に拒否するUnsolvableQAとUnsolvableRLを提案する。 具体的には、双トラック手法を用いて導出される、ペアで解決可能かつ解決不可能なインスタンスのデータセットであるUnsolvableQAを構築する。 このデータセット上に構築されたUnsolvableRLは,精度,未解決性,難易度を考慮した3つの報酬成分を備えた強化学習フレームワークである。
  論文  参考訳（メタデータ） (2025-12-01T13:32:59Z)
• Self-Questioning Language Models [58.73276539661649]
  本稿では,提案者がトピックを与えられ,解答者に対する質問を生成する非対称なセルフプレイフレームワークを提案する。 提案者と解答者はともに強化学習を通じて訓練される。 3桁の乗算、OMEGAベンチマークの代数問題、Codeforcesのプログラミング問題である。
  論文  参考訳（メタデータ） (2025-08-05T17:51:33Z)
• Some things to know about achieving artificial general intelligence [0.0]
  現時点および予見可能なGenAIモデルは、人為的負債に悩まされているため、人工知能を達成できない。 十分に構造化された問題やアーキテクチャ、トレーニングデータを提供するには、人間の入力に大きく依存する。 彼らは全ての問題を言語パターン学習の問題とみなし、人工知能を実現するために必要な自律性は持っていない。
  論文  参考訳（メタデータ） (2025-02-10T20:10:26Z)
• A Mutual Information Maximization Approach for the Spurious Solution Problem in Weakly Supervised Question Answering [60.768146126094955]
  弱々しい教師付き質問応答は通常、最終的な答えのみを監督信号として持つ。 偶然に正解を導出する刺激的な解が多数存在するかもしれないが、そのような解の訓練はモデルの性能を損なう可能性がある。 本稿では,質問応答対と予測解間の相互情報の最大化により,このような意味的相関を明示的に活用することを提案する。
  論文  参考訳（メタデータ） (2021-06-14T05:47:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。