論文の概要: Calculation and rejection diverge in language models tested at known mechanical limits

• arxiv url: http://arxiv.org/abs/2610.38096v1
• Date: Wed, 28 Oct 2026 00:28:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.931406
• Title: Calculation and rejection diverge in language models tested at known mechanical limits
• Title（参考訳）: 既知の機械的限界で検証された言語モデルにおける計算と拒絶のばらつき
• Abstract要約: 言語モデルが「解決」状態のエンジニアリング量を返すとき、要求された設計が物理的に不可能である場合でも、それを信頼するソフトウェアがそれをパスする。 ビーム負荷とディスク速度を、プラスチックの崩壊または破裂以上の既知の割合で設定し、各モデルの限界計算を別々に測定した。 私たちは、モデルが実現可能かどうかを尋ねるだけで不可能な設計を認識できるが、同じ設計を受け入れ、完全な答えを求めると「解決」する。
• 参考スコア（独自算出の注目度）: 4.906746849209501
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: When a language model returns engineering quantities with the status "solved", software that trusts it passes them on, even when the requested design is physically impossible. Such failures could reflect poor calculation, how the answer is requested, or a failure to judge feasibility. We set beam loads and disk speeds at known percentages above or below plastic collapse or burst, measured each model's limit calculation separately and tested 12 models in 4,860 calls, including follow-up experiments on new designs. We find that a model can recognize an impossible design when asked only whether it is feasible, yet accept the same design, reporting "solved", when asked for a full answer. Three models accepted beams 10 to 30% beyond collapse despite precise limit calculations in separate questions, and many accepted replies stated the violation. Asked only about feasibility, Opus 5 and Gemini 3.8 Flash rejected every impossible new design they were given, including those accepted in full answers, without false alarms. Rewording when to decline or changing the answer format raised rejection on the original beams, but not consistently on new designs. Software and benchmarks using a model's status should test feasibility judgment and full-answer rejection separately, and report the exact prompt.
• Abstract（参考訳）: 言語モデルが「解決」状態のエンジニアリング量を返すとき、要求された設計が物理的に不可能である場合でも、それを信頼するソフトウェアがそれをパスする。 このような失敗は、計算の貧弱さ、回答の要求の仕方、実現可能性の判断の失敗を反映する可能性がある。 ビーム負荷とディスク速度を、プラスチックの崩壊または破裂以上の既知の割合で設定し、各モデルの限界計算を別々に測定し、新しい設計のフォローアップ実験を含む4,860回の呼び出しで12モデルを試験した。 私たちは、モデルが実現可能かどうかを尋ねるだけで不可能な設計を認識できるが、同じ設計を受け入れ、完全な答えを求めると「解決」する。 3つのモデルでは、個別の質問で正確な制限計算がなされたにもかかわらず、ビームが崩壊を越えて10～30%を受け入れた。 Opus 5 と Gemini 3.8 Flash は実現可能性についてのみ尋ねられ、全ての不可能な新デザインを拒絶した。 解答形式を縮小または変更する際のリワードは、元のビームでは拒絶されるが、新しい設計では一貫して拒否されることはなかった。 モデルのステータスを使用するソフトウェアとベンチマークは、実行可能性判定と完全な回答拒否を別々にテストし、正確なプロンプトを報告すべきである。

関連論文リスト

• Where Can a Decision Model Diagnose HVAC Faults? Reasoning Demand, Physical Representation, and Robustness Under Shift [0.0]
  本研究は, 暖房, 換気, 空調システムにおける異常診断に関するオープンな3つの疑問に答える。 実際の機器の4つの公開データセットから128の障害日において、診断要求の理由により、障害は格付けされる。 この研究は、決定モデルにどの欠陥があるかが、どの入力から診断され、そしてコードが物理を計算する仕事の分割をサポートする。
  論文  参考訳（メタデータ） (2026-10-07T12:23:55Z)
• Language models can notice an impossible engineering problem yet still report it as solved [4.906746849209501]
  言語モデルは工学計算をドラフトするが、解答精度は、不可能な問題を拒絶するかどうかを示さない。 30組のメカニクス問題に対して14のモデルを検証し、それぞれが有効なバージョンを持ち、与えられた値や仮定を変更することで不可能になった。 欠陥のある問題に対する拒絶とは別途、有効な問題の解決に成功しました。
  論文  参考訳（メタデータ） (2026-10-05T16:43:21Z)
• Benchmarking System One decision models against trained classifiers and language models for automated decision gates [1.089614199781423]
  1つのハーネスは6つのファミリーから8つの決定モデルチェックポイントを送信する。 タスクラベルでは、細調整されたDeBERTa-v3-largeが最も精度が高い。 その結果、自動決定ゲートの条件依存ルールが得られる。
  論文  参考訳（メタデータ） (2026-09-29T19:57:59Z)
• JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
  JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。 ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。 Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
  論文  参考訳（メタデータ） (2026-09-25T11:32:19Z)
• Pinocchio: Fast Uncertainty Estimates for Black-Box Language Models [73.50370994588927]
  ブラックボックスAPIモデルから応答の正しさを推定する外部キャリブレータであるPinocchioを紹介する。 我々のモデルは、不確実な推定を生成するために1つのフォワードパスしか必要とせず、ターゲットモデルのロジット、重み、または内部状態へのアクセスを必要としない。
  論文  参考訳（メタデータ） (2026-09-21T16:48:50Z)
• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• The Deterministic Horizon: Impossibility Results as Design Specifications for Trustworthy AI Systems [0.0]
  この論文は、好奇心から不合理性の結果を設計規則に変える。 そのフラッグシップとなる結果は、アーキテクチャだけで設定された精度の高い天井を証明している。 同じ引数がサブフィールドにまたがって再キャストされる。
  論文  参考訳（メタデータ） (2026-05-21T20:48:35Z)
• Refusal Tokens: A Simple Way to Calibrate Refusals in Large Language Models [68.15108215197279]
  安全で信頼性の高い言語モデルを構築する上で重要な要素は、モデルが特定の質問に答えることを適切に拒否することである。 本稿では,学習中のモデルの応答に先立って,各拒絶カテゴリに対する1つのそのようなトークン,あるいは1つの拒絶トークンを提案する。
  論文  参考訳（メタデータ） (2024-12-09T18:40:44Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。