論文の概要: Language Is an Insufficient Substrate for Quantitative Reasoning, and Consequential Domains Need Large Quantitative Models

• arxiv url: http://arxiv.org/abs/2609.12105v1
• Date: Thu, 10 Sep 2026 18:33:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-15 07:38:31.510682
• Title: Language Is an Insufficient Substrate for Quantitative Reasoning, and Consequential Domains Need Large Quantitative Models
• Title（参考訳）: 言語は量的推論のための十分でない基盤であり、連続領域は大きな量的モデルを必要とする
• Abstract要約: これらの性質は、LQM(Large Quantitative Model)と呼ばれる異なるモデルクラスを定義する。 これらの性質は、LQM(Large Quantitative Model)と呼ばれる異なるモデルクラスを定義する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The prevailing assumption in applied machine learning is that progress on consequential quantitative decisions such as pricing risk, allocating capital, triaging patients, or containing a network intrusion will follow from progress in large language models (LLMs). A language model is trained on a representation of the world that was produced by human description; description is a lossy encoding of the quantitative record, and the loss is irreversible: no downstream model, at any scale, can recover from a description what the description did not encode. We formalize this as a property of the representation on which a model is trained rather than of the model capacity, and we identify three further properties that consequential settings demand of a model and that a language substrate cannot supply by construction: reproducibility, lineage from every output back to the source records that produced. it, and calibrated uncertainty. We argue that these properties define a distinct model class, which we call the Large Quantitative Model (LQM).
• Abstract（参考訳）: 応用機械学習における一般的な仮定は、価格リスク、資本の割当、患者をトリアージする、ネットワーク侵入を含むといった連続的な定量的決定の進行が、大規模言語モデル(LLM)の進展から続くというものである。 言語モデルは、人間の記述によって作成された世界の表現に基づいて訓練され、説明は量的記録の失われる符号化であり、損失は不可逆である。 我々は、モデルがモデルキャパシティよりも訓練された表現の特性としてこれを形式化し、モデルの連続的な設定要求と言語基板が構築によって供給できない3つのさらなる特性を識別する:再現性、全ての出力から生成したソースレコードへの系統。 不確実性を校正しました これらの性質は、LQM(Large Quantitative Model)と呼ばれる異なるモデルクラスを定義する。

関連論文リスト

• Scaling Monosemanticity: Extracting Interpretable Features from Claude 3 Sonnet [16.049764376014668]
  我々は、モデルの中間層残留ストリームに最大3400万の機能を持つスパースオートエンコーダを訓練する。 有名なエンティティやロケーションに対応する機能や、sarcasmやコード内のエラーといったより抽象的な概念を見つけます。
  論文  参考訳（メタデータ） (2026-05-28T04:57:47Z)
• Information-Theoretic Limits of Reliability and Scaling in Language Models [6.658166782006281]
  大規模言語モデル(LLM)は、十分なスケールのタスクに対して、完全な信頼性が達成可能であるかのように評価される。 この仮定は情報理論的に不当であることを示す。 我々の研究は、ドメイン間のモデルパフォーマンスを管理するリソース・複雑さのトレードオフを形式化します。
  論文  参考訳（メタデータ） (2026-05-08T06:06:18Z)
• Fluid Representations in Reasoning Models [91.77876704697779]
  本稿では,QwQ-32Bの抽象構造情報処理のメカニズム解析を行う。 その結果、QwQ-32Bは、推論中の行動や概念の内部表現を徐々に改善することがわかった。
  論文  参考訳（メタデータ） (2026-02-04T18:34:50Z)
• GPT, But Backwards: Exactly Inverting Language Model Outputs [7.736516533045638]
  本稿では,Sparse One-Hot Discrete Adam (SODA)アルゴリズムを提案する。 実験では、自然言語とランダム入力の両方において、正確な言語モデルの逆変換が可能であることを示す。
  論文  参考訳（メタデータ） (2025-07-02T13:20:30Z)
• Noiser: Bounded Input Perturbations for Attributing Large Language Models [17.82404809465846]
  本稿では,各入力埋め込みに有界雑音を課す摂動型FA法であるノイズ器を紹介する。 ノイズは、信頼度と応答性の両方の観点から、既存の勾配、注意に基づく、摂動に基づくFA法を一貫して上回っていることを実証する。
  論文  参考訳（メタデータ） (2025-04-03T10:59:37Z)
• Tokens, the oft-overlooked appetizer: Large language models, the distributional hypothesis, and meaning [29.745218855471787]
  トークン化は多くの言語モジュールの現在のアーキテクチャにおいて必要なコンポーネントである。 トークン化は、合理的な人間的な言語のパフォーマンスに必要である、と我々は主張する。 本稿では,建築的選択,すなわち構成,思考のための言語の優越性について論じる。
  論文  参考訳（メタデータ） (2024-12-14T18:18:52Z)
• Meaning Representations from Trajectories in Autoregressive Models [106.63181745054571]
  入力テキストを拡張可能なすべてのトラジェクトリの分布を考慮し,自己回帰言語モデルから意味表現を抽出する。 この戦略はプロンプトフリーであり、微調整は必要とせず、事前訓練された自己回帰モデルにも適用できる。 我々は,大規模なモデルから得られた表現が人間のアノテーションとよく一致し,意味的類似性タスクにおける他のゼロショットおよびプロンプトフリーメソッドよりも優れており,標準埋め込みが扱えないより複雑なエンタテインメントや包含タスクの解決に使用できることを実証的に示す。
  論文  参考訳（メタデータ） (2023-10-23T04:35:58Z)
• On the Limitations of Model Stealing with Uncertainty Quantification Models [5.389383754665319]
  モデルステルスは、オリジナルのトレーニングコストのごく一部で、犠牲者モデルの機能を推測することを目的としている。 実際には、モデルのアーキテクチャ、重み寸法、および元のトレーニングデータを正確に決定することはできない。 複数の可能なネットワークを生成し、それらの予測を組み合わせることで、盗まれたモデルの品質を改善する。
  論文  参考訳（メタデータ） (2023-05-09T09:31:04Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Probabilistic Modeling for Human Mesh Recovery [73.11532990173441]
  本稿では,2次元の証拠から3次元の人体復元の問題に焦点を当てた。 我々は,この問題を,入力から3Dポーズの分布へのマッピング学習として再考した。
  論文  参考訳（メタデータ） (2021-08-26T17:55:11Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Limits of Detecting Text Generated by Large-Scale Language Models [65.46403462928319]
  誤情報キャンペーンで使用される可能性があるため、長く一貫性のあるテキストを生成できる大規模な言語モデルが危険であると考える者もいる。 ここでは、仮説テスト問題として大規模言語モデル出力検出を定式化し、テキストを真あるいは生成されたものと分類する。
  論文  参考訳（メタデータ） (2020-02-09T19:53:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。