論文の概要: What Can Language Models Inherit from Solomonoff Induction? Limits, Attainable Properties, and What Served Conditionals Reveal

• arxiv url: http://arxiv.org/abs/2610.14007v1
• Date: Mon, 28 Sep 2026 19:01:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-18 21:02:54.46336
• Title: What Can Language Models Inherit from Solomonoff Induction? Limits, Attainable Properties, and What Served Conditionals Reveal
• Title（参考訳）: ソロモノフ誘導による言語モデルとは何が可能か : 限界, 達成可能な特性, 厳密な条件
• Abstract要約: 言語モデルは、厳密な適切な損失の下で訓練されたフレキシブル近似器であることが示される。 次に、ベイズ的推論としての文脈内学習を含む、継承可能なものについて議論する。
• 参考スコア（独自算出の注目度）: 0.009558392439655011
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: A familiar line of reasoning runs as follows: language models are flexible approximators trained under a strictly proper loss, so scale brings them closer to Solomonoff induction, and their predictive success is evidence of that approach. We apply known results from algorithmic information theory, universal prediction and Bayesian consistency. In its uniform form the conclusion holds for no computable model: each has cheap environments it never learns, and every uniformly computable family of total predictors shares one on which each member fails beyond a horizon growing with its index, so ``closer'' can hold only pointwise, one environment at a time. Nor could the offered routes certify even that: finite evaluation cannot certify agreement on rarely reached contexts, perfect corpus fit selects the corpus law as prior, and asymptotic criteria cannot see the constants that carry Solomonoff's guarantee. Our lens is the Kraft inequality read for predictors. Every model has at most the same budget of predictive success, so Solomonoff's predictor, which leaves part of it unspent, differs from a language model not in having more of it but in where it spends it; on mutually singular families this is exact, and only full-mass Bayes mixtures reach the frontier. We then discuss what is inheritable, including in-context learning as amortised Bayesian inference; what survives within a context window; which Solomonoff-like properties a deployed system should have or avoid; and what served conditionals determine. A closing table states what common practices certify and what to report. Tests are developed in a companion paper.
• Abstract（参考訳）: 言語モデルは厳密な適切な損失の下で訓練された柔軟な近似子であるため、スケールはソロモノフ誘導に近づき、彼らの予測的成功はそのアプローチの証拠である。 アルゴリズム情報理論、普遍予測、ベイズ整合性などの既知の結果を適用する。 それぞれが学習しない安価な環境を持ち、総予測者の一様計算可能なすべてのファミリーは、各メンバーが指数で成長する地平線を越えて失敗する1つを共有しているため、' ‘closer' は一度に1つの環境のみをポイントワイズで保持できる。 有限評価は到達しない文脈での合意を証明できない、完全コーパス適合は前もってコーパス法を選択し、漸近的基準はソロモノフの保証を持てる定数を見ることができない。 私たちのレンズは、予測器のためのKraftの不等式です。 どのモデルも予測的成功の予算がほぼ同じであるので、ソロモノフの予測器は、その一部を残したままであり、言語モデルとは異なる。 次に、コンテキスト内学習を暗黙のベイズ推論として扱うこと、コンテキストウィンドウ内で生き残ること、デプロイされたシステムの持つあるいは避けるべきSolomonoffのようなプロパティ、サービス条件が決定するものなど、継承可能なものについて議論する。 クローゼットテーブルは、共通プラクティスが認定するものと報告するものを記述します。 テストは共用紙で開発される。

関連論文リスト

• Language Unalignability: Why Some Concepts Resist Cross-Cultural Benchmark Evaluation [0.3007949058551534]
  我々は、暗黙的な翻訳同型推定(TIA)は、タイプ論的に特定可能な概念のクラスに対して原則として不適切であると主張する。 我々は$$-unalignabilityを、語彙的忠実性を同時に保存する任意の写像の不合理性として定義する。 我々はこれらの知見を多次元の診断プロファイルとして運用する。
  論文  参考訳（メタデータ） (2026-10-06T13:10:29Z)
• Objects Without Morphisms: What LLMs for Mathematics Do Not Represent [27.64177147171874]
  大規模言語モデル (LLM) は、競争数学のエキスパートレベルの性能に到達した。 周辺地域の方言間での文の翻訳という,外部基準が存在しない問題について検討する。 我々は、個別のブラインドキューで真実、内容、スコープを符号化する機器を導入する。
  論文  参考訳（メタデータ） (2026-10-02T16:33:32Z)
• Understanding as No-Arbitrage: Bounded Dutch Books as a Definition and Training Objective for Language Models [0.0]
  我々はこの疑問を、非アービタージュのレンズを通して「理解」を定義することで測定可能とする。 計算的に有界なトレーダーが保証された利益を抽出できない場合、モデルは語彙をある程度理解する。 Arbitrは、敵対的トレーダーが論理的不整合のモデルをペナルティ化するトレーニングフレームワークである。
  論文  参考訳（メタデータ） (2026-09-30T09:07:44Z)
• Compute-Bounded Security Assurance - Coverage, Verification, and Response under Resource Constraints [0.0]
  追加の推論計算は、正しく解決されたセキュリティ保証タスクの数を増やすことができる。 我々は、成功、ユニークなカバレッジ、承認された証拠、運用上の保護を分離するリソース制約のあるフレームワークを開発する。 概念的防御アーキテクチャは、証拠分析、判断、運用権限を分離する。
  論文  参考訳（メタデータ） (2026-09-07T13:07:55Z)
• Semantic Bayesian World Models [0.0]
  我々は、世界を事実のデータベースではなく、知識グラフに対する信念の共有的で進化した布地として記述するWebを構想する。 我々は,RDF1.2上での信念アノテーション,確率的包含体制,セマンティック・キャリブレーション・レイヤ,そして一度も会ったことのないエージェントが交換し,それに反対するプロトコルなど,コミュニティがそれを可能にするために構築しなければならないものを定義した。
  論文  参考訳（メタデータ） (2026-09-03T13:35:11Z)
• Agent-BRACE: Decoupling Beliefs from Actions in Long-Horizon Tasks via Verbalized State Uncertainty [70.43119366710778]
  本稿では,Agens-BRACE: Agent Belief state Representation by Abstraction and Confidence Estimationを紹介する。 LLMエージェントを信頼状態モデルと政策モデルに分離し、強化学習を通じて協調的に最適化する手法である。 長期にわたる部分的に観察可能な言語環境において、平均して+14.5%の絶対的な改善を実現している。
  論文  参考訳（メタデータ） (2026-05-12T02:37:04Z)
• Characterizing Online and Private Learnability under Distributional Constraints via Generalized Smoothness [63.833913892018536]
  本研究では、固定されたファミリー$U$からデータ生成分布を適応的に選択できる分布敵の下でのシーケンシャルな意思決定について検討する。 一般化滑らか性(Generalized smoothness)という概念の観点で学習可能性を認めるファミリー$U$のほぼ完全な特徴付けを提供する。 一般化された滑らかさは,分布制約下での個人学習性も特徴付けることを示す。
  論文  参考訳（メタデータ） (2026-02-24T06:15:59Z)
• Prototype-based Aleatoric Uncertainty Quantification for Cross-modal Retrieval [139.21955930418815]
  クロスモーダル検索手法は、共通表現空間を共同学習することにより、視覚と言語モダリティの類似性関係を構築する。 しかし、この予測は、低品質なデータ、例えば、腐敗した画像、速いペースの動画、詳細でないテキストによって引き起こされるアレタリック不確実性のために、しばしば信頼性が低い。 本稿では, 原型に基づくAleatoric Uncertainity Quantification (PAU) フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-09-29T09:41:19Z)
• Provable Limitations of Acquiring Meaning from Ungrounded Form: What will Future Language Models Understand? [87.20342701232869]
  未知のシステムが意味を習得する能力について検討する。 アサーションによってシステムが等価性のような意味関係を保存する表現をエミュレートできるかどうか検討する。 言語内のすべての表現が参照的に透明であれば,アサーションによってセマンティックエミュレーションが可能になる。 しかし、言語が変数バインディングのような非透過的なパターンを使用する場合、エミュレーションは計算不能な問題になる可能性がある。
  論文  参考訳（メタデータ） (2021-04-22T01:00:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。