論文の概要: Large Language Models as Computable Approximations to Solomonoff Induction

• arxiv url: http://arxiv.org/abs/2505.15784v1
• Date: Wed, 21 May 2025 17:35:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-22 15:42:59.807095
• Title: Large Language Models as Computable Approximations to Solomonoff Induction
• Title（参考訳）: ソロモノフ誘導に対する計算可能近似としての大規模言語モデル
• Authors: Jun Wan, Lingrui Mei,
• Abstract要約: 我々は,大規模言語モデル (LLM) とアルゴリズム情報理論 (AIT) の間の最初の公式な接続を確立する。 我々はAITを活用し、文脈内学習、少数ショット学習、スケーリング法則の統一的な理論的説明を提供する。 我々の枠組みは理論的基礎と実践的LLM行動のギャップを埋め、将来のモデル開発に説明力と実用的な洞察を提供する。
• 参考スコア（独自算出の注目度）: 11.811838796672369
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The rapid advancement of large language models (LLMs) calls for a rigorous theoretical framework to explain their empirical success. While significant progress has been made in understanding LLM behaviors, existing theoretical frameworks remain fragmented in explaining emergent phenomena through a unified mathematical lens. We establish the first formal connection between LLM architectures and Algorithmic Information Theory (AIT) by proving two fundamental results: (1) the training process computationally approximates Solomonoff prior through loss minimization interpreted as program length optimization, and (2) next-token prediction implements approximate Solomonoff induction. We leverage AIT to provide a unified theoretical explanation for in-context learning, few-shot learning, and scaling laws. Furthermore, our theoretical insights lead to a principled method for few-shot example selection that prioritizes samples where models exhibit lower predictive confidence. We demonstrate through experiments on diverse text classification benchmarks that this strategy yields significant performance improvements, particularly for smaller model architectures, when compared to selecting high-confidence examples. Our framework bridges the gap between theoretical foundations and practical LLM behaviors, providing both explanatory power and actionable insights for future model development.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、その経験的成功を説明するための厳密な理論的枠組みを求めている。 LLMの振る舞いを理解するために大きな進歩があったが、既存の理論フレームワークは、統一された数学的レンズを通して創発的な現象を説明するために断片化されている。 本研究では,LLMアーキテクチャとアルゴリズム情報理論(AIT)の間の最初の公式な接続を,(1)プログラム長の最適化として解釈された損失最小化によってSolomonoffを計算的に近似し,(2)次トーケン予測はSolomonoff帰納法を近似的に実装する,という2つの基本結果の証明により確立する。 我々はAITを活用し、文脈内学習、少数ショット学習、スケーリング法則の統一的な理論的説明を提供する。 さらに、我々の理論的洞察は、モデルが予測信頼度が低いサンプルを優先する、少数ショットのサンプル選択の原則的手法に導かれる。 各種テキスト分類ベンチマークの実験を通じて、この戦略は、特に信頼性の高い例を選択する場合と比較して、より小さなモデルアーキテクチャにおいて、大幅な性能向上をもたらすことを実証した。 我々の枠組みは理論的基礎と実践的LLM行動のギャップを埋め、将来のモデル開発に説明力と実用的な洞察を提供する。

関連論文リスト

• Model Steering: Learning with a Reference Model Improves Generalization Bounds and Scaling Laws [52.10468229008941]
  本稿では,戦略データの選択や重み付けを通じて,対象モデルのトレーニングを指導・強化するための基準として,訓練モデルを用いた新たな学習パラダイムを定式化する。 提案手法は,参照モデルを持たないトレーニングと比較して,一般化とデータの効率性を改善する理由に関する理論的知見を提供する。 これらの知見に基づいて,DRRho-CLIPと呼ばれる参照モデルを用いたコントラスト言語-画像事前学習手法を提案する。
  論文  参考訳（メタデータ） (2025-05-10T16:55:03Z)
• Investigating the Zone of Proximal Development of Language Models for In-Context Learning [59.91708683601029]
  大規模言語モデル(LLM)の文脈内学習(ICL)の振る舞いを分析するための学習分析フレームワークを提案する。 我々は,各例のモデル性能に基づいて,LLMのZPDを測定することにより,ZPD理論をICLに適用する。 本研究はICLの複雑な多面的動作を明らかにし,この手法の理解と活用に関する新たな知見を提供する。
  論文  参考訳（メタデータ） (2025-02-10T19:36:21Z)
• Large Language Models as Markov Chains [7.078696932669912]
  有限状態空間上で定義された自己回帰変換言語モデルとマルコフ連鎖の同値性を描く。 以上の結果とLLMで観察された病理行動との関連性を検討した。 最新のLlamaとGemmaのモデル群による実験は、我々の理論が実際にそれらの振る舞いを正しく捉えていることを示している。
  論文  参考訳（メタデータ） (2024-10-03T17:45:31Z)
• Beyond the Black Box: A Statistical Model for LLM Reasoning and Inference [0.9898607871253774]
  本稿では,大規模言語モデル(LLM)の振る舞いを説明する新しいベイズ学習モデルを提案する。 我々は,先行した多項遷移確率行列で表される理想的な生成テキストモデルに基づく理論的枠組みを開発し,LLMがこの行列をどのように近似するかを検討する。
  論文  参考訳（メタデータ） (2024-02-05T16:42:10Z)
• Faithful Explanations of Black-box NLP Models Using LLM-generated Counterfactuals [67.64770842323966]
  NLPシステムの予測に関する因果的説明は、安全性を確保し、信頼を確立するために不可欠である。 既存の手法は、しばしばモデル予測を効果的または効率的に説明できない。 本稿では, 対物近似(CF)の2つの手法を提案する。
  論文  参考訳（メタデータ） (2023-10-01T07:31:04Z)
• Hierarchical Optimization-Derived Learning [58.69200830655009]
  我々は,最適化モデル構築の本質的な動作とそれに対応する学習過程を同時に研究するために,階層型ODL(Hyerarchical ODL)という新しいフレームワークを構築した。 これは、最適化と学習という2つの結合されたODLコンポーネントに対する最初の理論的保証である。
  論文  参考訳（メタデータ） (2023-02-11T03:35:13Z)
• Synergies between Disentanglement and Sparsity: Generalization and Identifiability in Multi-Task Learning [79.83792914684985]
  我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。 この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
  論文  参考訳（メタデータ） (2022-11-26T21:02:09Z)
• Improving Few-Shot Learning through Multi-task Representation Learning Theory [14.8429503385929]
  本稿では,MTR(Multi-task representation)学習の枠組みについて考察する。 MTR理論の最近の進歩は、このフレームワーク内で解析すると、一般的なメタ学習アルゴリズムに新しい洞察を与えることができることを示す。 これは、直近のMSR理論の学習境界を、数発の分類のタスクのために実践する最初の貢献である。
  論文  参考訳（メタデータ） (2020-10-05T13:24:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。