論文の概要: Heads or Tails: A Simple Example of Causal Abstractive Simulation
- arxiv url: http://arxiv.org/abs/2509.01136v1
- Date: Mon, 01 Sep 2025 05:10:02 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 15:17:03.550593
- Title: Heads or Tails: A Simple Example of Causal Abstractive Simulation
- Title（参考訳）: 頭かタオル:因果的抽象シミュレーションの簡単な例
- Authors: Gabriel Simmons,
- Abstract要約: 注意すべき点は、公正なコイントスを言語モデルでシミュレートするケースだ。
言語モデルシミュレーションの分野の実践者にとって、因果的抽象シミュレーションは、アドホックな統計ベンチマークプラクティスと因果性の確かな公式基盤を結びつける手段である。
AIの哲学者や心の哲学者は、因果的抽象シミュレーションが言語モデルがロールプレイングであるという考えに正確な操作を与えるので興味を持っているかもしれない。
- 参考スコア（独自算出の注目度）: 4.56877715768796
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: This note illustrates how a variety of causal abstraction arXiv:1707.00819 arXiv:1812.03789, defined here as causal abstractive simulation, can be used to formalize a simple example of language model simulation. This note considers the case of simulating a fair coin toss with a language model. Examples are presented illustrating the ways language models can fail to simulate, and a success case is presented, illustrating how this formalism may be used to prove that a language model simulates some other system, given a causal description of the system. This note may be of interest to three groups. For practitioners in the growing field of language model simulation, causal abstractive simulation is a means to connect ad-hoc statistical benchmarking practices to the solid formal foundation of causality. Philosophers of AI and philosophers of mind may be interested as causal abstractive simulation gives a precise operationalization to the idea that language models are role-playing arXiv:2402.12422. Mathematicians and others working on causal abstraction may be interested to see a new application of the core ideas that yields a new variation of causal abstraction.
- Abstract（参考訳）: ここでは、因果的抽象シミュレーションとして定義されている様々な因果的抽象 arXiv:1707.00819 arXiv:1812.03789 を用いて、言語モデルシミュレーションの簡単な例を定式化する方法について述べる。
このノートは、公正なコイントスを言語モデルでシミュレートするケースについて考察する。
例として、言語モデルがシミュレートに失敗する可能性を示す例が提示され、成功事例が示され、言語モデルがシステムの因果的記述から他のシステムをシミュレートすることを示すために、この形式がどのように使用されるかが示される。
このメモは3つのグループにとって興味があるかもしれない。
言語モデルシミュレーションの分野における実践者にとって、因果的抽象シミュレーションは、アドホックな統計ベンチマークの実践を因果性の確かな公式な基礎に結びつける手段である。
AIの哲学者や心の哲学者は、因果的抽象シミュレーションが言語モデルがロールプレイング arXiv:2402.12422 であるという考えを正確に運用することに関心があるかもしれない。
因果的抽象化に取り組んでいる数理学者や他の研究者は、因果的抽象の新たなバリエーションをもたらす中心的概念の新しい応用を見ることに興味があるかもしれない。
関連論文リスト
- Using (Not so) Large Language Models for Generating Simulation Models in a Formal DSL -- A Study on Reaction Networks [0.0]
我々は、自然言語をシミュレーションモデルに定式化するために、Large Language Modelがどのように使用されるかを評価する。
我々は,微調整と評価の基礎となる合成データ生成装置を開発した。
我々の微調整ミストラルモデルでは,84.5%のケースで地上の真理シミュレーションモデルを復元できる。
論文 参考訳（メタデータ） (2025-03-03T15:48:01Z) - The Emergence of Grammar through Reinforcement Learning [5.599852485003601]
構文的・意味的構成の文法体系の進化は、強化学習理論の新たな応用によってモデル化される。
私たちは、与えられたコンテキストで表現できる異なるメッセージに対する確率分布をモデル内に含んでいます。
提案された学習と生産のアルゴリズムは、言語学習を、メッセージの確率から得られる各ステップの利点など、一連の単純なステップに分解する。
論文 参考訳（メタデータ） (2025-03-03T15:10:46Z) - Slaves to the Law of Large Numbers: An Asymptotic Equipartition Property for Perplexity in Generative Language Models [0.0]
言語モデルにより生成された大きなテキストの対数的パープレキシティは、トークン分布の平均エントロピーに収束しなければならないことを示す。
これは、言語モデルによって生成される全ての長い合成テキストが属しなければならない「典型的集合」を定義する。
その結果, (a) 合成AI生成テキストの検出や, (b) テキストが言語モデルの学習に使用されたかどうかの検証など,重要な実践的問題への応用の可能性が示唆された。
論文 参考訳（メタデータ） (2024-05-22T16:23:40Z) - Representation Surgery: Theory and Practice of Affine Steering [72.61363182652853]
言語モデルは、しばしば好ましくない振る舞いを示す。
モデルが望ましくない振る舞いを示すのを防ぐための自然な(そして一般的な)アプローチの1つは、モデルの表現を操ることである。
本稿では, ステアリング機能の形式的および経験的特性について検討する。
論文 参考訳（メタデータ） (2024-02-15T00:20:30Z) - Generative Models as a Complex Systems Science: How can we make sense of
large language model behavior? [75.79305790453654]
事前訓練されたモデルから望ましい振る舞いを排除し、望ましくないモデルを避けながら、NLPを再定義した。
言語モデルの振る舞いをタスク間性能を説明するカテゴリに分解する体系的な取り組みについて論じる。
論文 参考訳（メタデータ） (2023-07-31T22:58:41Z) - From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought [124.40905824051079]
言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。
我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。
LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。
認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
論文 参考訳（メタデータ） (2023-06-22T05:14:00Z) - Learning to Reason With Relational Abstractions [65.89553417442049]
関係抽象化の考え方を用いて,言語モデルにおいてより強力な推論能力を構築する方法について検討する。
このようなシーケンスをプロンプトとして提供したモデルでは,タスクの精度が大幅に向上することがわかった。
論文 参考訳（メタデータ） (2022-10-06T00:27:50Z) - Using Large Language Models to Simulate Multiple Humans and Replicate
Human Subject Studies [7.696359453385686]
チューリング実験(TE)と呼ばれる新しいタイプの試験を導入する。
TEは、言語モデルの特定の人間の振る舞いのシミュレーションにおいて一貫した歪みを明らかにすることができる。
我々は、異なる言語モデルが、古典的な経済、精神言語、社会心理学実験をいかにうまく再現できるかを比較した。
論文 参考訳（メタデータ） (2022-08-18T17:54:49Z) - Interpreting Language Models with Contrastive Explanations [99.7035899290924]
言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。
既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。
比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
論文 参考訳（メタデータ） (2022-02-21T18:32:24Z) - Modelling Compositionality and Structure Dependence in Natural Language [0.12183405753834563]
言語学と集合論に基づいて、これらの概念の形式化がこの論文の前半で述べられている。
言語処理を行う認知システムは,特定の機能的制約を持つ必要がある。
単語埋め込み技術の進歩を利用して、関係学習のモデルがシミュレートされる。
論文 参考訳（メタデータ） (2020-11-22T17:28:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。