論文の概要: Calibrated Surprise: An Information-Theoretic Account of Creative Quality
- arxiv url: http://arxiv.org/abs/2604.26269v1
- Date: Wed, 29 Apr 2026 03:53:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-30 15:59:36.247509
- Title: Calibrated Surprise: An Information-Theoretic Account of Creative Quality
- Title（参考訳）: キャリブレートサプライズ:創造的品質の情報理論
- Authors: Bo Zou, Chao Xu,
- Abstract要約: 「校正」は、著者の意図、読者の合理的な期待、現実の論理など、正確な意味を持つ。
完全次元の精度と旋律性は互いに排他的であり、1つの制約構造の2つの側面は別個の目標ではない。
キャリブレーション」は条件付きエントロピーを0とし、「サプライズ」は上昇するエントロピーに対応し、相互情報は結合量の正確な測度である。
- 参考スコア（独自算出の注目度）: 10.071691304378065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The essence of good creative writing is calibrated surprise: when constraints from all relevant dimensions act together, the feasible solution space collapses into a narrow region, and the surviving choices look least predictable from an unconstrained view. "Calibrated" has a precise meaning: the author's intent, the reader's reasonable expectation, and the logic of reality converge. When these three independent judgements agree on every dimension, the set of admissible writing choices is forced into a very small region. A mathematical corollary follows: full-dimensional accuracy and mediocrity are mutually exclusive -- two sides of one constraint structure, not separate goals. We use Shannon's mutual information $I(X;Y) = H(X) - H(X|Y)$ as our analysis tool. "Calibrated" corresponds to conditional entropy going to zero; "surprise" to entropy going up; mutual information is the precise measure of the joint quantity. The argument rests on two pillars. Static: when constraints from ethos, mythos, lexis, and dianoia are imposed together, the admissible set collapses sharply, and surviving solutions show up as low-probability choices from an unconstrained view. Dynamic: the chain rule shows each writing choice is constrained by what came before and constrains what comes after; macro-level decisions naturally contribute a larger share of information, removing the need for hand-tuned weighting. Through case studies and lightweight LLM-logprob computations, we show the framework is both analytically useful and operational, laying the theoretical groundwork for Creative Quality Alignment (CQA) and a professional evaluation benchmark.
- Abstract（参考訳）: すべての関連する次元からの制約が合わさると、実現可能な解空間は狭い領域に崩壊し、残った選択は制約のない視点からはほとんど予測できない。
「校正」は、著者の意図、読者の合理的な期待、現実の論理など、正確な意味を持つ。
これら3つの独立した判断がすべての次元に一致するとき、許容可能な文章の選択の集合は、非常に小さな領域に強制される。
完全次元の精度と明度は互いに排他的であり、1つの制約構造の2つの側面は別個の目標ではない。
我々は分析ツールとしてシャノンの相互情報$I(X;Y) = H(X) - H(X|Y)$を使用する。
キャリブレーション」は条件付きエントロピーを0とし、「サプライズ」は上昇するエントロピーに対応し、相互情報は結合量の正確な測度である。
議論は2つの柱に委ねられている。
静的: エスコ、神話、レキシス、ダイアニアからの制約が一緒に課されると、許容される集合は急速に崩壊し、生き残った解は制約のない視点から低い確率選択として現れる。
動的: チェーンルールは、各書き込み選択が前もって制約され、次に何が起こるかが制約されていることを示している。
ケーススタディと軽量LLM-logprob計算により,CQA(Creative Quality Alignment)の理論的基礎と,専門家による評価ベンチマークを構築した。
関連論文リスト
- The Illusion of Superposition? A Principled Analysis of Latent Thinking in Language Models [15.12701445445687]
潜在CoTを用いた推論において,言語モデルが実際に重ね合わせを利用するかどうかを検討する。
スクラッチからトレーニングされたモデルだけが、重ね合わせを使うことの兆候を示します。
この結果は、連続連鎖推論において重畳がいつ、なぜ生じるのかを統一的に説明できる。
論文 参考訳（メタデータ） (2026-04-07T18:59:32Z) - Partial Feedback Online Learning [88.27143767009376]
我々は、偏見フィードバックオンライン学習と呼ばれる新しい学習プロトコルについて研究する。
各インスタンスは許容できるラベルのセットを許可するが、学習者は1ラウンドごとに許容できるラベルを1つだけ観察する。
論文 参考訳（メタデータ） (2026-01-29T09:39:11Z) - On the Fundamental Limits of LLMs at Scale [15.459708840379975]
大きな言語モデル(LLM)は、スケーリングから非常に恩恵を受けていますが、これらの利益には5つの基本的な制限があります。
この研究は、LLMスケーリングの本質的に理論的な天井を形式化する統一された証明インフォームド・フレームワークを提示する。
確率に基づくトレーニングは、推論よりもパターン補完を優先し、トークン制限下での検索はセマンティックドリフトとカップリングノイズに苦しむこと、マルチモーダルスケーリングが浅度なクロスモーダルアライメントをいかに継承するかを示す。
論文 参考訳（メタデータ） (2025-11-17T01:55:33Z) - On the Fundamental Impossibility of Hallucination Control in Large Language Models [0.0]
不合理性理論:非自明な知識集約を行うLLMは、真理的な知識表現、意味情報保存、関連する知識の啓示を同時に達成できない。
提案手法は,アイデアのオークションとして推論をモデル化し,分散コンポーネントが符号化された知識を用いて応答に影響を与えることを証明している。
幻覚と想像力は数学的に同一であり、どちらも4つの重要な性質のうちの少なくとも1つに反する。
論文 参考訳（メタデータ） (2025-06-04T23:28:39Z) - Local theories with parallel realities and the epistemic view of the quantum state [1.2891210250935148]
単一世界の理論のランダム性と多様な事例の共存を組み合わせた一般的な枠組みを導入する。
このフレームワークは、量子通信の複雑さに関連があり、新しい技術的な問題を引き起こす。
論文 参考訳（メタデータ） (2025-02-19T15:19:08Z) - Making Large Language Models Better Reasoners with Alignment [57.82176656663245]
推論(Reasoning)とは、証拠を使って結論に達する認知過程である。
近年の研究では、思考の連鎖(COT)推論プロセスによるデータ上の微調整LDMは、その推論能力を著しく向上させることができることが示されている。
テキストアライメントファインチューニング(AFT)パラダイムを3ステップで導入する。
論文 参考訳（メタデータ） (2023-09-05T11:32:48Z) - Neuro-Symbolic Entropy Regularization [78.16196949641079]
構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。
エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。
我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
論文 参考訳（メタデータ） (2022-01-25T06:23:10Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z) - Causal Expectation-Maximisation [70.45873402967297]
ポリツリーグラフを特徴とするモデルにおいても因果推論はNPハードであることを示す。
我々は因果EMアルゴリズムを導入し、分類的表現変数のデータから潜伏変数の不確かさを再構築する。
我々は、反事実境界が構造方程式の知識なしにしばしば計算できるというトレンドのアイデアには、目立たずの制限があるように思える。
論文 参考訳（メタデータ） (2020-11-04T10:25:13Z) - A Weaker Faithfulness Assumption based on Triple Interactions [89.59955143854556]
より弱い仮定として, 2$-adjacency faithfulness を提案します。
より弱い仮定の下で適用可能な因果発見のための音方向規則を提案する。
論文 参考訳（メタデータ） (2020-10-27T13:04:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。