論文の概要: Shorter Is Not Cheaper: A Controlled Comparison of Declarative Animation Specifications and Free-Form Code for LLM-Generated Explanations
- arxiv url: http://arxiv.org/abs/2610.32129v1
- Date: Fri, 23 Oct 2026 03:56:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.339957
- Title: Shorter Is Not Cheaper: A Controlled Comparison of Declarative Animation Specifications and Free-Form Code for LLM-Generated Explanations
- Title（参考訳）: より短くはない: LLM生成説明のための宣言的アニメーション仕様と自由形式コードの比較
- Abstract要約: チャットアシスタントは対話的でアニメーション的な説明で質問に答える。
固定ランタイムが実行するフリーフォームHTML/JavaScript宣言仕様として生成される。
この予測は、仮説と分析計画が実行前に凍結された制御された比較で検証する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chat assistants increasingly answer conceptual questions with interactive, animated explanations, generated either as free-form HTML/JavaScript or as declarative specifications that a fixed runtime plays. The declarative route is widely expected to be cheaper, faster and more reliable, because its outputs are shorter and constrained. We test this expectation in controlled comparisons whose hypotheses and analysis plans were frozen before the runs. We designed ExplainSpec, a time-indexed declarative animation format, and an observation contract that makes every generated explanation programmatically inspectable; validated, pacing-agnostic checkers score 20 explanation requests from five domains. Three Claude models (360 jobs) and, in a follow-up, the open-weight Qwen3-14B with thinking enabled and disabled (240 jobs) answered every request in both formats. For every model the specifications were 25-48% shorter in answer tokens (output excluding reasoning), yet with reasoning enabled total output fell significantly only for the largest Claude model and no model generated significantly faster. The reasons differed. The Claude models reasoned far more before writing specifications (exploratory; for the two larger models, from 15-20% to 85-88% of generations). Qwen3-14B reasoned about as much in both formats (a pre-registered test of this shift was not supported), and its shorter answers saved little against a reasoning trace more than twice as long. Nor were specifications more reliable: free-form pages were valid after one repair round in 95-100% of jobs for every model, whereas Qwen3-14B produced valid specifications in only 33% of jobs and passed all semantic tests in 17% (HTML/JavaScript: 62%). For reasoning models, a shorter format alone therefore does not make generation cheaper, faster or more reliable, and a format learned in context can cost reliability.
- Abstract（参考訳）: チャットアシスタントは、インタラクティブでアニメーション的な説明で概念的な質問に答えるようになり、フリーフォームのHTML/JavaScriptか、固定ランタイムが実行する宣言的な仕様として生成される。
宣言的なルートは、アウトプットが短く制約があるため、安価で、高速で、信頼性が高いことが広く期待されている。
本研究は,仮説と解析計画が実行前に凍結された制御された比較実験において,この予測を検証した。
我々は,タイムインデックス化された宣言型アニメーションフォーマットであるExplainSpecと,生成したすべての説明をプログラムで検査可能にする観察契約を設計した。
3つのクロードモデル(360ジョブ)と後続のQwen3-14B(240ジョブ)は、両方のフォーマットで全ての要求に応答した。
全てのモデルについて、仕様は回答トークンで25～48%短く(推論を除く出力)、推理によって許容される総出力は最大クロードモデルでのみ大幅に低下し、生成速度は大幅に向上した。
理由は様々である。
クロードモデルは仕様書を書くよりずっと早く推論された(探索的、より大型の2モデルについては15～20%から85～88%の世代)。
Qwen3-14Bは、両方のフォーマット(このシフトを事前登録したテストはサポートされていない)を推論し、その短い答えは、その2倍以上のトレースに対してほとんど保存されなかった。
一方、Qwen3-14Bは33%のジョブで有効な仕様を作成し、すべてのセマンティックテストは17%(HTML/JavaScript:62%)でパスした。
推論モデルの場合、短いフォーマットだけでは、生成を安く、より速く、より信頼性の高いものにすることができず、文脈で学習したフォーマットは信頼性を犠牲にすることができる。
関連論文リスト
- PAIR: Memory-Efficient and Fast Inference with Reading--Reasoning Fusion [15.66392940087084]
PAIRはエビデンス抽出と解答推論に2つの異なるサイズのモデルを採用している。
より小さなReaderモデルは、完全なコンテキストを処理し、保持する一方で、より大きなReasonerモデルは、コンテキストに直接参加することなく、質問と生成されたシーケンスのみを見ることができる。
HotpotQAでは、32B Reasonerを搭載したPAIRは、KVメモリの約4分の1を使用しながら、同じ32Bモデルのフルコンテキスト精度の96%を維持している。
45.7Kのコンテキストでは、PAIRは同じGPU上のフルコンテキスト32Bモデルよりも3.2$times$高いエンドツーエンドスループットを実現している。
論文 参考訳（メタデータ） (2026-10-12T00:10:17Z) - Are You Sure You're Sure? Two Confounds in a Sycophancy Benchmark [0.23332469289621782]
我々は、SycEvalを監査する。これは、モデル回答(プリエンプティブ)の前に提起された異議が、(コンテキスト内での)後に提起されたものよりも、より厚みを生じることを報告している。
欠落した比較を構築し、複数の質問とSycEval独自のフリーフォームパイプラインでテストします。
論文 参考訳（メタデータ） (2026-09-26T18:52:35Z) - ReasonCast: Towards Explainable Time Series Forecasting with Reasoning [13.359564942661251]
ほとんどの時系列モデル(TS)は単一のタスクに特化しており、理解(TSに関するテキストの回答を返す)か世代(数値予測を返す)のいずれかである。
本稿では,1)予測(世代)と2)自己説明(理解)を共同で生成するタスク融合モデルについて論じる。
我々は,2つのタスクを共同で処理するベンチマークとレシピを提示する。LLMを微調整して両タスクを共同実行するためのレシピであるReasonCastは,推論チェーンと予測を1つの自己回帰パスで生成するモデルを生成する。
論文 参考訳（メタデータ） (2026-08-03T08:21:07Z) - Prompt Design at Scale: How Format, Instruction Count, and Context Length Shape Instruction Adherence and Hallucination in Large Language Models [0.0]
2つの実験は、保持された汚染のない合成コーパス上の3つの因子全てを横断する。
実験1では,規則数Nが10から160に増加するにつれて,命令追従減衰を測定する。
実験2では, 2k-to-512k-tokenのコンテキストラグ上での精度, 虚偽の前提条件, ファクトファクトファクトファクチャリングの測定を行った。
論文 参考訳（メタデータ） (2026-07-21T16:31:35Z) - CAVEWOMAN: How Large Language Models Behave Under Linguistic Input and Output Compression [77.41779716950387]
本稿では,2チャンネル評価プロトコルであるCavewomanについて述べる。
我々は5つのデータセットの8つのモデルを5つの還元レベルで評価し、両方のチャネルは同じ項目で測定した。
論文 参考訳（メタデータ） (2026-06-23T02:56:48Z) - What-If World: A Causal Benchmark for General World Models in Embodied Scenarios [23.527918480081013]
ビデオ生成モデルは、運転やロボット操作といったタスクのための世界シミュレータとして、ますます使われている。
これらの設定で重要なのは、単一のビデオが正しく見えるかどうかではなく、入力が変わったときにモデルの出力が変わるかどうかです。
我々は、同じシーンを1つの物理的詳細で記述した2つのプロンプトをモデルに与え、この2つのビデオが物理の予測方法が異なるかどうかを確認することによって、これを検証した。
論文 参考訳（メタデータ） (2026-05-26T19:02:26Z) - Movie Facts and Fibs (MF$^2$): A Benchmark for Long Movie Understanding [97.05584099530226]
MF$2$は、モデルがフル長の映画から重要な物語情報を理解し、統合し、思い出せるかどうかを評価するための新しいベンチマークである。
各ペアについて、モデルは真と偽のクレームの両方を正しく識別する必要がある。
実験の結果、オープンウェイトモデルとクローズド・オブ・ザ・アーティファクトモデルの両方が人間のパフォーマンスにかなり劣っていることがわかった。
論文 参考訳（メタデータ） (2025-06-06T17:58:36Z) - s1: Simple test-time scaling [148.4204982041058]
テスト時間スケーリングは、パフォーマンスを改善するために余分なテスト時間計算を使用する言語モデリングに対する、有望な新しいアプローチである。
テストタイムのスケーリングと強力な推論性能を実現するための最もシンプルなアプローチを探します。
論文 参考訳（メタデータ） (2025-01-31T18:48:08Z) - Getting MoRE out of Mixture of Language Model Reasoning Experts [71.61176122960464]
多様な特殊言語モデルを組み込んだMixture-of-Reasoning-Experts (MoRE) フレームワークを提案する。
実例,マルチホップ,数学的,コモンセンス推論など,さまざまな推論カテゴリに最適化されたプロンプトを備えたバックボーン言語モデルを特化する。
人間の研究では、専門家による予測と回答の選択プロセスが、アノテータがシステムの出力を信頼するタイミングをより正確に調整するのに役立ちます。
論文 参考訳（メタデータ） (2023-05-24T02:00:51Z) - PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。
本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。
我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
論文 参考訳（メタデータ） (2020-10-06T15:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。