論文の概要: StreamDecisionBench: Evaluating Decisions in Force on Evolving Language Streams
- arxiv url: http://arxiv.org/abs/2609.38612v1
- Date: Tue, 29 Sep 2026 22:15:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:26.797108
- Title: StreamDecisionBench: Evaluating Decisions in Force on Evolving Language Streams
- Title（参考訳）: StreamDecisionBench: 言語ストリームの進化における決定力の評価
- Abstract要約: StreamDecisionBench (SDB) は、その決定を毎回実行時に評価する。
SDBは、誤った瞬間を判断、遅延、あるいはその両方に当てはめます。
推論は判断を改善するが、低作業のレイテンシではLunaとTerraが犠牲になる。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: As natural language drives more applications, language models increasingly run inside programs as decision components: the program sends them the current state and acts on the returned decision until a newer one arrives. When evidence changes during inference, a decision correct for its own state can stay in force after that state has passed, as when a call recorder keeps running after a customer starts reading out a card number; untimed (offline) accuracy counts such an error as correct. We introduce StreamDecisionBench (SDB), which evaluates the decision in force at every instant and attributes every erroneous instant to judgment, latency or both. Its scenarios stream evidence in four application families, with reference decisions computed from public rules by executable code. We summarize in-force accuracy across update intervals of 1-5 s by its normalized area under the curve on a logarithmic time axis, giving equal weight to equal multiplicative ranges. Across six settings of four hosted models, this score stays within 2.9 points of the scenario-wise product of untimed accuracy and an oracle's integrated timing score. Reasoning improves judgment, but at low effort latency costs Luna and Terra, two GPT models we also evaluate without reasoning, 38.8 and 42.8 points relative to untimed accuracy; a faster component with weaker judgment attains a similar integrated score to Terra without reasoning. The aggregate and family curves show where these tradeoffs change, making the evaluation's time-scale dependence visible.
- Abstract（参考訳）: 自然言語がより多くのアプリケーションを動かすにつれて、言語モデルは次第に決定コンポーネントとしてプログラム内で動作するようになる。
推測中にエビデンスが変化すると、顧客がカード番号を読み出した後にコールレコーダが走り続けるように、その状態が経過した後、自身の状態の判断が有効に保たれ、未タイム(オフライン)精度がそのような誤りを正当とみなす。
StreamDecisionBench(SDB)を紹介します。これは、各瞬間における決定を効果的に評価し、誤った瞬間から判断、レイテンシ、あるいはその両方に属性を割り当てます。
そのシナリオは、実行可能コードによって公開ルールから計算された参照決定によって、4つのアプリケーションファミリにエビデンスをストリームする。
対数時間軸の曲線下における正規化領域によって,更新間隔1-5秒のインフォース精度を要約し,同じ乗法範囲に等しい重量を与える。
4つのホストされたモデルの6つの設定で、このスコアは、未時間精度とオラクルの統合タイミングスコアのシナリオワイド製品の2.9ポイント以内に留まる。
推論は判断を改善するが、Luna と Terra の2つの GPT モデルも推論なしで評価し、未処理の精度に対して 38.8 と 42.8 の点がある。
集合曲線と家族曲線は、これらのトレードオフがどこで変化するかを示し、評価の時間スケール依存を可視化する。
関連論文リスト
- Same Scores, Different Decisions: Evaluating JEV and Language Models for Legal Document Understanding [65.85599131866623]
私たちはJevとContractNLIの9つの言語モデルを比較します。
制御された比較は、仮説の可視性、要求された出力、および出力順序によって異なる。
Jevは、評価された構成の中で、最低コストと中央値のレスポンス時間を持っています。
論文 参考訳（メタデータ） (2026-09-23T10:53:01Z) - GradCuit: Credit-Assigned Gradient Flow Enables Robust and Interpretable Test-Time Latent Reasoning [61.67411833252235]
本稿では,プロンプトの隠蔽表現と生成された継続の間に,選択したTransformer層に最適化可能な潜在状態を挿入するGradCuitを紹介する。
5つの命令調整されたバックボーン、3つの推論ベンチマーク、2つの回答フォーマットで、GradCuitの平均精度は64.5%である。
解釈可能性について、トークンレベルの勾配属性は、遅延の影響が推論・接続子トークンに集中していることを明らかにする一方、層解析は、初期から中間のトランスフォーマー層を最も効果的な最適化空間として認識する。
論文 参考訳（メタデータ） (2026-08-03T17:55:24Z) - Separating Decision-Rule Misalignment from Readout-Coverage Limitations in Speech Language Models [0.3142999832608949]
出力された応答,オプションロジット,それらのロジットのアフィン読み出し,および同じ応答トークンにおける隠蔽状態の線形読み出しを比較する。
状態復号は平均27.8の精度で生成され、判定ルールと読み出しカバーギャップは10条件すべてで正である。
論文 参考訳（メタデータ） (2026-08-03T17:34:33Z) - SVR: Self-Verifying Refinement via Joint Verdict-Confidence Reinforcement Learning for Adaptive Test-Time Compute [62.3458279176813]
自己検証リファインメント(Self-Verifying Refinement)は、オラクルフリーのマルチターン強化学習フレームワークである。
自己検証を計算制御ポリシとして使用することを学ぶ。
マクロ平均精度は0.563で、平均で2.99回しか推測できない。
論文 参考訳（メタデータ） (2026-07-30T16:20:58Z) - Instrument Effects in Language-Model Honesty Evaluation: An Auditable Single-System Demonstration [0.0]
ゲームエンジンが、どのモデルでも、クエストが完了するかどうかを知ることができるような、テキストアドベンチャーの世界を構築します。
結果が読まれる前に決定ルールが記録され、実行するアーティファクトが実行されたリビジョンにバインドされる。
プレイヤーが固定された状態で、楽器の選択は測定された振る舞いを大きく変えた。
論文 参考訳（メタデータ） (2026-07-15T22:33:53Z) - A Proprioceptive-Only Benchmark for Quadruped State Estimation: ATE, RPE, and Runtime Trade-offs Between Filters and Smoothers [3.926021278968717]
MUSE, Invariant Extended Kalman Filter (IEKF), Invariant Smoother (IS) の3つの状態受容状態推定器を比較した。
本稿では,長期精度(ATE),短期精度(Translational and rotational Relative Pose metrics RPE),および固定ハードウェア/ソフトウェアスタック上での更新時間について報告する。
全体として、本研究では正確さとコストのスナップショットを提供し、読者がアプリケーション制約に適合する推定器を選択するのに役立つ。
論文 参考訳（メタデータ） (2026-05-12T07:31:57Z) - The Judge Who Never Admits: Hidden Shortcuts in LLM-based Evaluation [17.386684382460242]
大規模言語モデル(LLM)は、推論、質問応答、創造的記述といったタスクにおけるシステムの出力を評価するために、ますます使われてきている。
6つの判定モデルに対する評価プロンプトに挿入された制御キュー摂動合成メタデータラベルを用いて,この理想を検証した。
情報源,時間,年齢,性別,民族,教育的地位の6つのキュー族を調査する。
論文 参考訳（メタデータ） (2026-02-08T14:45:23Z) - Understanding and Mitigating Numerical Sources of Nondeterminism in LLM Inference [31.2331188304598]
評価バッチサイズ、GPUカウント、GPUバージョンなどのシステム構成の変更は、生成されたレスポンスに大きな違いをもたらす可能性がある。
この変数の根本原因は、限定的な数値精度で浮動小数点算術の非連想性に遡る。
そこで我々は16ビットの精度で重みを格納するが、FP32では全ての計算を実行する軽量な推論パイプラインLayerCastを開発した。
論文 参考訳（メタデータ） (2025-06-11T08:23:53Z) - Thought calibration: Efficient and confident test-time scaling [11.028893528095196]
大きな言語モデルを推論することで、長いこと考えることで、素晴らしいテスト時間のスケーリングを実現しますが、このパフォーマンス向上は、かなりの計算コストを伴います。
思考終了時の動的決定を動的に行うための思考校正を提案する。
このフレームワークは,言語モデルに隠された表現をベースとした軽量なプローブによって実現されている。
論文 参考訳（メタデータ） (2025-05-23T22:17:18Z) - Towards Streaming Perception [70.68520310095155]
本稿では、リアルタイムオンライン知覚のための単一のメトリクスにレイテンシと精度を協調的に統合するアプローチを提案する。
この指標の背後にある重要な洞察は、瞬間ごとに認識スタック全体の出力を共同で評価することである。
本稿では,都市ビデオストリームにおけるオブジェクト検出とインスタンスセグメンテーションの具体的タスクに注目し,高品質で時間依存的なアノテーションを備えた新しいデータセットを寄贈する。
論文 参考訳（メタデータ） (2020-05-21T01:51:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。