論文の概要: Vendster: An Evaluation Arena to Investigate How Forecasting Tool Quality Affects LLM Agent Behaviors in Buyer-Vendor Negotiation

• arxiv url: http://arxiv.org/abs/2610.38292v1
• Date: Wed, 28 Oct 2026 05:23:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:09.953488
• Title: Vendster: An Evaluation Arena to Investigate How Forecasting Tool Quality Affects LLM Agent Behaviors in Buyer-Vendor Negotiation
• Title（参考訳）: Vendster: 予測ツールの品質が購入者交渉におけるLLMエージェントの行動に与える影響を調査するための評価分野
• Abstract要約: 時系列の予測者は、ほぼすべて精度の指標でランク付けされるが、予測の判断値である下流の判断への影響は、正確さを追跡できず、測定されることは滅多にない。 本稿では,予測者のバイアスと予測区間幅が,買い手と売り手の割引交渉の結果をどのように変化させるかを評価する評価アリーナであるVendsterを紹介する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Time-series forecasters are ranked almost entirely by accuracy metrics, but a forecast's decision value, its effect on the downstream decision, need not track accuracy and is rarely measured. This problem compounds as large language model (LLM) agents increasingly consume forecasters as tools, mediating them through stochastic, opaque policies. We present Vendster, an evaluation arena measuring how a forecaster's bias and prediction-interval width change the outcome of a buyer--vendor discount negotiation between two LLM agents. In the reference instance Vendster-M5, sampling base demand patterns from the M5 dataset, we evaluate two frontier-closed LLM families (Claude Opus 4.6 and GPT-5.6 Sol) and two open ones (DeepSeek-V3.2 and Qwen3-235B-A22B). Model-generated forecasts raise sales target attainment by up to +17 percentage points (p<0.001), yet standard forecast evaluation metrics such as relWQL and MASE do not predict negotiation outcomes at a statistically significant level. To isolate the causal structure, we substitute in synthetic forecasts with controlled bias and interval width. Under-prediction bias significantly improves outcomes for agents that react more to the forecasts---dose-response slopes -0.387 and -0.416 (p<0.001). Interval width has no statistically significant effect at zero bias. These findings indicate that the direction of forecast bias and agent forecast-reactivity are more strongly associated with downstream outcomes than forecast accuracy. Vendster is fully customizable and released under CC BY-NC 4.0 at https://github.com/amazon-science/Vendster.
• Abstract（参考訳）: 時系列の予測者は、ほぼすべて精度の指標でランク付けされるが、予測の判断値である下流の判断への影響は、正確さを追跡できず、測定されることは稀である。 この問題は、大規模言語モデル(LLM)エージェントが予測器をツールとして消費し、確率的で不透明なポリシーを通じてそれらを仲介する傾向にある。 本稿では、予測者のバイアスと予測区間幅が、買い手の結果をどのように変化させるかを評価する評価アリーナであるVendsterについて述べる。 参照インスタンスであるVendster-M5では、M5データセットからベース需要パターンをサンプリングし、2つのフロンティア閉鎖LDMファミリー(Claude Opus 4.6 と GPT-5.6 Sol)と2つのオープンファミリー(DeepSeek-V3.2 と Qwen3-235B-A22B)を評価する。 モデル生成予測は、販売目標達成率を最大+17ポイント(p<0.001)引き上げるが、relWQLやMASEのような標準的な予測評価指標は、統計的に重要なレベルでの交渉結果を予測しない。 因果構造を分離するために、制御バイアスと間隔幅で合成予測を行う。 予測下バイアスは、予測にもっと反応するエージェントの結果を著しく改善する -------0.387と-0.416 (p<0.001)。 間隔幅はゼロバイアスで統計的に有意な影響を及ぼさない。 これらの結果から,予測バイアスとエージェント予測反応性の方向は,予測精度よりも下流結果と強く関連していることが示唆された。 Vendsterは完全にカスタマイズ可能で、CC BY-NC 4.0でhttps://github.com/amazon-science/Vendsterでリリースされている。

関連論文リスト

• Competence-Gated Pooling of Language Models and Priors for Event Forecasting [38.098764596232996]
  モデル不一致が外部予測を改善し、ドメイン固有の重みの使用による利得を導出できる場合の特徴付けを行う。 本稿では,解決された結果からドメインレベルのソース重みを推定し,不確実な見積もりをグローバルな重みに縮小し,プールされた予測を再検討する能力ゲートを導入する。 このゲートは公式のForecastBenchマーケットのサブセットに顕著な改善を与えていない。
  論文  参考訳（メタデータ） (2026-09-10T18:28:32Z)
• LLM-based Agents for Forecasting and Prediction: Methods, Training, Evaluation, and Applications [76.41731220830714]
  大規模言語モデル(LLM)は、言語ベースの推論と時間的データ、エビデンス検索、外部ツール、反復予測を組み合わせた予測システムをサポートするようになった。 ファイナンス、天気、健康、エネルギー、オペレーションの応用について検討し、評価に使用されるベンチマークとデータセットを要約する。
  論文  参考訳（メタデータ） (2026-08-24T10:02:39Z)
• Forecast Collapse in Time-Series Foundation Models [35.06550187645666]
  時系列基礎モデル(TSFM)、12のディープラーニング予測モデル、97の公開ベンチマーク構成の予測崩壊について検討した。 予測可能性の低さは校正点予測の振幅を制限しているのに対し、シリーズごとの目標はクロスシリーズ構造を未同定のまま残している。 このトレードオフに対応するために、キャリブレーションとランキングのバランスをとるシンプルな目的であるCalibRankを紹介します。
  論文  参考訳（メタデータ） (2026-08-14T09:08:02Z)
• Asymmetric Peak-Aware Loss for Peak-Critical Time Series Forecasting [1.7126708168238123]
  群衆需要予測などの運用時系列予測アプリケーションでは,過大予測よりも過大予測に関連するリスクが著しく高い。 Asymmetric Peak-Aware Loss (APAL) は、予測下降をより過度に罰し、予測ウィンドウ内のピーク領域のトレーニング重量を増加させるモデルに依存しない目的である。 APALは、制御可能なトレードオフを集約エラーで公開しながら、テール精度とピーク予測品質を改善し、ピーク予測失敗が主な運用上の問題である場合に、実用的な解決策となる。
  論文  参考訳（メタデータ） (2026-07-16T11:44:48Z)
• Aligning LLMs with Human Uncertainty: A Beta-Bernoulli Calibrator for LLM Forecasting [10.121727570560305]
  本研究では,任意のモデルからの初期点推定予測をイベント確率上の分布に変換するBeta-Bernoulli Calibrator (BBC)を提案する。 以上の結果から,BBCは従来型の校正法やモデルよりも,より精度の高い校正・精度の予測を行っている。
  論文  参考訳（メタデータ） (2026-05-26T20:39:33Z)
• Bi-Level Chaotic Fusion Based Graph Convolutional Network for Stock Market Prediction Interval [0.0]
  金融市場の予測は本質的に不確実であるが、ほとんどのディープラーニングアプローチは不確実性のない単一見積もりに依存している。 この問題は予測間隔を用いて解くことができ、予測の不確実性と低い境界が得られる。 しかし、現在の手法は資産間の関係を無視したり、適切な校正シャープネスを確保することができない傾向にある。
  論文  参考訳（メタデータ） (2026-05-05T05:06:42Z)
• The Forecast Critic: Leveraging Large Language Models for Poor Forecast Identification [74.64864354503204]
  本稿では,Large Language Models (LLM) を利用した予測自動監視システムであるThe Forecast Criticを提案する。 LLMの時系列予測品質を評価する能力を評価する。 合成および実世界の予測データを含む3つの実験を行った。
  論文  参考訳（メタデータ） (2025-12-12T21:59:53Z)
• Consistency Checks for Language Model Forecasters [54.62507816753479]
  予測器の性能を,論理的に異なる質問に対する予測の整合性の観点から測定する。 我々は,一連の基本質問を生成し,これらの質問から整合性チェックをインスタンス化し,予測者の予測を導き,予測の整合性を測定する自動評価システムを構築した。
  論文  参考訳（メタデータ） (2024-12-24T16:51:35Z)
• ExtremeCast: Boosting Extreme Value Prediction for Global Weather Forecast [57.6987191099507]
  非対称な最適化を行い、極端な天気予報を得るために極端な値を強調する新しい損失関数であるExlossを導入する。 また,複数のランダムサンプルを用いて予測結果の不確かさをキャプチャするExBoosterについても紹介する。 提案手法は,上位中距離予測モデルに匹敵する全体的な予測精度を維持しつつ,極端気象予測における最先端性能を達成することができる。
  論文  参考訳（メタデータ） (2024-02-02T10:34:13Z)
• Streaming Motion Forecasting for Autonomous Driving [71.7468645504988]
  ストリーミングデータにおける将来の軌跡を問うベンチマークを導入し,これを「ストリーミング予測」と呼ぶ。 我々のベンチマークは本質的に、スナップショットベースのベンチマークでは見過ごされていない安全上の問題であるエージェントの消失と再出現を捉えている。 我々は,任意のスナップショットベースの予測器をストリーミング予測器に適応させることのできる,"Predictive Streamer"と呼ばれるプラグアンドプレイメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-02T17:13:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。