論文の概要: Measuring Decision-Scale Use in Tool-Augmented LLMs: A Contrastive Urban Benchmark

• arxiv url: http://arxiv.org/abs/2609.16607v1
• Date: Tue, 15 Sep 2026 04:06:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 14:56:08.336707
• Title: Measuring Decision-Scale Use in Tool-Augmented LLMs: A Contrastive Urban Benchmark
• Title（参考訳）: ツール強化LDMにおける意思決定スケールの計測 : 対照的な都市ベンチマーク
• Abstract要約: 都市の意思決定支援はしばしば、特定の場所での活動が異常に高いか低いかを尋ねるが、どの場所がより大きな生数を持っているかは問わない。 URBANCONTRASTIVEQAは,ツール拡張言語モデルがこのベースライン相対比較を行うことができるかどうかを問うベンチマークである。 それぞれのアイテムは、ニューヨーク市、シカゴ、シアトルの公共交通機関のデータから、現在の活動がその場所の歴史的基準からどれくらい離れているかを示す2つの都市状況と組み合わせている。
• 参考スコア（独自算出の注目度）: 3.033196534183858
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Urban decision-support often asks whether activity is unusually high or low for a specific place, not which place has the larger raw count. Twenty pickups in a quiet neighborhood can be more abnormal than 180 at an airport. We introduce URBANCONTRASTIVEQA, a benchmark that asks whether tool-augmented language models can make this baseline-relative comparison. Each item pairs two urban situations from public mobility data in NYC, Chicago, and Seattle, labeled by how far current activity deviates from that place's historical baseline. We evaluate six instruction-tuned models under five tool-output formats. With only raw counts, models often pick the larger number even when it is less abnormal for its zone. Server-computed baseline scores and ordinal labels raise accuracy, but gains vary by model. For heterogeneous urban feeds, tool interfaces need to expose local baselines, not just activity volumes. We release the pair bank, labels, scoring scripts, and data card.
• Abstract（参考訳）: 都市の意思決定支援はしばしば、特定の場所での活動が異常に高いか低いかを尋ねるが、どの場所がより大きな生数を持っているかは問わない。 静かな近所の20件のピックアップは、空港で180件以上の異常がある。 URBANCONTRASTIVEQAは,ツール拡張言語モデルがこのベースライン相対比較を行うことができるかどうかを問うベンチマークである。 それぞれのアイテムは、ニューヨーク市、シカゴ、シアトルの公共交通機関のデータから、現在の活動がその場所の歴史的基準からどれくらい離れているかを示す2つの都市状況と組み合わせている。 5つのツール出力形式で6つの命令調整モデルを評価する。 生数だけの場合、モデルがゾーンの異常度が低い場合でも、より大きな数を選ぶことが多い。 サーバ計算されたベースラインスコアと順序ラベルは精度を上げるが、利得はモデルによって異なる。 ヘテロジニアスな都市フィードでは、ツールインターフェースはアクティビティのボリュームだけでなく、ローカルなベースラインを公開する必要がある。 ペアバンク、ラベル、スコアリングスクリプト、データカードをリリースしています。

関連論文リスト

• An Empirical Evaluation of Cross-City POI Recommendation on a Large-Scale Benchmark [55.73054722370559]
  都市横断点(POI)勧告は、慣れない都市環境をナビゲートするために重要である。 小さいベンチマークで得られた結論が、まだ世界規模でカバーされているか、住宅先が低いか、大きな意味的にリッチなPOI在庫が重複しているかを再検討する。
  論文  参考訳（メタデータ） (2026-08-28T02:16:33Z)
• Mapping the City Through the Lens of Language Models [5.705725225868815]
  10個のオープンウェイトチェックポイントは、実際の都市中心部から派生した匿名化プロファイルである。 この枠組みは、モデルが普通の都市を実証的に追跡できるとみなすものについて、さほど曖昧な概念を定めている。
  論文  参考訳（メタデータ） (2026-08-04T00:09:08Z)
• Breaking the Benchmark: Revealing LLM Bias via Minimal Contextual Augmentation [12.56588481992456]
  大規模言語モデルは、その表現と振舞いにステレオタイプ的バイアスを示すことが示されている。 3つのプラグ・アンド・プレイステップを含む,新規で汎用的な拡張フレームワークを提案する。 大規模言語モデルは入力の摂動に影響を受けやすいことが分かり、ステレオタイプに振る舞う可能性が高くなる。
  論文  参考訳（メタデータ） (2025-10-27T23:05:12Z)
• LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
  我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。 ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
  論文  参考訳（メタデータ） (2024-10-14T17:51:23Z)
• VLBiasBench: A Comprehensive Benchmark for Evaluating Bias in Large Vision-Language Model [72.13121434085116]
  我々は、LVLM(Large Vision-Language Models)におけるバイアスを評価するベンチマークであるVLBiasBenchを紹介する。 VLBiasBenchは、年齢、障害ステータス、性別、国籍、身体的外観、人種、宗教、職業、社会経済ステータスを含む9つの異なる社会バイアスのカテゴリを含むデータセットと、人種x性別と人種x社会経済ステータスの2つの交叉バイアスのカテゴリを含む。 15のオープンソースモデルと2つの高度なクローズドソースモデルに対して広範な評価を行い、これらのモデルに存在するバイアスに関する新たな洞察を得る。
  論文  参考訳（メタデータ） (2024-06-20T10:56:59Z)
• Deep Temporal Deaggregation: Large-Scale Spatio-Temporal Generative Models [5.816964541847194]
  本稿では,最新技術よりもパフォーマンスとスケールが大幅に向上する時系列の変圧器に基づく拡散モデルTDDPMを提案する。 これは、いくつかのシーケンス長、標準データセット、評価尺度にまたがる新しい包括的なベンチマークで評価される。
  論文  参考訳（メタデータ） (2024-06-18T09:16:11Z)
• Big City Bias: Evaluating the Impact of Metropolitan Size on Computational Job Market Abilities of Language Models [12.01811996644995]
  大規模言語モデル(LLM)は、候補者と雇用主の両方にとって、ジョブマッチングに有用な技術として登場した。 ジョブマッチングは、都市や地域など、特定の地理的位置に基づいて行われることが多い。 大規模言語モデルで符号化された大都市規模のバイアスを定量化し, ゼロショット給与, 雇用主の存在, 通勤時間予測を384大都市圏で評価した。
  論文  参考訳（メタデータ） (2024-03-12T19:40:18Z)
• Scaling Laws Do Not Scale [54.72120385955072]
  最近の研究によると、データセットのサイズが大きくなると、そのデータセットでトレーニングされたモデルのパフォーマンスが向上する。 このスケーリング法則の関係は、モデルのアウトプットの質を異なる集団がどのように認識するかと一致しないパフォーマンスを測定するために使われる指標に依存する、と我々は主張する。 異なるコミュニティは、互いに緊張関係にある価値を持ち、モデル評価に使用されるメトリクスについて、困難で、潜在的に不可能な選択をもたらす可能性がある。
  論文  参考訳（メタデータ） (2023-07-05T15:32:21Z)
• Local Context-Aware Active Domain Adaptation [61.59201475369795]
  この問題に対処するために,LADAというローカルコンテキスト対応ADAフレームワークを提案する。 そこで本研究では,モデル予測の局所的矛盾に基づく新しい基準を考案する。 提案基準が既存のアクティブ・セレクション・ストラテジーよりも、より情報的なターゲット・サンプルを選択することが実験によって検証された。
  論文  参考訳（メタデータ） (2022-08-26T20:08:40Z)
• Few-shot Instruction Prompts for Pretrained Language Models to Detect Social Biases [55.45617404586874]
  我々は、事前訓練された言語モデル(LM)を誘導する数ショットの命令ベース手法を提案する。 大規模なLMは、微調整モデルとよく似た精度で、異なる種類の細粒度バイアスを検出できることを示す。
  論文  参考訳（メタデータ） (2021-12-15T04:19:52Z)
• Automatic Face Understanding: Recognizing Families in Photos [6.131589026706621]
  親族認識のための最大のデータベースを構築します。 ビデオダイナミックス、オーディオ、テキストキャプションは、親族認識システムの意思決定に使用することができる。
  論文  参考訳（メタデータ） (2021-01-10T22:37:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。