論文の概要: TRUEBench: Can LLM Response Meet Real-world Constraints as Productivity Assistant?

• arxiv url: http://arxiv.org/abs/2509.22715v1
• Date: Wed, 24 Sep 2025 08:05:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-30 22:32:18.819184
• Title: TRUEBench: Can LLM Response Meet Real-world Constraints as Productivity Assistant?
• Title（参考訳）: TRUEBench: LLMの反応は生産性アシスタントとして現実の制約に対応できるのか?
• Abstract要約: 大規模言語モデル(LLM)は生産性アシスタントとしてますます統合されている。 既存のベンチマークは、実世界の命令追跡能力を厳格に評価するに足りていない。 LLMベースの生産性アシスタント用に特別に設計されたベンチマークであるTRUEBenchを紹介する。
• 参考スコア（独自算出の注目度）: 11.400738388392654
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) are increasingly integral as productivity assistants, but existing benchmarks fall short in rigorously evaluating their real-world instruction-following capabilities. Current benchmarks often (i) lack sufficient multilinguality, (ii) fail to capture the implicit constraints inherent in user requests, and (iii) overlook the complexities of multi-turn dialogue. To address these critical gaps and provide a more realistic assessment, we introduce TRUEBench (Trustworthy Real-world Usage Evaluation Benchmark)1, a novel benchmark specifically designed for LLM-based productivity assistants. TRUEBench distinguishes itself by featuring input prompts across 12 languages, incorporating intra-instance multilingual instructions, employing rigorous evaluation criteria to capture both explicit and implicit constraints, and including complex multi-turn dialogue scenarios with both accumulating constraints and context switches. Furthermore, to ensure reliability in evaluation, we refined constraints using an LLM validator. Extensive experiments demonstrate that TRUEBench presents significantly greater challenges than existing benchmarks; for instance, a strong model like OpenAI o1 achieved only a 69.07% overall pass rate. TRUEBench offers a demanding and realistic assessment of LLMs in practical productivity settings, highlighting their capabilities and limitations.
• Abstract（参考訳）: 大規模言語モデル(LLM)は生産性アシスタントとしてますます統合されているが、既存のベンチマークは実世界の命令追従能力を厳格に評価するに足りていない。 現在のベンチマークはしばしば 一 十分な多言語性がないこと。 (ii)ユーザ要求に固有の暗黙の制約を捕捉できず、 (三)マルチターン対話の複雑さを見落としている。 これらの重要なギャップに対処し、より現実的な評価を提供するために、LLMベースの生産性アシスタント用に特別に設計された新しいベンチマークであるTRUEBench(Trustworthy Real-world Usage Evaluation Benchmark)1を導入する。 TRUEBenchは、12言語にまたがるインプットプロンプトを特徴付け、インスタンス内の多言語命令を取り入れ、明示的制約と暗黙的制約の両方をキャプチャするための厳密な評価基準を採用し、制約とコンテキストスイッチの両方を蓄積した複雑なマルチターン対話シナリオを含むことで、自分自身を差別化している。 さらに,評価の信頼性を確保するため,LLMバリデータを用いた制約を改良した。 例えば、OpenAI o1のような強力なモデルでは、パスレートは69.07%に過ぎなかった。 TRUEBenchは、実用的生産性設定におけるLLMの要求と現実的な評価を提供し、その能力と制限を強調している。

関連論文リスト

• Beyond Ideal Instruction: A Comprehensive Framework for Evaluating LLMs in Realistic Interactions [27.32526689836774]
  RUT-Benchは大規模言語モデル(LLM)を評価するために設計されたベンチマークである。 我々は,このベンチマークを用いて,広く採用されている19のオープンソースおよびプロプライエタリ LLM の評価を行った。 テスト済みのLCMは40%以上の成功率を達成することができず、ほとんど全員が、より複雑な非理想的なユーザ入力に直面した時に顕著なパフォーマンス低下を経験しています。
  論文  参考訳（メタデータ） (2026-06-02T08:28:37Z)
• AACR-Bench: Evaluating Automatic Code Review with Holistic Repository-Level Context [10.769682566098695]
  AACR-Benchは、複数のプログラミング言語にまたがる完全なクロスファイルコンテキストを提供する包括的なベンチマークである。 従来のデータセットとは異なり、AACR-Benchは潜伏する欠陥を明らかにするために"AIアシスト、エキスパート検証"のアノテーションパイプラインを使用している。
  論文  参考訳（メタデータ） (2026-01-27T11:28:44Z)
• KnowMT-Bench: Benchmarking Knowledge-Intensive Long-Form Question Answering in Multi-Turn Dialogues [58.305425399644086]
  MT-LFQA(Multi-Turn Long-Form Question Answering)は、知識集約ドメインにおけるLLM(Large Language Models)の重要な応用パラダイムである。 textbfKnowMT-Benchは、知識集約的な分野にわたるLLMのためのMT-LFQAを体系的に評価するために設計された、テキストファーストなベンチマークである。
  論文  参考訳（メタデータ） (2025-09-26T04:32:29Z)
• EIFBENCH: Extremely Complex Instruction Following Benchmark for Large Language Models [64.70546873396624]
  大規模言語モデル(LLM)を評価するためのEIFBENCH(Extremely Complex Instruction following Benchmark)を提案する。 EIFBENCHにはマルチタスクシナリオが含まれており、多様なタスクタイプを同時に総合的に評価することができる。 また,LLMのマルチタスクワークフローを正確に満たす能力を高めるために,セグメントポリシー最適化(SegPO)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-06-10T02:39:55Z)
• A Controllable Examination for Long-Context Language Models [62.845852724511964]
  本研究では,長文言語モデルを評価するベンチマークである$textbfLongBioBenchを紹介する。 その結果,ほとんどのモデルでは,検索結果に対する意味的理解や基礎的推論が不足していることが判明した。 我々のさらなる分析は、文脈的非コヒーレンスなど、既存の合成ベンチマークで採用されているいくつかの設計選択を示している。
  論文  参考訳（メタデータ） (2025-06-03T14:23:06Z)
• Tests as Prompt: A Test-Driven-Development Benchmark for LLM Code Generation [1.7268889851975326]
  私たちは、テスト駆動開発(TDD)タスクにおいて、大規模言語モデル(LLM)を評価するための新しいベンチマークであるWebApp1Kを紹介します。 自然言語のプロンプトに依存する従来のアプローチとは異なり、我々のベンチマークでは、LLMがテストケースから直接機能を解釈し実装する能力を強調しています。
  論文  参考訳（メタデータ） (2025-05-13T23:47:12Z)
• Meeseeks: A Feedback-Driven, Iterative Self-Correction Benchmark evaluating LLMs' Instruction Following Capability [21.96694731466089]
  フィードバック機構を組み込んだ完全に自動化された命令追従ベンチマークであるMeeseeksを紹介した。 Meeseeksは、モデル応答における誤ったコンポーネントを特定し、対応するフィードバックを正確に提供することで、モデルを自己補正に向けて反復的に導く。 我々は、マクロレベルとインスタンスレベルの両方から包括的な分析を行い、現在の最先端モデルでよく見られる多くの共通問題を明らかにした。
  論文  参考訳（メタデータ） (2025-04-30T13:28:19Z)
• Line Goes Up? Inherent Limitations of Benchmarks for Evaluating Large Language Models [0.0]
  私は、ベンチマークのパラダイムに固有の制限が、認知タスクに対する一般的な能力の指標として、ベンチマークのパフォーマンスを非常に適さないと論じます。 総合LLM認知能力の信頼性指標としてベンチマーク性能を用いるべきではないと結論づける。
  論文  参考訳（メタデータ） (2025-02-20T07:13:29Z)
• CFBench: A Comprehensive Constraints-Following Benchmark for LLMs [32.47057812403923]
  CFBenchは大規模言語モデルのベンチマークに従う大規模な包括的制約である。 200以上の実生活シナリオと50以上のNLPタスクをカバーする1,000のキュレートされたサンプルがある。 CFBenchは実世界の命令から厳密に制約をコンパイルし、制約型のための革新的な体系的なフレームワークを構築する。
  論文  参考訳（メタデータ） (2024-08-02T09:03:48Z)
• SEED-Bench-2: Benchmarking Multimodal Large Language Models [67.28089415198338]
  MLLM(Multimodal large language model)は、最近、テキストだけでなく、インターリーブされたマルチモーダル入力の画像を生成できることを実証した。 SEED-Bench-2は、正確な人間のアノテーションを持つ24Kの多重選択質問で構成されており、27次元にまたがっている。 我々は,23個の著名なオープンソースMLLMの性能を評価し,貴重な観察結果を要約した。
  論文  参考訳（メタデータ） (2023-11-28T05:53:55Z)
• FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models [79.62191017182518]
  FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。 本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。 FollowBench上での13のLLMの評価により,LLMの弱さと今後の研究への道のりを示す。
  論文  参考訳（メタデータ） (2023-10-31T12:32:38Z)
• MINT: Evaluating LLMs in Multi-turn Interaction with Tools and Language Feedback [78.60644407028022]
  我々は,大規模言語モデルのマルチターンインタラクションによる課題解決能力を評価するベンチマークであるMINTを紹介する。 LLMは一般的に、ツールと言語フィードバックの恩恵を受けます。 LLMの評価、教師あり指導ファインタニング(SIFT)、人間からのフィードバックからの強化学習(RLHF)は、一般的にマルチターン能力を損なう。
  論文  参考訳（メタデータ） (2023-09-19T15:25:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。