論文の概要: Beyond Ideal Instruction: A Comprehensive Framework for Evaluating LLMs in Realistic Interactions

• arxiv url: http://arxiv.org/abs/2606.03318v1
• Date: Tue, 02 Jun 2026 08:28:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-03 22:00:04.867116
• Title: Beyond Ideal Instruction: A Comprehensive Framework for Evaluating LLMs in Realistic Interactions
• Title（参考訳）: 理想的インストラクションを超えて:現実的相互作用におけるLLM評価のための包括的フレームワーク
• Abstract要約: RUT-Benchは大規模言語モデル(LLM)を評価するために設計されたベンチマークである。 我々はベンチマークを用いて、広く採用されている19のオープンソースおよびプロプライエタリなLCMについて包括的な評価を行う。
• 参考スコア（独自算出の注目度）: 27.32526689836774
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite great advances in tool-use capabilities of large language models (LLMs), existing evaluation benchmarks struggle to fully align with real-world scenarios. Such benchmarks mostly rely on simulated idealized user assumptions and lacks experience-oriented evaluation. These limitations fail to account for the ambiguity, uncooperative behaviors, and shifting intentions characteristic of real-world users. To fill this gap, we propose RUT-Bench, a dedicated benchmark designed to assess LLMs under diverse Real-world User Tool calling scenarios. RUT-Bench supports high-fidelity simulations covering both ideal rational patterns and heterogeneous non-ideal behaviors across single-turn and multi-turn dialogues. We conduct comprehensive evaluations on 19 widely adopted open-source and proprietary LLMs using our benchmark. Experimental results reveal that no tested LLMs achieve an overall success rate above 40%, and nearly all of them experience noticeable performance drops when facing more complicated non-ideal user inputs. Our code and data is available at https://github.com/TorresYangX/RUT-Bench.
• Abstract（参考訳）: 大きな言語モデル(LLM)のツール使用能力が大幅に向上したにもかかわらず、既存の評価ベンチマークは現実のシナリオと完全に整合するのに苦労している。 このようなベンチマークは、主にシミュレーションされた理想化されたユーザー仮定に依存しており、経験指向の評価が欠如している。 これらの制限は、現実のユーザ特有の曖昧さ、非協力的行動、およびシフトする意図を説明できない。 このギャップを埋めるために、様々な実世界のユーザツール呼び出しシナリオ下でLLMを評価するために設計された専用のベンチマークであるRUT-Benchを提案する。 RUT-Benchは、理想的有理パターンと、単ターンと多ターンの対話における不均一な非理想的振る舞いの両方をカバーする高忠実性シミュレーションをサポートしている。 我々はベンチマークを用いて、広く採用されている19のオープンソースおよびプロプライエタリなLCMについて包括的な評価を行う。 実験の結果、テスト済みのLLMは40%以上の成功率を達成することができず、ほとんど全員がより複雑な非理想的ユーザ入力に直面した場合に顕著なパフォーマンス低下を経験していることがわかった。 私たちのコードとデータはhttps://github.com/TorresYangX/RUT-Bench.comで公開されています。

関連論文リスト

• Towards Realistic Personalization: Evaluating Long-Horizon Preference Following in Personalized User-LLM Interactions [50.70965714314064]
  大規模言語モデル(LLM)は、ユーザが拡張されたインタラクションよりも複雑で多様な好みを共有するパーソナルアシスタントとして、ますます機能している。 この研究は、パーソナライズされたユーザ-LLMインタラクションにおいて、リアルな嗜好フォローを評価するためのベンチマークであるRealPrefを提案する。
  論文  参考訳（メタデータ） (2026-03-04T15:42:43Z)
• Structured Prompting Enables More Robust Evaluation of Language Models [38.53918044830268]
  DSPy+HELMフレームワークを提案する。 構造化されたプロンプトがなければ、HELMはLM性能(平均4%)を過小評価し、性能評価はベンチマークによって異なることがわかった。 これは、構造化されたプロンプトを確立された評価フレームワークに体系的に統合する最初のベンチマーク研究である。
  論文  参考訳（メタデータ） (2025-11-25T20:37:59Z)
• Beyond Synthetic Benchmarks: Evaluating LLM Performance on Real-World Class-Level Code Generation [3.9189409002585567]
  大規模言語モデル(LLM)は関数レベルのコード生成ベンチマークで強い性能を示している。 本稿では,実環境下での一般化を評価するために,実世界のオープンソースリポジトリから得られたベンチマークを紹介する。 入力仕様の完全性と検索拡張生成が複数の最先端LCMのクラスレベルの正しさにどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2025-10-30T04:30:23Z)
• TRUEBench: Can LLM Response Meet Real-world Constraints as Productivity Assistant? [11.400738388392654]
  大規模言語モデル(LLM)は生産性アシスタントとしてますます統合されている。 既存のベンチマークは、実世界の命令追跡能力を厳格に評価するに足りていない。 LLMベースの生産性アシスタント用に特別に設計されたベンチマークであるTRUEBenchを紹介する。
  論文  参考訳（メタデータ） (2025-09-24T08:05:32Z)
• Fun-ASR Technical Report [89.84148151617022]
  本稿では,大規模データ,大規模モデル容量,LLM統合,強化学習を組み合わせた大規模ALSシステムFun-ASRを提案する。 Fun-ASRは特に実用的なデプロイメントに最適化されており、ストリーミング機能、ノイズの堅牢性、コードスイッチング、ホットワードのカスタマイズ、その他の現実世界のアプリケーション要件を満たすことができる。 運用指向の最適化により、Fun-ASRは実際のアプリケーションデータセット上での最先端のパフォーマンスを実現し、実用的設定におけるその有効性と堅牢性を示す。
  論文  参考訳（メタデータ） (2025-09-15T23:19:36Z)
• RMTBench: Benchmarking LLMs Through Multi-Turn User-Centric Role-Playing [133.0641538589466]
  RMTBenchは、80の多様な文字と8000以上の対話ラウンドを特徴とする、総合的なテキストバプサー中心のバイリンガルロールプレイングベンチマークである。 本ベンチマークでは,文字記述よりも明示的なユーザモチベーションに基づく対話を構築し,実用的なユーザアプリケーションとの整合性を確保する。 RMTBenchは、キャラクタバックグラウンドからユーザ意図のフルフィルメントにフォーカスを移すことで、学術的な評価と実践的なデプロイメント要件のギャップを埋める。
  論文  参考訳（メタデータ） (2025-07-27T16:49:47Z)
• StoryBench: A Dynamic Benchmark for Evaluating Long-Term Memory with Multi Turns [7.60350050736492]
  長期記憶は、自律的な知性を達成するために、大規模言語モデルにとって不可欠である。 既存のベンチマークでは、知識保持と動的シーケンシャル推論を評価する上で、課題に直面している。 インタラクティブなフィクションゲームに基づく新しいベンチマークフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-06-16T10:54:31Z)
• Meeseeks: A Feedback-Driven, Iterative Self-Correction Benchmark evaluating LLMs' Instruction Following Capability [21.96694731466089]
  フィードバック機構を組み込んだ完全に自動化された命令追従ベンチマークであるMeeseeksを紹介した。 Meeseeksは、モデル応答における誤ったコンポーネントを特定し、対応するフィードバックを正確に提供することで、モデルを自己補正に向けて反復的に導く。 我々は、マクロレベルとインスタンスレベルの両方から包括的な分析を行い、現在の最先端モデルでよく見られる多くの共通問題を明らかにした。
  論文  参考訳（メタデータ） (2025-04-30T13:28:19Z)
• ACEBench: Who Wins the Match Point in Tool Usage? [86.79310356779108]
  ACEBenchは、Large Language Models (LLMs)におけるツールの使用状況を評価するための包括的なベンチマークである。 データを評価方法論に基づく3つの主要なタイプに分類する。 これは、異なるデータタイプにわたるエラー原因をよりきめ細かい検査を提供する。
  論文  参考訳（メタデータ） (2025-01-22T12:59:08Z)
• FB-Bench: A Fine-Grained Multi-Task Benchmark for Evaluating LLMs' Responsiveness to Human Feedback [33.532239489610056]
  FB-Benchは、中国語の実際の使用シナリオ下での人間のフィードバックに対する大規模言語モデルの応答性を評価するために設計されたベンチマークである。 我々は,多種多様なLLMを広範囲に評価し,異なる相互作用シナリオにおける性能の顕著な変動を明らかにした。 我々の研究結果は、現在のモデルの強みと限界の両方を強調し、将来の研究に価値ある洞察と方向性を提供する。
  論文  参考訳（メタデータ） (2024-10-12T07:40:01Z)
• A User-Centric Benchmark for Evaluating Large Language Models [39.538411572029005]
  大きな言語モデル(LLM)は、異なるタスクでユーザと協調するために必要なツールである。 実際のユーザによるLLMの利用を意図したベンチマークはほとんどない。 ユーザニーズを満たす上での有効性について10のLCMサービスをベンチマークする。
  論文  参考訳（メタデータ） (2024-04-22T07:32:03Z)
• MLLM-Bench: Evaluating Multimodal LLMs with Per-sample Criteria [49.500322937449326]
  MLLM(Multimodal large language model)は、AIアプリケーションの範囲を広げている。 既存のMLLMの自動評価手法は主にユーザエクスペリエンスを考慮せずにクエリを評価する場合に限られている。 本稿では,MLLM を判断基準として評価する MLLM の新しい評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-23T12:04:25Z)
• MINT: Evaluating LLMs in Multi-turn Interaction with Tools and Language Feedback [78.60644407028022]
  我々は,大規模言語モデルのマルチターンインタラクションによる課題解決能力を評価するベンチマークであるMINTを紹介する。 LLMは一般的に、ツールと言語フィードバックの恩恵を受けます。 LLMの評価、教師あり指導ファインタニング(SIFT)、人間からのフィードバックからの強化学習(RLHF)は、一般的にマルチターン能力を損なう。
  論文  参考訳（メタデータ） (2023-09-19T15:25:42Z)
• LLMs as Factual Reasoners: Insights from Existing Benchmarks and Beyond [135.8013388183257]
  そこで我々は,SummEditsと呼ばれる10ドメインのベンチマークで不整合検出ベンチマークを作成し,実装する新しいプロトコルを提案する。 ほとんどのLLMはSummEditsで苦労しており、パフォーマンスはランダムに近い。 最も優れたモデルであるGPT-4は、推定された人間のパフォーマンスよりも8%低い。
  論文  参考訳（メタデータ） (2023-05-23T21:50:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。