論文の概要: IntentGrasp: A Comprehensive Benchmark for Intent Understanding

• arxiv url: http://arxiv.org/abs/2605.06832v1
• Date: Thu, 07 May 2026 18:34:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-11 19:43:38.547528
• Title: IntentGrasp: A Comprehensive Benchmark for Intent Understanding
• Title（参考訳）: IntentGrasp: インテント理解のための総合ベンチマーク
• Authors: Yuwei Yin, Chuyuan Li, Giuseppe Carenini,
• Abstract要約: 本稿では,Large Language Model (LLM) アシスタントの意図理解能力を評価するためのベンチマークであるIntentGraspを紹介する。 IntreGraspには262,759インスタンスの大規模なトレーニングセットと2つの評価セットが含まれている。 そこで本研究では,IntentGraspのトレーニングセット上でモデルを微調整し,All Set上で30以上のF1ポイント,Gem Set上で20以上のポイントを達成できるIFTを提案する。
• 参考スコア（独自算出の注目度）: 16.2374637709304
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Accurately understanding the intent behind speech, conversation, and writing is crucial to the development of helpful Large Language Model (LLM) assistants. This paper introduces IntentGrasp, a comprehensive benchmark for evaluating the intent understanding capability of LLMs. Derived from 49 high-quality, open-licensed corpora spanning 12 diverse domains, IntentGrasp is constructed through source datasets curation, intent label contextualization, and task format unification. IntentGrasp contains a large-scale training set of 262,759 instances and two evaluation sets: an All Set of 12,909 test cases and a more balanced and challenging Gem Set of 470 cases. Extensive evaluations on 20 LLMs across 7 families (including frontier models such as GPT-5.4, Gemini-3.1-Pro, and Claude-Opus-4.7) demonstrate unsatisfactory performance, with scores below 60% on All Set and below 25% on Gem set. Notably, 17 out of 20 tested models perform worse than a random-guess baseline (15.2%) on Gem Set, while the estimated human performance is ~81.1%, showing substantial room for improvement. To enhance such ability, this paper proposes Intentional Fine-Tuning (IFT), which fine-tunes the models on the training set in IntentGrasp, yielding significant gains of 30+ F1 points on All Set and 20+ points on Gem Set. Tellingly, the leave-one-domain-out (Lodo) experiments further demonstrate the strong cross-domain generalizability of IFT, verifying that it is a promising approach to substantially enhancing the intent understanding of LLMs. Overall, by benchmarking and boosting intent understanding ability, this study sheds light on a promising path towards more intentional, capable, and safe AI assistants for human benefits and social good.
• Abstract（参考訳）: 音声、会話、文章の背景にある意図を正確に理解することは、有用なLarge Language Model(LLM)アシスタントの開発に不可欠である。 本稿では,LLMの意図理解能力を評価するための総合的なベンチマークであるIntentGraspを紹介する。 IntentGraspは、12のドメインにまたがる49の高品質なオープンライセンスコーパスから派生したもので、ソースデータセットのキュレーション、インテントラベルのコンテキスト化、タスクフォーマットの統合を通じて構築されている。 IntentGraspには262,759インスタンスの大規模なトレーニングセットと2つの評価セットが含まれている。 GPT-5.4、Gemini-3.1-Pro、Claude-Opus-4.7といったフロンティアモデルを含む7つのファミリーにわたる20のLLMの大規模な評価は、全セットで60%未満、Gemセットで25%未満のスコアで満足のいく性能を示した。 特に、20の試験モデルのうち17のモデルでは、Gem Setのランダムゲスベースライン(15.2%)よりもパフォーマンスが悪く、人のパフォーマンスは81.1%と推定され、改善の余地がかなりある。 そこで本研究では,IntentGraspのトレーニングセット上でモデルを微調整し,All Set上で30以上のF1ポイント,Gem Set上で20以上のポイントを達成できるIFTを提案する。 実のところ、LODO(Leave-one-domain-out)実験はIFTの強いクロスドメインの一般化性をさらに証明し、LLMの意図的理解を大幅に高めるための有望なアプローチであることを確認した。 全体として、意図理解能力のベンチマークと向上によって、この研究は、人間の利益と社会的利益のために、より意図的で有能で安全なAIアシスタントへの有望な道に光を当てている。

関連論文リスト

• Shoot First, Ask Questions Later? Building Rational Agents that Explore and Act Like People [81.63702981397408]
  限られたリソースを前提として、言語モデル(LM)に基づいたエージェントは、どの程度合理的に行動するのか? エージェント情報探索をベンチマークし,強化する手法を開発し,人間の行動から洞察を抽出する。 Spotterエージェントでは、LMのみのベースラインよりも14.7%の精度で精度を向上し、Captainエージェントでは、期待情報ゲイン(EIG)を0.227ビット(達成可能なノイズ天井の94.2%)まで引き上げる。
  論文  参考訳（メタデータ） (2025-10-23T17:57:28Z)
• ESGenius: Benchmarking LLMs on Environmental, Social, and Governance (ESG) and Sustainability Knowledge [40.49917730563565]
  ESGeniusは、環境、社会、ガバナンス(ESG)における大規模言語モデル(LLM)の熟練度の評価と向上のための総合的なベンチマークである。 ESGenius-QA (i) ESGenius-QA (i) ESGenius-QA (i) esGenius-QA (i) esGenius-QA (i) esGenius-QA (i) esGenius-QA (i) esGenius-QA (i) esGenius-QA (i) esGenius-Corpus (i) ESGenius-Corpus (i) ESGenius-Corpusは231の基本的なフレームワーク、標準、レポート、レコメンデーションドキュメントを、7つの権威あるソースから収集した。
  論文  参考訳（メタデータ） (2025-06-02T13:19:09Z)
• A Large-Scale Study of Relevance Assessments with Large Language Models: An Initial Look [52.114284476700874]
  本稿では,4つの異なる関連性評価手法が展開された大規模評価(TREC 2024 RAG Track)の結果について報告する。 自動生成UMBRELA判定は、完全に手動による判断を置き換えて、実行レベルの有効性を正確に捉えることができる。 意外なことに、LLMアシストは完全な手作業による評価と相関を増さないようで、人間のループプロセスに関連するコストは明らかな有意義な利益をもたらすものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-11-13T01:12:35Z)
• Law of the Weakest Link: Cross Capabilities of Large Language Models [102.91861246827797]
  我々は,Large Language Models (LLMs) が "Law of the Weakest Link" を示すことを示した。 これらの結果は, クロスキャパビリティタスクにおけるLLMの低性能化を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-09-30T05:12:01Z)
• Building Math Agents with Multi-Turn Iterative Preference Learning [56.71330214021884]
  本稿では,モデル性能をさらに向上させるために,補完的な直接選好学習手法について検討する。 既存の直接選好学習アルゴリズムは、もともとシングルターンチャットタスク用に設計されている。 この文脈に合わせたマルチターン直接選好学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-09-04T02:41:04Z)
• Constructing Domain-Specific Evaluation Sets for LLM-as-a-judge [15.980606104936365]
  大規模言語モデル(LLM)は機械学習のランドスケープに革命をもたらしたが、現在のベンチマークは現実世界のアプリケーションでこれらのモデルの多様な振る舞いを捉えるのに不足していることが多い。 Alpaca-Eval 2.0 LC referenceubois2024length controlledalpacaevalsimpleway や Arena-Hard v0.1 citeli2024crowdsourced のような既存のフレームワークは、汎用的なクエリと法、医学、多言語コンテキストといったドメイン間の多様性の欠如によって制限されている。 LLM-asに適したドメイン固有の評価セットをキュレートする新しいデータパイプラインを提案する。
  論文  参考訳（メタデータ） (2024-08-16T15:41:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。