論文の概要: LLMs Struggle with Abstract Meaning Comprehension More Than Expected
- arxiv url: http://arxiv.org/abs/2604.12018v1
- Date: Mon, 13 Apr 2026 20:03:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-15 19:11:32.101876
- Title: LLMs Struggle with Abstract Meaning Comprehension More Than Expected
- Title（参考訳）: LLM:抽象的な意味の理解は予想以上に困難
- Authors: Hamoud Alhazmi, Jiachen Jiang,
- Abstract要約: ReCAMは、質問文と5つの抽象オプションをクローゼスタイルの形式で提示することで、抽象概念を解釈するモデルの能力を評価する。
GPT-4oを含むほとんどの大きな言語モデル(LLM)は、ゼロショット、ワンショット、少数ショット設定の下で抽象的な意味理解に苦慮している。
人間の認知戦略にインスパイアされた双方向の注意分類器は、経路やオプションへの動的参加によって微調整モデルを強化する。
- 参考スコア（独自算出の注目度）: 3.8202999267453843
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Understanding abstract meanings is crucial for advanced language comprehension. Despite extensive research, abstract words remain challenging due to their non-concrete, high-level semantics. SemEval-2021 Task 4 (ReCAM) evaluates models' ability to interpret abstract concepts by presenting passages with questions and five abstract options in a cloze-style format. Key findings include: (1) Most large language models (LLMs), including GPT-4o, struggle with abstract meaning comprehension under zero-shot, one-shot, and few-shot settings, while fine-tuned models like BERT and RoBERTa perform better. (2) A proposed bidirectional attention classifier, inspired by human cognitive strategies, enhances fine-tuned models by dynamically attending to passages and options. This approach improves accuracy by 4.06 percent on Task 1 and 3.41 percent on Task 2, demonstrating its potential for abstract meaning comprehension.
- Abstract（参考訳）: 抽象的な意味を理解することは、先進的な言語理解にとって不可欠である。
広範な研究にもかかわらず、抽象的な言葉は非コンクレートでハイレベルな意味論のために難しいままである。
SemEval-2021 Task 4 (ReCAM) は、質問文と5つの抽象オプションをクローゼスタイルの形式で提示することにより、抽象概念を解釈するモデルの能力を評価する。
1) GPT-4oを含むほとんどの大規模言語モデル(LLM)は、ゼロショット、ワンショット、数ショット設定で抽象的な意味理解に苦しむ一方で、BERTやRoBERTaのような微調整されたモデルの方がパフォーマンスが良い。
2)人間の認知戦略にインスパイアされた双方向アテンション分類器は,経路やオプションへの動的参加によって微調整モデルを強化する。
このアプローチはタスク1では4.06パーセント、タスク2では3.41パーセントの精度向上を実現し、抽象的な意味理解の可能性を示している。
関連論文リスト
- Which Words Matter Most in Zero-Shot Prompts? [16.347012287506253]
ZIPスコアは、命令プロンプトにおいて個々の単語の重要性を定量化する最初の体系的手法である。
数学的な問題が「ステップ・バイ・ステップ」を優先するタスク固有の単語階層が存在し、推論タスクは「思考」を好むことを示す。
我々は,20の検証プロンプトを所定キーワードで行うことで,素早い解釈可能性を示す最初の基盤トラバス・ベンチマークを確立する。
論文 参考訳（メタデータ） (2025-02-05T18:04:29Z) - Roadmap towards Superhuman Speech Understanding using Large Language Models [60.57947401837938]
大規模言語モデル(LLM)は、音声データと音声データを統合したものである。
GPT-4oのような最近の進歩は、エンドツーエンドのLLMの可能性を強調している。
本稿では,基本自動音声認識(ASR)から高度な超人モデルまで,5段階のロードマップを提案する。
論文 参考訳（メタデータ） (2024-10-17T06:44:06Z) - AbsPyramid: Benchmarking the Abstraction Ability of Language Models with a Unified Entailment Graph [62.685920585838616]
抽象能力は人間の知性において必須であり、言語モデルでは未探索のままである。
本稿では、抽象知識の221Kテキスト記述を統一したエンテーメントグラフであるAbsPyramidを提案する。
論文 参考訳（メタデータ） (2023-11-15T18:11:23Z) - On Context Utilization in Summarization with Large Language Models [83.84459732796302]
大きな言語モデル(LLM)は抽象的な要約タスクに優れ、流動的で関連する要約を提供する。
最近の進歩は、100kトークンを超える長期入力コンテキストを扱う能力を拡張している。
要約における文脈利用と位置バイアスに関する最初の総合的研究を行う。
論文 参考訳（メタデータ） (2023-10-16T16:45:12Z) - Does Deep Learning Learn to Abstract? A Systematic Probing Framework [69.2366890742283]
抽象化はディープラーニングモデルにとって望ましい機能であり、具体的なインスタンスから抽象概念を誘導し、学習コンテキストを超えて柔軟に適用することを意味する。
本稿では,伝達可能性の観点から,ディープラーニングモデルの抽象化能力を検討するための体系的探索フレームワークを提案する。
論文 参考訳（メタデータ） (2023-02-23T12:50:02Z) - IIE-NLP-Eyas at SemEval-2021 Task 4: Enhancing PLM for ReCAM with
Special Tokens, Re-Ranking, Siamese Encoders and Back Translation [8.971288666318719]
本稿では,SemEval-2021 Task 4: Reading of Abstract Meaningの3つのサブタスクについて紹介する。
バックボーンモデル(RoBERTa)に適応した多くの単純かつ効果的なアプローチをうまく設計する。
実験結果から,本手法はベースラインシステムと比較して高い性能を示した。
論文 参考訳（メタデータ） (2021-02-25T10:51:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。