論文の概要: FrameBench:A Language Understanding Benchmark Based on Frame Semantics

• arxiv url: http://arxiv.org/abs/2609.03370v1
• Date: Thu, 03 Sep 2026 04:59:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-04 18:28:38.928775
• Title: FrameBench:A Language Understanding Benchmark Based on Frame Semantics
• Title（参考訳）: FrameBench:フレームセマンティックスに基づく言語理解ベンチマーク
• Abstract要約: フレーム・セマンティクスにおいて、文の理解は、意味的フレームと呼ばれる背景知識に語彙的意味を関連付けることによって進むと仮定される。 最近の大規模言語モデル(LLM)は、幅広い下流タスクで高いパフォーマンスを実現している。 フレームセマンティクスに基づくベンチマークであるFrameBenchを紹介する。
• 参考スコア（独自算出の注目度）: 12.28123092144248
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In frame semantics, sentence comprehension is assumed to proceed by relating lexical meaning to background knowledge called semantic frames, thereby enabling readers to implicitly enrich the text with unstated information. Recent large language models (LLMs) have achieved strong performance across a wide range of downstream tasks. However, it remains unclear whether they can reproduce the kinds of implicit enrichment that humans naturally make during comprehension. To address this question, we introduce FrameBench, a benchmark grounded in frame semantics. FrameBench consists of multiple-choice questions that test whether models distinguish the frames evoked by the same verb across contexts. We construct the benchmark for English and Japanese using FrameNet-style resources and a generation-and-verification pipeline with native-speaker judgments. Our experiments on a diverse set of models reveal challenges for small models, while several large models surpass the human reference scores. We release the constructed FrameBench dataset and the code for dataset construction and evaluation at https://github.com/SasanoLab/FrameBench.
• Abstract（参考訳）: フレーム意味論において、文理解は、意味的フレームと呼ばれる背景知識に語彙的意味を関連づけることによって進行し、それによって、読者は暗黙的に未定の情報でテキストを豊かにすることができる。 最近の大規模言語モデル(LLM)は、幅広い下流タスクで高いパフォーマンスを実現している。 しかし、人間が理解する過程で自然に行う暗黙の豊かさを再現できるかどうかは不明である。 この問題に対処するために、フレームセマンティクスに基づくベンチマークであるFrameBenchを紹介する。 FrameBenchは、コンテキスト間で同じ動詞によって誘発されるフレームをモデルが区別するかどうかをテストする、複数選択の質問で構成されている。 我々は、FrameNetスタイルのリソースと、母語話者の判断を伴う生成検証パイプラインを用いて、英語と日本語のベンチマークを構築した。 多様なモデルのモデルに対する実験は、小さなモデルの課題を明らかにし、大きなモデルは人間の基準スコアを超えている。 構築されたFrameBenchデータセットとデータセットの構築と評価のためのコードはhttps://github.com/SasanoLab/FrameBenchでリリースします。

関連論文リスト

• RIDGE: Region-Informed Derivative-Guided Evidence Selection for Long Video Understanding [55.75126327155788]
  RIDGEはフレーム選択フレームワークであり、時間信号としてフレームクエリの類似性曲線を読み取る。 タイムラインを構造的なリージョンに分割し、固定予算の下でイベントコア、トランジション、ビルドアップ、アフターマス、コンテキストフレームを保存するために、リージョン固有の選択を適用する。 ほとんどの設定で最高のパフォーマンスを達成し、他の設定では競争力を維持します。
  論文  参考訳（メタデータ） (2026-08-30T18:40:51Z)
• StructGen: Disambiguating Multi-Reference Image Generation via Structured Context Modeling [112.49355973930555]
  マルチ参照画像生成は、テキスト命令下で複数の参照画像からの属性を統合することで、画像を合成することを目的としている。 既存のアプローチは、自然言語の命令にのみ依存しているが、複雑な意図を正確に捉えることができないことが多い。 複数の参照画像をエンコードするために構造化された辞書のような形式を用いるStructGenを提案する。
  論文  参考訳（メタデータ） (2026-07-17T04:35:36Z)
• Do LLMs Encode Frame Semantics? Evidence from Frame Identification [4.508786802660182]
  大規模言語モデルがフレームセマンティクスの潜在知識を符号化するかどうかを,フレーム識別に焦点をあてて検討する。 我々は,プロンプトベース推論に基づくモデルの評価を行い,明示的な監督なしにフレーム識別を効果的に行うことができることを示した。
  論文  参考訳（メタデータ） (2025-09-23T20:09:32Z)
• Openstory++: A Large-scale Dataset and Benchmark for Instance-aware Open-domain Visual Storytelling [81.69474860607542]
  画像とテキストの両方にインスタンスレベルのアノテーションを追加する大規模データセットであるOpenstory++を提示する。 また、長いマルチモーダルコンテキストが提供される際に、画像生成タスクを評価するための先駆的なベンチマークフレームワークであるCohere-Benchについても紹介する。
  論文  参考訳（メタデータ） (2024-08-07T11:20:37Z)
• Acquiring Frame Element Knowledge with Deep Metric Learning for Semantic Frame Induction [24.486546938073907]
  本稿では,ディープラーニングを意味的フレーム帰納タスクに適用する手法を提案する。 事前訓練された言語モデルは、フレーム要素の役割を区別するのに適するように微調整される。 FrameNetの実験結果から,本手法は既存手法よりも大幅に性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-05-23T11:02:28Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• A Double-Graph Based Framework for Frame Semantic Parsing [23.552054033442545]
  フレーム意味解析は基本的なNLPタスクであり、フレーム識別、引数識別、ロール分類という3つのサブタスクから構成される。 これまでのほとんどの研究は、異なるサブタスクと議論の関係を無視し、オントロジ的なフレーム知識にはほとんど注意を払わない傾向にある。 本稿では、二重グラフ(KID)を用いた知識誘導型セマンティックPKを提案する。 実験の結果、KIDは2つのFrameNetデータセット上で1.7F1スコアで従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2022-06-18T09:39:38Z)
• Revealing Single Frame Bias for Video-and-Language Learning [115.01000652123882]
  単一フレームのトレーニングモデルでは,トレーニングに複数のフレームを使用する既存手法よりも優れたパフォーマンスが得られることを示す。 この結果は、人気のあるビデオおよび言語データセットに強い「静的な外観バイアス」が存在することを明らかにする。 本稿では、時間的モデリングを促進するために、既存のきめ細かい行動認識データセットに基づく2つの新しい検索タスクを提案する。
  論文  参考訳（メタデータ） (2022-06-07T16:28:30Z)
• DenseCLIP: Language-Guided Dense Prediction with Context-Aware Prompting [91.56988987393483]
  本稿では,CLIPから事前学習した知識を暗黙的かつ明示的に活用することで,高密度予測のための新しい枠組みを提案する。 具体的には,CLIPにおける元の画像テキストマッチング問題を画素テキストマッチング問題に変換し,画素テキストスコアマップを用いて高密度予測モデルの学習を指導する。 本手法は,任意の密集予測システムや種々の事前学習された視覚バックボーンに適用可能な,モデルに依存しない手法である。
  論文  参考訳（メタデータ） (2021-12-02T18:59:32Z)
• Sister Help: Data Augmentation for Frame-Semantic Role Labeling [9.62264668211579]
  既存のフレーム固有のアノテーションを用いて、注釈のない同じフレームの他の語彙単位を自動的に注釈付けするデータ拡張手法を提案する。 本稿では,このデータ強化の重要性を示すフレーム・セマンティック・ロール・ラベリングの実験を行う。
  論文  参考訳（メタデータ） (2021-09-16T05:15:29Z)
• Efficient Semantic Video Segmentation with Per-frame Inference [117.97423110566963]
  本研究では,フレームごとの効率的なセマンティックビデオセグメンテーションを推論プロセス中に処理する。 そこで我々は,コンパクトモデルと大規模モデルのパフォーマンスギャップを狭めるために,新しい知識蒸留法を設計した。
  論文  参考訳（メタデータ） (2020-02-26T12:24:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。