論文の概要: Sign Language Question Answering: A New Task, Benchmark, and Baseline for Sign Language Understanding

• arxiv url: http://arxiv.org/abs/2607.27826v1
• Date: Thu, 30 Jul 2026 08:05:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-31 21:37:00.449232
• Title: Sign Language Question Answering: A New Task, Benchmark, and Baseline for Sign Language Understanding
• Title（参考訳）: 手話質問回答:手話理解のための新しいタスク、ベンチマーク、ベースライン
• Abstract要約: 本稿では,任意の自然言語質問に答えるモデルを必要とすることで,SL理解を評価する新しいタスクであるSLQAを提案する。 得られたデータセットは、位置推論、構造推論、視覚探索、光沢認識、翻訳理解を含む5つの補完的な質問カテゴリをカバーする。
• 参考スコア（独自算出の注目度）: 26.65704668419288
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Recent advances in sign language (SL) understanding (SLU) have led to remarkable progress in tasks such as continuous SL recognition and SL translation. However, these tasks are designed with predefined objectives, requiring models to learn a fixed mapping from sign videos to glosses or spoken-language sentences. As a result, they provide only a limited assessment of whether a model truly understands the semantic content of SL videos. To address this limitation, \textbf{we first propose a new task, Sign Language Question Answering (SLQA)}, which evaluates SL understanding by requiring models to answer arbitrary natural language questions about SL videos. Unlike previous SLU tasks, SLQA provides a more flexible and comprehensive evaluation framework that assesses multiple reasoning capabilities beyond recognition and translation. To facilitate this task, \textbf{we further construct two SignQA benchmarks} based on PHOENIX14T and CSL-Daily by automatically generating question-answer pairs from existing gloss and sentence annotations using carefully designed templates. The resulting datasets cover five complementary question categories, including position reasoning, structural reasoning, visual search, gloss recognition, and translation understanding. \textbf{Finally, we propose a simple yet effective baseline model} equipped with a Question-Conditioned Modulated Temporal Downsampling module and an in-domain knowledge transfer strategy, enabling effective knowledge transfer from existing SLU tasks while enhancing question-aware temporal feature modeling. Extensive experiments demonstrate that our baseline consistently outperforms representative vision-language models across all question categories, establishing a strong benchmark for future research on SLQA. Datasets are available at:{https://huggingface.co/datasets/hulala/SignQA-2026}.
• Abstract（参考訳）: 近年の手話理解(SLU)の進歩は,連続的なSL認識やSL翻訳といったタスクにおいて顕著な進歩をもたらしている。 しかし、これらのタスクは事前に定義された目的を持って設計されており、手話や話し言葉の文に対して、手話ビデオから固定されたマッピングを学ぶ必要がある。 その結果、SLビデオのセマンティックな内容が真に理解されているかどうかの限定的な評価しか得られなかった。 この制限に対処するために、 \textbf{we は SL ビデオに関する任意の自然言語質問にモデルで答えることによって SL 理解を評価する SLQA (Sign Language Question Answering) という新しいタスクを提案する。 従来のSLUタスクとは異なり、SLQAはより柔軟で包括的な評価フレームワークを提供する。 この作業を容易にするために、PHOENIX14TとCSL-Dailyに基づく2つのSignQAベンチマークを構築し、慎重に設計されたテンプレートを使用して既存の用語と文アノテーションから質問応答ペアを自動的に生成する。 得られたデータセットは、位置推論、構造推論、視覚探索、光沢認識、翻訳理解を含む5つの補完的な質問カテゴリをカバーする。 そこで本研究では,質問内容変更型時間ダウンサンプリングモジュールとドメイン内知識伝達戦略を備え,既存のSLUタスクからの効果的な知識伝達を可能にするとともに,質問認識時特徴モデリングの強化を実現した,シンプルで効果的なベースラインモデルを提案する。 広範囲な実験により、我々のベースラインは全ての質問カテゴリーで代表的視覚言語モデルより一貫して優れており、SLQAの今後の研究のための強力なベンチマークが確立されている。 データセットは以下の通りである。{https://huggingface.co/datasets/hulala/SignQA-2026}。

関連論文リスト

• Prompting with Sign Parameters for Low-resource Sign Language Instruction Generation [2.6171111742555015]
  手話(SL)は、聴覚障害と難聴者コミュニティのための双方向コミュニケーションを可能にする。 多くの手話言語は、AI分野では未公開のままである。 ステップバイステップのテキスト命令を生成し、非SLユーザがSLジェスチャを模倣して学習できるようにする。
  論文  参考訳（メタデータ） (2025-08-22T04:11:28Z)
• SPARQL Query Generation with LLMs: Measuring the Impact of Training Data Memorization and Knowledge Injection [81.78173888579941]
  大規模言語モデル(LLM)は、質問応答機能の品質を高めるのに適した方法と考えられている。 LLMはWebデータに基づいてトレーニングされており、ベンチマークや知識グラフがトレーニングデータに含まれているかどうかを研究者は制御できない。 本稿では,自然言語質問からSPARQLクエリを生成し,LLMの品質を評価する手法を提案する。
  論文  参考訳（メタデータ） (2025-07-18T12:28:08Z)
• RELIC: Evaluating Compositional Instruction Following via Language Recognition [37.49115450182637]
  大規模言語モデル(LLM)は、コンテキストで提供されるタスクの仕様に基づいてのみタスクを実行することがますます期待されている。 本稿では,言語認識を用いたインコンテキスト認識(RELIC)フレームワークについて紹介する。
  論文  参考訳（メタデータ） (2025-06-05T16:17:24Z)
• LatentQA: Teaching LLMs to Decode Activations Into Natural Language [72.87064562349742]
  自然言語におけるモデルアクティベーションに関するオープンな疑問に答えるタスクであるLatentQAを紹介する。 本稿では,アクティベーションと関連する質問応答ペアのデータセット上で,デコーダLLMを微調整するLatent Interpretation Tuning (LIT)を提案する。 我々のデコーダはまた、ステレオタイプ付き文のモデルのデバイアス化や世代ごとの感情制御など、モデルを制御するために使用する差別化可能な損失も規定している。
  論文  参考訳（メタデータ） (2024-12-11T18:59:33Z)
• SADL: An Effective In-Context Learning Method for Compositional Visual QA [22.0603596548686]
  大規模視覚言語モデル(LVLM)は、ビジュアルQAでコンテキスト内学習(ICL)を実行するための新しい機能を提供する。 本稿では,タスクのための新しい視覚言語プロンプトフレームワークであるSADLを紹介する。
  論文  参考訳（メタデータ） (2024-07-02T06:41:39Z)
• Crafting Interpretable Embeddings by Asking LLMs Questions [89.49960984640363]
  大規模言語モデル(LLM)は、自然言語処理タスクの増大に対して、テキスト埋め込みを急速に改善した。 質問応答埋め込み (QA-Emb) を導入し, 各特徴がLLMに対して質問された質問に対する回答を表す。 我々はQA-Embを用いて、言語刺激に対するfMRIボクセル応答を予測するための解釈可能なモデルを柔軟に生成する。
  論文  参考訳（メタデータ） (2024-05-26T22:30:29Z)
• A Tale of Two Languages: Large-Vocabulary Continuous Sign Language Recognition from Spoken Language Supervision [74.972172804514]
  我々は,署名された言語と音声のテキスト間の共同埋め込み空間において,署名シーケンスと出力を抽出できるマルチタスクトランスフォーマーモデルCSLR2を導入する。 新しいデータセットアノテーションは、6時間のテストビデオに対して、連続的なサインレベルアノテーションを提供する。 私たちのモデルは、両方のタスクにおいて、過去の技術状況よりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-05-16T17:19:06Z)
• Layout and Task Aware Instruction Prompt for Zero-shot Document Image Question Answering [13.942561172695815]
  Claude や ChatGPT のような命令チューニング言語モデルでは,レイアウトを空間や線分で理解することができる。 本稿では,Alpaca などの小型命令学習モデルの性能向上を図るため,LATIN-Prompt (Layout and Task aware Instruction Prompt) を提案する。
  論文  参考訳（メタデータ） (2023-06-01T10:28:12Z)
• The Interpreter Understands Your Meaning: End-to-end Spoken Language Understanding Aided by Speech Translation [13.352795145385645]
  音声翻訳(ST)は、エンドツーエンドの音声言語理解のために、音声モデルを事前訓練する良い方法である。 我々は,本モデルが単言語および多言語意図分類に基づくベースラインよりも高い性能を達成することを示す。 また、音声要約のための新しいベンチマークデータセットを作成し、低リソース/ゼロショットを英語からフランス語またはスペイン語に転送する。
  論文  参考訳（メタデータ） (2023-05-16T17:53:03Z)
• SLUE Phase-2: A Benchmark Suite of Diverse Spoken Language Understanding Tasks [88.4408774253634]
  音声言語理解(SLU)タスクは、音声研究コミュニティで何十年にもわたって研究されてきた。 SLUタスクベンチマークはそれほど多くはなく、既存のベンチマークの多くは、すべての研究者が自由に利用できないデータを使っている。 最近の研究は、いくつかのタスクにそのようなベンチマークを導入し始めている。
  論文  参考訳（メタデータ） (2022-12-20T18:39:59Z)
• Prompting Language Models for Linguistic Structure [73.11488464916668]
  本稿では,言語構造予測タスクに対する構造化プロンプト手法を提案する。 提案手法は, 音声タグ付け, 名前付きエンティティ認識, 文チャンキングについて評価する。 PLMはタスクラベルの事前知識を事前学習コーパスに漏えいすることで有意な事前知識を含むが、構造化プロンプトは任意のラベルで言語構造を復元することも可能である。
  論文  参考訳（メタデータ） (2022-11-15T01:13:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。