論文の概要: Long-context Non-factoid Question Answering in Indic Languages

• arxiv url: http://arxiv.org/abs/2504.13615v1
• Date: Fri, 18 Apr 2025 10:43:21 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-28 16:07:10.132154
• Title: Long-context Non-factoid Question Answering in Indic Languages
• Title（参考訳）: 韻律言語における長文非ファクトイド質問応答
• Authors: Ritwik Mishra, Rajiv Ratn Shah, Ponnurangam Kumaraguru,
• Abstract要約: 質問回答タスクは、与えられたコンテキストから回答を抽出する。 長期のコンテキストは、自己認識機構の複雑さのために課題を引き起こす。 Indic言語におけるQA性能向上のための文脈ショートニング手法について検討した。
• 参考スコア（独自算出の注目度）: 39.66936316245065
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Question Answering (QA) tasks, which involve extracting answers from a given context, are relatively straightforward for modern Large Language Models (LLMs) when the context is short. However, long contexts pose challenges due to the quadratic complexity of the self-attention mechanism. This challenge is compounded in Indic languages, which are often low-resource. This study explores context-shortening techniques, including Open Information Extraction (OIE), coreference resolution, Answer Paragraph Selection (APS), and their combinations, to improve QA performance. Compared to the baseline of unshortened (long) contexts, our experiments on four Indic languages (Hindi, Tamil, Telugu, and Urdu) demonstrate that context-shortening techniques yield an average improvement of 4\% in semantic scores and 47\% in token-level scores when evaluated on three popular LLMs without fine-tuning. Furthermore, with fine-tuning, we achieve an average increase of 2\% in both semantic and token-level scores. Additionally, context-shortening reduces computational overhead. Explainability techniques like LIME and SHAP reveal that when the APS model confidently identifies the paragraph containing the answer, nearly all tokens within the selected text receive high relevance scores. However, the study also highlights the limitations of LLM-based QA systems in addressing non-factoid questions, particularly those requiring reasoning or debate. Moreover, verbalizing OIE-generated triples does not enhance system performance. These findings emphasize the potential of context-shortening techniques to improve the efficiency and effectiveness of LLM-based QA systems, especially for low-resource languages. The source code and resources are available at https://github.com/ritwikmishra/IndicGenQA.
• Abstract（参考訳）: 質問応答(QA: Question Answering)タスクは、与えられた文脈から回答を抽出する作業であり、文脈が短い場合、現代の大規模言語モデル(LLM)では比較的単純である。 しかし、長期の文脈は自己認識機構の二次的な複雑さのために困難を生じさせる。 この課題は、しばしば低リソースであるIndic言語で複雑化されている。 本研究は、オープン情報抽出(OIE)、コア参照解決、解答パラグラフ選択(APS)、およびそれらの組み合わせを含むコンテキストショートニング手法について検討し、QA性能を向上させる。 Indic言語(ヒンディー語、タミル語、テルグ語、ウルドゥー語)で行った実験では、セマンティックスコアの4倍、トークンレベルスコアの47倍の4倍の精度が得られた。 さらに、微調整により、意味レベルとトークンレベルのスコアの両方で平均2\%の上昇を達成する。 さらに、コンテクストショート化は計算オーバーヘッドを減らす。 LIME や SHAP のような説明可能性の手法では、APS モデルが回答を含む段落を確実に識別すると、選択されたテキスト内のほぼ全てのトークンが高い関連性スコアを受け取る。 しかし、この研究は、非ファクトイド問題、特に推論や議論を必要とする問題に対処するLLMベースのQAシステムの限界も強調している。 さらに、OIE生成三重項の動詞化はシステム性能を向上しない。 これらの知見は、特に低リソース言語において、LLMベースのQAシステムの効率と有効性を改善するための文脈ショートニング手法の可能性を強調した。 ソースコードとリソースはhttps://github.com/ritwikmishra/IndicGenQA.comで入手できる。

関連論文リスト

• On the Consistency of Multilingual Context Utilization in Retrieval-Augmented Generation [7.478369203246005]
  大規模言語モデル(LLM)を用いた検索言語拡張生成(RAG)は,多言語質問応答タスクにおいて高い性能を示した。 多言語RAGでは、検索されたパスは、ユーザが入力したクエリ以外の言語で書くことができる。
  論文  参考訳（メタデータ） (2025-04-01T09:55:23Z)
• Harnessing Large Language Models for Knowledge Graph Question Answering via Adaptive Multi-Aspect Retrieval-Augmentation [81.18701211912779]
  本稿では,KG(Amar)フレームワーク上での適応型マルチアスペクト検索手法を提案する。 この方法は、エンティティ、リレーション、サブグラフを含む知識を検索し、検索した各テキストを即時埋め込みに変換する。 提案手法は2つの共通データセットに対して最先端の性能を達成した。
  論文  参考訳（メタデータ） (2024-12-24T16:38:04Z)
• PromptRefine: Enhancing Few-Shot Performance on Low-Resource Indic Languages with Example Selection from Related Example Banks [57.86928556668849]
  大規模言語モデル(LLM)は、近ごろ、コンテキスト内学習(ICL)を通じて、印象的な数ショットの学習能力を実証した。 ICLのパフォーマンスは、数発のデモの選択に大きく依存しており、最も最適な例の選択は永続的な研究課題である。 本稿では,低リソースのIndic言語におけるICLの性能向上を目的とした,新しい代替最小化手法であるPromptRefineを提案する。
  論文  参考訳（メタデータ） (2024-12-07T17:51:31Z)
• Bridging Context Gaps: Leveraging Coreference Resolution for Long Contextual Understanding [28.191029786204624]
  大規模言語モデル(LLM)の性能向上を目的としたLong Question Coreference Adaptation (LQCA) 手法を提案する。 このフレームワークは、長いコンテキストに合わせて調整されたコア参照解決に焦点を当てており、モデルが参照を効果的に識別し、管理することができる。 私たちのコードはhttps://github.com/OceannTwT/LQCA.comで公開されています。
  論文  参考訳（メタデータ） (2024-10-02T15:39:55Z)
• INDIC QA BENCHMARK: A Multilingual Benchmark to Evaluate Question Answering capability of LLMs for Indic Languages [25.402797722575805]
  インデックスQAベンチマーク(Indic QA Benchmark)は、インドの主要言語11言語を対象にした、文脈に基づく質問応答のためのデータセットである。 評価の結果,学習データに強い英語バイアスがあるため,低資源言語では弱い性能を示した。 また、入力を英語に翻訳して処理し、その結果をソース言語に変換して出力するTranslate Testパラダイムについても検討した。
  論文  参考訳（メタデータ） (2024-07-18T13:57:16Z)
• SuRe: Summarizing Retrievals using Answer Candidates for Open-domain QA of LLMs [85.54906813106683]
  大規模言語モデル(LLM)を用いたオープンドメイン質問応答(ODQA)の簡易かつ効果的なフレームワークを提案する。 SuRe は LLM が与えられた質問に対するより正確な回答を予測するのに役立つ。 様々なODQAベンチマークの実験結果はSuReの優位性を示し、標準的なプロンプトアプローチよりも4.6%、F1スコアが4.0%向上した。
  論文  参考訳（メタデータ） (2024-04-17T01:15:54Z)
• PerkwE_COQA: Enhanced Persian Conversational Question Answering by combining contextual keyword extraction with Large Language Models [0.8057006406834466]
  本稿では,ペルシア語対話型質問応答システム(CQA)の性能向上のための新しい手法を提案する。 LLM(Large Language Models)と文脈キーワード抽出の長所を組み合わせる。 提案手法は,暗黙的な質問を効果的に処理し,文脈に関連のある回答を提示し,会話の文脈に大きく依存する複雑な質問に対処する。
  論文  参考訳（メタデータ） (2024-04-08T11:14:58Z)
• SEMQA: Semi-Extractive Multi-Source Question Answering [94.04430035121136]
  本稿では,複数ソースを半抽出的に要約することで,複数の質問に答える新しいQAタスクを提案する。 この種の最初のデータセットであるQuoteSumを作成し、自然および生成された質問に対する人間による半抽出的な回答を提示する。
  論文  参考訳（メタデータ） (2023-11-08T18:46:32Z)
• Evaluating and Modeling Attribution for Cross-Lingual Question Answering [80.4807682093432]
  この研究は、言語間質問応答の属性を初めて研究したものである。 我々は、5つの言語でデータを収集し、最先端の言語間QAシステムの属性レベルを評価する。 回答のかなりの部分は、検索されたどのパスにも帰属しないことがわかった。
  論文  参考訳（メタデータ） (2023-05-23T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。