論文の概要: A Self Consistency Based Reranking for Narrative Question Answering
- arxiv url: http://arxiv.org/abs/2606.15741v1
- Date: Sun, 14 Jun 2026 10:52:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-16 16:21:33.815091
- Title: A Self Consistency Based Reranking for Narrative Question Answering
- Title（参考訳）: 自己整合性に基づくナラティブ質問回答のランク付け
- Abstract要約: 本稿では,物語質問応答のための自己整合性に基づく格付けフレームワークを提案する。
提案手法は,各ストーリー・クエスト・ペアに対して複数の候補回答を生成し,セマンティック・コンセンサスに基づいて最終回答を選択する。
本研究では,FLAN-T5 (Base and Small) とPegasus-Largeを含む複数のモデルを用いて,NarrativeQAデータセットに対する提案手法の評価を行った。
- 参考スコア（独自算出の注目度）: 0.2864713389096699
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Narrative question answering (NQA) is a challenging task in natural language processing that requires models to understand long textual contexts, capture relationships across events, and generate coherent responses. Despite recent advances in pretrained language models, most existing approaches rely on a single decoding output during inference, making them sensitive to generation variability and often resulting in incomplete or inconsistent answers .To address this limitation, we propose a self-ensemble Self-Consistency-Based reranking framework for narrative question answering. The proposed method generates multiple candidate answers for each story-question pair and selects the final answer based on semantic agreement among the generated responses. This allows the model to explore diverse answer formulations while improving robustness through consensus-based selection without requiring modifications to the underlying architecture .The framework combines pretrained and fine-tuned language generation with multi-answer inference and similarity-based reranking. We evaluate the proposed approach on the NarrativeQA dataset using multiple models, including FLAN-T5 (Base and Small) and Pegasus-Large, under both baseline and fine-tuned settings .Experimental results demonstrate that the proposed method consistently improves performance across all models. In particular, FLAN-T5-Base achieves the best overall performance, improving from 82.32% to 86.66% (+4.34%) when combined with self-ensemble inference. Additionally, the largest improvement is observed with Pegasus-Large, which increases from 72.50% to 87.07% (+14.57%), highlighting the effectiveness of the proposed strategy.
- Abstract（参考訳）: ナラティブ質問応答(NQA)は、自然言語処理において、長いテキストコンテキストを理解し、イベント間の関係をキャプチャし、一貫性のある応答を生成するモデルを必要とする課題である。
事前訓練された言語モデルの最近の進歩にもかかわらず、既存のほとんどのアプローチは推論中に単一のデコード出力に依存しており、生成の多様性に敏感であり、しばしば不完全または矛盾した答えをもたらす。
この制限に対処するために,物語質問応答のための自己整合性に基づく格付けフレームワークを提案する。
提案手法は,各ストーリー検索ペアに対して複数の候補回答を生成し,生成した応答間の意味的一致に基づいて最終回答を選択する。
これにより、基盤となるアーキテクチャの変更を必要とせずに、コンセンサスベースの選択によって堅牢性を改善しながら、多様な回答の定式化を探索することができる。
このフレームワークは、事前訓練された言語生成と微調整された言語生成と、マルチアンサー推論と類似性に基づく再ランクを組み合わせる。
本研究では,FLAN-T5 (Base and Small) やPegasus-Largeといった複数のモデルを用いたNarrativeQAデータセットに対して,ベースラインと微調整の両方で提案手法を評価する。
実験により,提案手法は全てのモデルにおける性能を一貫して向上することを示した。
特に、FLAN-T5-Baseの全体的な性能は82.32%から86.66%(+4.34%)に改善されている。
さらに、ペガサス・ラージは72.50%から87.07%(+14.57%)に増加し、提案された戦略の有効性を強調している。
関連論文リスト
- Improving Answer Extraction in Context-based Question Answering Systems Using LLMs [0.25489046505746704]
本稿では,テキストコンテキストと対応する質問からなる大言語モデルに基づく質問応答システムを提案する。
提案手法では,事前学習したLCMをベンチマークQAデータセット上で微調整し,文脈理解と回答抽出能力を向上させる。
実験の結果、微調整されたロバータベースモデルが最も高い性能を示し、ROUGE-Lスコアは86.84%、BLEUスコアは28.24%、BERTSスコアは95.38%に達した。
論文 参考訳（メタデータ） (2026-06-04T14:04:11Z) - Boosting Self-Consistency with Ranking [56.38798757709555]
自己整合性は、複数の推論パスをサンプリングし、最も頻繁な回答を選択することで、大きな言語モデルを改善する。
この制限は、自己整合性における解答選択をランク付け問題として再構成する、ランク付け改善自己整合性(RISC)に対処する。
論文 参考訳（メタデータ） (2026-06-03T16:12:30Z) - Representation Consistency for Accurate and Coherent LLM Answer Aggregation [31.694036998078264]
表現整合性(英: representation consistency, RC)は、大規模言語モデルの複数の候補応答から引き出された回答を集約するテスト時間スケーリング手法である。
RCは、各応答集合における各応答の発生数を考慮することにより、回答集約を強化する。
キャッシュされたアクティベーションと軽量な類似性計算のみを使用し,追加のモデルクエリを必要としない。
論文 参考訳（メタデータ） (2025-06-18T05:07:47Z) - QA-prompting: Improving Summarization with Large Language Models using Question-Answering [0.8460698440162888]
言語モデル(LM)は自然言語処理に革命をもたらし、プロンプトやテキスト内学習を通じて高品質なテキスト生成を可能にした。
本稿では,質問応答を要約生成の中間段階として利用する要約の簡易なプロンプト手法であるQA-promptingを提案する。
提案手法はキー情報を抽出し,テキストのコンテキストを強化して位置バイアスを緩和し,タスク毎の単一LMコールにおける要約を改善する。
論文 参考訳（メタデータ） (2025-05-20T13:29:36Z) - Integrative Decoding: Improve Factuality via Implicit Self-consistency [45.27124252002816]
自己整合性に基づくアプローチは,大規模言語モデルの現実的精度向上に極めて有効である。
我々は、オープンな生成タスクにおける自己整合性の可能性を解き放つために、統合的復号化(ID)を提案する。
論文 参考訳（メタデータ） (2024-10-02T13:52:55Z) - Lightweight reranking for language model generations [26.942659041383596]
本稿では,Large Language Models (LLM) 世代を再評価するための新しいアプローチを提案する。
追加の推論や特殊リランカの訓練を含む他の手法とは異なり、我々の手法はペアワイズ統計の計算が容易である。
コード生成タスクで最高のk世代を選択するための強力な改善と、オートフォーマライズ、要約、翻訳のタスクで最高の世代で堅牢な改善を示す。
論文 参考訳（メタデータ） (2023-07-11T17:51:48Z) - SimOAP: Improve Coherence and Consistency in Persona-based Dialogue
Generation via Over-sampling and Post-evaluation [54.66399120084227]
大規模コーパスで訓練された言語モデルは、オープンドメイン対話において驚くほど流動的な結果を生み出すことができる。
ペルソナに基づく対話生成タスクでは、一貫性と一貫性が言語モデルにとって大きな課題である。
オーバーサンプリングとポスト評価という2段階のSimOAP戦略が提案されている。
論文 参考訳（メタデータ） (2023-05-18T17:23:00Z) - Dynamic Hybrid Relation Network for Cross-Domain Context-Dependent
Semantic Parsing [52.24507547010127]
ドメイン間コンテキスト依存のセマンティック解析は研究の新たな焦点である。
本稿では,コンテキストの発話,トークン,データベーススキーマ,会話の進行に伴う複雑なインタラクションを効果的にモデル化する動的グラフフレームワークを提案する。
提案したフレームワークは既存のモデルを大きなマージンで上回り、2つの大規模ベンチマークで新しい最先端性能を達成する。
論文 参考訳（メタデータ） (2021-01-05T18:11:29Z) - Automated Concatenation of Embeddings for Structured Prediction [75.44925576268052]
本稿では, 埋め込みの自動結合(ACE)を提案し, 構造予測タスクにおける埋め込みのより優れた結合を見つけるプロセスを自動化する。
我々は、強化学習の戦略に従い、制御器のパラメータを最適化し、タスクモデルの精度に基づいて報酬を計算する。
論文 参考訳（メタデータ） (2020-10-10T14:03:20Z) - Learning an Effective Context-Response Matching Model with
Self-Supervised Tasks for Retrieval-based Dialogues [88.73739515457116]
我々は,次のセッション予測,発話復元,不整合検出,一貫性判定を含む4つの自己教師型タスクを導入する。
我々はPLMに基づく応答選択モデルとこれらの補助タスクをマルチタスク方式で共同で訓練する。
実験結果から,提案した補助的自己教師型タスクは,多ターン応答選択において大きな改善をもたらすことが示された。
論文 参考訳（メタデータ） (2020-09-14T08:44:46Z) - Logic-Guided Data Augmentation and Regularization for Consistent
Question Answering [55.05667583529711]
本稿では,比較質問に対する応答の精度と整合性を改善する問題に対処する。
提案手法は論理的および言語的知識を利用してラベル付きトレーニングデータを増強し,一貫性に基づく正規化器を用いてモデルを訓練する。
論文 参考訳（メタデータ） (2020-04-21T17:03:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。