論文の概要: Context Convergence Improves Answering Inferential Questions
- arxiv url: http://arxiv.org/abs/2605.12370v1
- Date: Tue, 12 May 2026 16:39:05 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-13 21:48:57.020915
- Title: Context Convergence Improves Answering Inferential Questions
- Title(参考訳): 文脈収束は推論質問に対する回答を改善する
- Authors: Jamshid Mozafari, Bhawna Piryani, Adam Jatowt,
- Abstract要約: 本研究では,通路の構造と品質が質問応答(QA)のパフォーマンスに与える影響について検討する。
文がいかに効果的に(隠れている)間違った答えを除去するかの尺度である収束に焦点を当てる。
以上の結果から,より高い収束文から構築した文が解答精度を著しく向上させることが明らかとなった。
- 参考スコア(独自算出の注目度): 25.62862937946865
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While Large Language Models (LLMs) are widely used in open-domain Question Answering (QA), their ability to handle inferential questions-where answers must be derived rather than directly retrieved-remains still underexplored. This study investigates how the structure and quality of passages influence LLM performance on such questions. We focus on convergence, a measure of how effectively sentences (hints) eliminate incorrect answers, as a criterion for constructing passages. Using subsets of the TriviaHG dataset, we form passages by combining sentences with varying convergence levels and evaluate six LLMs of different sizes and architectures. Our results show that passages built from higher convergence sentences lead to substantially better answer accuracy than those selected by cosine similarity, indicating that convergence captures meaningful relevance for inferential reasoning. Additionally, ordering sentences by descending convergence slightly improves performance, suggesting that LLMs tend to prioritize earlier, information-rich cues. These findings highlight convergence as a practical signal for guiding passage construction and analyzing inferential reasoning behavior in LLMs.
- Abstract(参考訳): 大規模言語モデル (LLM) は、オープンドメイン質問回答 (QA) で広く使われているが、推論された質問に対処する能力は、まだ探索されていないまま直接検索されるよりも引き起こさなければならない。
本研究では, 通路の構造と品質がLLM性能に与える影響について検討した。
文を効果的に除去(隠蔽)する尺度である収束(consentence)を、通路を構築するための基準として重視する。
TriviaHGデータセットのサブセットを用いて、文を様々な収束レベルと組み合わせ、異なるサイズとアーキテクチャの6つのLLMを評価する。
以上の結果から,高い収束文から構築された文は,コサイン類似性によって選択された文よりも解答精度が有意に向上していることが示唆された。
さらに,下降収束による文の順序付けにより性能が若干向上し,LLMがより早く情報に富んだキューを優先する傾向が示唆された。
これらの知見は, LLMにおける経路構成の導出と推論的推論の行動解析のための実用的な信号として収束に注目した。
関連論文リスト
- Inferential Question Answering [67.54465021408724]
新しいタスクであるInferential QAを導入します。これは、答えをサポートするパスから答えを推測するためにモデルに挑戦するものです。
そこで本研究では,7,401問と2.4M節からなるQUITデータセットを構築した。
我々は,従来のQAタスクに有効な手法が推論QAに苦しむことを示し,レトリバーは性能が低下し,リランカーは利得が制限され,微調整は不整合の改善をもたらすことを示した。
論文 参考訳(メタデータ) (2026-02-01T14:02:43Z) - Topic Identification in LLM Input-Output Pairs through the Lens of Information Bottleneck [0.0]
幾何学的クラスタリングのための決定論的情報ボトルネック(DIB)に基づく基本的トピック識別手法を開発した。
我々の重要な貢献は、DIB法を計算効率の良い上界を持つ難解なKL発散項に代えて、高次元データのための実用的なアルゴリズムに変換することである。
論文 参考訳(メタデータ) (2025-08-26T20:00:51Z) - Prompting Strategies for Enabling Large Language Models to Infer Causation from Correlation [68.58373854950294]
我々は因果推論に焦点をあて,相関情報に基づく因果関係の確立という課題に対処する。
この問題に対して,元のタスクを固定的なサブクエストに分割するプロンプト戦略を導入する。
既存の因果ベンチマークであるCorr2Causeに対するアプローチを評価した。
論文 参考訳(メタデータ) (2024-12-18T15:32:27Z) - Do LLMs Understand Ambiguity in Text? A Case Study in Open-world Question Answering [15.342415325821063]
自然言語の曖昧さは、オープンドメインの質問応答に使用される大規模言語モデル(LLM)に重大な課題をもたらす。
我々は,明示的曖昧化戦略の効果を計測することに集中して,市販のLLM性能と数発のLLM性能を比較した。
本研究では, 難解な問合せタスクにおいて, LLM性能を向上させるために, 簡単な, トレーニング不要, トークンレベルの曖昧さを効果的に活用できることを実証する。
論文 参考訳(メタデータ) (2024-11-19T10:27:26Z) - GRS-QA -- Graph Reasoning-Structured Question Answering Dataset [50.223851616680754]
グラフ推論-構造化質問応答データセット(GRS-QA)を導入する。
既存のM-QAデータセットとは異なり、GRS-QAは推論グラフを構築することで複雑な推論経路を明示的にキャプチャする。
実験により, LLMは, 様々な推論構造を用いて, 問合せ処理を行う際に, 異なる性能を示すことが明らかとなった。
論文 参考訳(メタデータ) (2024-11-01T05:14:03Z) - Exploring Language Model Generalization in Low-Resource Extractive QA [57.14068405860034]
ドメインドリフト下でのLarge Language Models (LLM) を用いた抽出質問応答(EQA)について検討する。
性能ギャップを実証的に説明するための一連の実験を考案する。
論文 参考訳(メタデータ) (2024-09-27T05:06:43Z) - W-RAG: Weakly Supervised Dense Retrieval in RAG for Open-domain Question Answering [28.79851078451609]
W-RAGは、下流タスクから弱いトレーニング信号を抽出し、検索者がタスクに最も利益をもたらすパスを優先順位付けするように微調整する手法である。
我々は4つの公開可能なOpenQAデータセットの包括的な実験を行い、我々のアプローチが検索とOpenQAのパフォーマンスを向上させることを実証した。
論文 参考訳(メタデータ) (2024-08-15T22:34:44Z) - QPaug: Question and Passage Augmentation for Open-Domain Question Answering of LLMs [5.09189220106765]
オープンドメイン問合せタスクのための大規模言語モデル(LLM)を介してQPaug(Q and passage augmentation)と呼ばれるシンプルで効率的な手法を提案する。
実験の結果,QPaugは従来の最先端技術よりも優れており,既存のRAG法よりも大きな性能向上を実現していることがわかった。
論文 参考訳(メタデータ) (2024-06-20T12:59:27Z) - Aggregation of Reasoning: A Hierarchical Framework for Enhancing Answer Selection in Large Language Models [84.15513004135576]
最近の研究は、複数の推論チェーンをサンプリングし、応答周波数に基づいてアンサンブルすることで、Large Language Models(LLMs)の推論性能を向上させる。
このアプローチは、正しい答えが少数派である場合に失敗する。
階層的推論集約フレームワークAoRを導入し、推論連鎖の評価に基づいて回答を選択する。
論文 参考訳(メタデータ) (2024-05-21T17:12:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。