論文の概要: Decomposition-Enhanced Training for Post-Hoc Attributions In Language Models

• arxiv url: http://arxiv.org/abs/2510.25766v3
• Date: Wed, 05 Nov 2025 22:09:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-11-07 13:46:06.465631
• Title: Decomposition-Enhanced Training for Post-Hoc Attributions In Language Models
• Title（参考訳）: 言語モデルにおけるポストホック属性の分解強化訓練
• Authors: Sriram Balasubramanian, Samyadeep Basu, Koustava Goswami, Ryan Rossi, Varun Manjunatha, Roshan Santhosh, Ruiyi Zhang, Soheil Feizi, Nedim Lipka,
• Abstract要約: 我々は、ポストホック帰属を推論問題として再編成し、回答を構成単位に分解し、それぞれ特定の文脈に結び付けることができると論じる。 DecompTuneは、モデルに中間的推論ステップとして解解分解を生成することを教えるポストトレーニング手法である。 DecompTuneは、広範な実験と改善を通じて、属性の品質を大幅に改善し、先行手法より優れ、最先端のフロンティアモデルに適合または超えている。
• 参考スコア（独自算出の注目度）: 64.49342399229529
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Large language models (LLMs) are increasingly used for long-document question answering, where reliable attribution to sources is critical for trust. Existing post-hoc attribution methods work well for extractive QA but struggle in multi-hop, abstractive, and semi-extractive settings, where answers synthesize information across passages. To address these challenges, we argue that post-hoc attribution can be reframed as a reasoning problem, where answers are decomposed into constituent units, each tied to specific context. We first show that prompting models to generate such decompositions alongside attributions improves performance. Building on this, we introduce DecompTune, a post-training method that teaches models to produce answer decompositions as intermediate reasoning steps. We curate a diverse dataset of complex QA tasks, annotated with decompositions by a strong LLM, and post-train Qwen-2.5 (7B and 14B) using a two-stage SFT + GRPO pipeline with task-specific curated rewards. Across extensive experiments and ablations, DecompTune substantially improves attribution quality, outperforming prior methods and matching or exceeding state-of-the-art frontier models.
• Abstract（参考訳）: 大きな言語モデル (LLM) は、信頼できる情報源への帰属が信頼に欠かせない長文の質問応答にますます使われる。 既存のポストホック帰属法は、抽出的QAには適しているが、マルチホップ、抽象的、半抽出的な設定に苦しむ。 これらの課題に対処するために、ポストホック帰属は推論問題として再編成され、各回答は特定の文脈に結びついている構成単位に分解される。 まず、モデルが帰属と並行してそのような分解を生成するように促すことで、性能が向上することを示す。 そこで本研究では,解答分解を中間的推論ステップとしてモデルに教えるポストトレーニング手法DecompTuneを紹介する。 我々は,2段階のSFT+GRPOパイプラインを用いて,多種多様なQAタスクのデータセットをキュレートし,強力なLCMによる分解とQwen-2.5 (7B,14B) 後のQwen-2.5 (7B,14B) をタスク特異的にキュレーションした。 DecompTuneは、広範な実験と改善を通じて、属性の品質を大幅に改善し、先行手法より優れ、最先端のフロンティアモデルに適合または超えている。

関連論文リスト

• BMGQ: A Bottom-up Method for Generating Complex Multi-hop Reasoning Questions from Semi-structured Data [8.52473384574856]
  本稿では,半構造化知識ソースから高難易度,訓練可能なマルチホップ質問を自動生成するフレームワークを提案する。 このシステムは、自然言語推論(NLI)に基づく関係型付けと多様性を意識した拡張を通じて、多様な、論理的にラベル付けされたエビデンスクラスタを成長させる。
  論文  参考訳（メタデータ） (2025-10-28T07:43:15Z)
• Decomposing and Revising What Language Models Generate [29.67882325906939]
  我々は、属性QAのためのFIDESと呼ばれる新しい事実分解ベースのフレームワークを提案する。 Fidesは文脈的に強化された2段階の忠実分解法を使用して、長い形式の回答をサブファクトに分解する。 検索された証拠スニペットが関連するサブファクトと矛盾した場合、そのようなサブファクトはそれに従って修正される。 Fides は GPT-3.5-turbo, Gemini, Llama 70B シリーズで SOTA の手法を平均14%以上上回っている。
  論文  参考訳（メタデータ） (2025-08-31T09:26:25Z)
• QA-prompting: Improving Summarization with Large Language Models using Question-Answering [0.8460698440162888]
  言語モデル(LM)は自然言語処理に革命をもたらし、プロンプトやテキスト内学習を通じて高品質なテキスト生成を可能にした。 本稿では,質問応答を要約生成の中間段階として利用する要約の簡易なプロンプト手法であるQA-promptingを提案する。 提案手法はキー情報を抽出し,テキストのコンテキストを強化して位置バイアスを緩和し,タスク毎の単一LMコールにおける要約を改善する。
  論文  参考訳（メタデータ） (2025-05-20T13:29:36Z)
• SEMQA: Semi-Extractive Multi-Source Question Answering [94.04430035121136]
  本稿では,複数ソースを半抽出的に要約することで,複数の質問に答える新しいQAタスクを提案する。 この種の最初のデータセットであるQuoteSumを作成し、自然および生成された質問に対する人間による半抽出的な回答を提示する。
  論文  参考訳（メタデータ） (2023-11-08T18:46:32Z)
• Tokenization Consistency Matters for Generative Models on Extractive NLP Tasks [54.306234256074255]
  生成モデルの訓練において一般的に無視されるトークン化の不整合の問題を特定する。 この問題は、入力と出力が無矛盾にトークン化されると、これらのタスクの抽出特性を損なう。 一貫性のあるトークン化では、ドメイン内のデータセットとドメイン外のデータセットの両方で、モデルのパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2022-12-19T23:33:21Z)
• Self-Prompting Large Language Models for Zero-Shot Open-Domain QA [67.08732962244301]
  Open-Domain Question Answering (ODQA)は、背景文書を明示的に提供せずに質問に答えることを目的としている。 このタスクは、調整済みの検索リーダーモデルをトレーニングするデータがないゼロショット設定で顕著に困難になる。 本稿では,大規模言語モデルのパラメータに符号化された膨大な知識を明示的に活用するセルフプロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-12-16T18:23:43Z)
• Successive Prompting for Decomposing Complex Questions [50.00659445976735]
  最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。 そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。 我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
  論文  参考訳（メタデータ） (2022-12-08T06:03:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。