論文の概要: Do LLMs Benefit From Their Own Words?

• arxiv url: http://arxiv.org/abs/2602.24287v1
• Date: Fri, 27 Feb 2026 18:58:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 19:48:24.576925
• Title: Do LLMs Benefit From Their Own Words?
• Title（参考訳）: LLMは自分の言葉に相応しいのか?
• Authors: Jenny Y. Huang, Leshem Choshen, Ramon Astudillo, Tamara Broderick, Jacob Andreas,
• Abstract要約: 先行するアシスタント応答の除去は,少数のターンにおいて応答品質に影響を与えないことがわかった。 アシスタント側コンテキストのオミッティングは、累積コンテキストの長さを最大10倍に減らすことができる。 本研究は, 記憶量削減を図り, アシスタント履歴を選択的に省略することで, 応答品質を向上できることを示唆する。
• 参考スコア（独自算出の注目度）: 56.73014497206615
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Multi-turn interactions with large language models typically retain the assistant's own past responses in the conversation history. In this work, we revisit this design choice by asking whether large language models benefit from conditioning on their own prior responses. Using in-the-wild, multi-turn conversations, we compare standard (full-context) prompting with a user-turn-only prompting approach that omits all previous assistant responses, across three open reasoning models and one state-of-the-art model. To our surprise, we find that removing prior assistant responses does not affect response quality on a large fraction of turns. Omitting assistant-side history can reduce cumulative context lengths by up to 10x. To explain this result, we find that multi-turn conversations consist of a substantial proportion (36.4%) of self-contained prompts, and that many follow-up prompts provide sufficient instruction to be answered using only the current user turn and prior user turns. When analyzing cases where user-turn-only prompting substantially outperforms full context, we identify instances of context pollution, in which models over-condition on their previous responses, introducing errors, hallucinations, or stylistic artifacts that propagate across turns. Motivated by these findings, we design a context-filtering approach that selectively omits assistant-side context. Our findings suggest that selectively omitting assistant history can improve response quality while reducing memory consumption.
• Abstract（参考訳）: 大規模言語モデルとのマルチターンインタラクションは通常、会話履歴においてアシスタントの過去の応答を保持する。 そこで本研究では,大規模言語モデルが事前応答の条件付けから恩恵を受けるかどうかを問うことで,この設計選択を再考する。 In-theld, multi-turn conversation, we compare the standard (full-context) prompting to a user-turn-only prompting approach that omits all previous assistant response, across three open reasoning model and one-of-the-art model。 驚いたことに、先行するアシスタント応答の除去は、少数のターンで応答品質に影響を与えないことがわかった。 アシスタントサイド履歴のオミッティングは、累積コンテキストの長さを最大10倍に減らすことができる。 この結果を説明するために、マルチターン会話は、かなりの割合(36.4%)の自己完結したプロンプトで構成されており、多くのフォローアッププロンプトが、現在のユーザターンと先行ユーザーターンのみを使用して答えられる十分な指示を提供する。 ユーザターンのみのプロンプトがコンテキスト全体のパフォーマンスを大幅に上回るケースを分析すると、以前の応答に対するモデルオーバーコンディション、エラー、幻覚、あるいはターンをまたがるスタイリスティックなアーティファクトの導入といったコンテキスト汚染の事例を特定します。 これらの知見に触発されて、我々は、アシスタント側コンテキストを選択的に省略するコンテキストフィルタリングアプローチを設計する。 本研究は, 記憶量削減を図り, アシスタント履歴を選択的に省略することで, 応答品質を向上できることを示唆する。

関連論文リスト

• Exploring Rewriting Approaches for Different Conversational Tasks [63.56404271441824]
  正確な書き換えアプローチは、しばしば、会話アシスタントによってサポートされているユースケースとアプリケーション固有のタスクに依存します。 基本的に異なる2つの生成タスクに対して,書き換えと融合という2つの異なるアプローチを体系的に検討した。 以上の結果から, 特定の書き換え手法や融合手法は, 基礎となるユースケースや生成課題に大きく依存していることが示唆された。
  論文  参考訳（メタデータ） (2025-02-26T06:05:29Z)
• InfoQuest: Evaluating Multi-Turn Dialogue Agents for Open-Ended Conversations with Hidden Context [4.262907114077643]
  大きな言語モデルは明示的な指示に従う点で優れているが、曖昧さや不完全なユーザリクエストに悩まされることが多い。 オープンエンドのユーザリクエストにおいて、対話エージェントが隠れコンテキストをどのように扱うかを評価するために設計されたベンチマークであるInfoQuestを紹介する。
  論文  参考訳（メタデータ） (2025-02-17T19:01:10Z)
• Enhancing Answer Attribution for Faithful Text Generation with Large Language Models [5.065947993017158]
  本稿では,より独立的で文脈的なクレームを生成できる新しい手法を提案する。 新しい手法が評価され,回答帰属成分の性能が向上することが示されている。
  論文  参考訳（メタデータ） (2024-10-22T15:37:46Z)
• Modeling Future Conversation Turns to Teach LLMs to Ask Clarifying Questions [45.04582353648683]
  大規模言語モデル(LLM)は、しばしば非常にあいまいなユーザー要求に応答しなければならない。 既存のLLMは、そのような曖昧な要求の単一解釈を前提とすることで、異なる解釈を意図したユーザーをいらいらさせる。 今後,期待する結果をシミュレーションして選好ラベルを提案する。 これによってLLMは、将来の順番で各ユーザの解釈に合わせた応答を生成することができるのか、明確な質問を学べるようになる。
  論文  参考訳（メタデータ） (2024-10-17T17:29:04Z)
• Phrase Retrieval for Open-Domain Conversational Question Answering with Conversational Dependency Modeling via Contrastive Learning [54.55643652781891]
  Open-Domain Conversational Question Answering (ODConvQA)は、マルチターン会話を通じて質問に答えることを目的としている。 そこで本研究では,単語列に対する句検索方式を用いて,回答を直接予測する手法を提案する。
  論文  参考訳（メタデータ） (2023-06-07T09:46:38Z)
• AutoReply: Detecting Nonsense in Dialogue Introspectively with Discriminative Replies [71.62832112141913]
  対話モデルは、不適切なメッセージを示す応答の確率を計算し、内観的に自分のメッセージの誤りを検出することができることを示す。 まず、手作りの返信は外交と同じくらい複雑なアプリケーションにおけるナンセンスを検出するタスクに有効であることを示す。 AutoReplyの生成した応答は手作りの応答よりも優れており、慎重に調整された大規模な教師付きモデルと同等に動作することがわかった。
  論文  参考訳（メタデータ） (2022-11-22T22:31:34Z)
• Prompting for a conversation: How to control a dialog model? [9.268682116424518]
  ダイアログモデルは大量のテキストでトレーニングされるが、その応答はダイアログエージェントの望ましいスコープとスタイルに制限される必要がある。 前者を達成するために使用されるデータセットには後者と互換性のない言語が含まれているため、事前訓練されたダイアログモデルは、より小さなキュレートされたデータセットで微調整される。 本稿では,上記のトレードオフを緩和できるかどうかを検討する。
  論文  参考訳（メタデータ） (2022-09-22T14:59:55Z)
• Turn-Taking Prediction for Natural Conversational Speech [40.189938418201656]
  一般的な会話的発話は、ターンテイクを伴う複数のクエリを含むことが多い。 障害としては、思考の一時停止、ためらうこと、単語の延長、ポーズの充満、繰り返し句などがある。 本稿では,エンド・ツー・エンド(E2E)音声認識器上に構築されたターンテイク予測器を提案する。
  論文  参考訳（メタデータ） (2022-08-29T01:09:23Z)
• Generating Dialogue Responses from a Semantic Latent Space [75.18449428414736]
  語彙のエンドツーエンド分類に代わる方法を提案する。 潜在空間上の回帰タスクとして,プロンプトと応答のペア関係を学習する。 人間の評価は、連続した空間でタスクを学習すると、関連性と情報性の両方を持つ応答が生成されることを示した。
  論文  参考訳（メタデータ） (2020-10-04T19:06:16Z)
• Query Resolution for Conversational Search with Limited Supervision [63.131221660019776]
  本稿では,双方向トランスフォーマに基づくニューラルクエリ解決モデルQuReTeCを提案する。 我々はQuReTeCが最先端モデルより優れており、また、QuReTeCのトレーニングに必要な人為的なデータ量を大幅に削減するために、我々の遠隔監視手法が有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-24T11:37:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。