論文の概要: When History Helps and Hurts: Selective History Use across Multimodal Turns
- arxiv url: http://arxiv.org/abs/2610.11948v2
- Date: Fri, 09 Oct 2026 06:36:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-13 04:06:29.206641
- Title: When History Helps and Hurts: Selective History Use across Multimodal Turns
- Title(参考訳): 歴史が役に立ったとき: マルチモーダル・ターンで使われる選択的歴史
- Abstract要約: 本稿では,視覚的および音声的エビデンスにまたがる7,000のベースタスクのベンチマークであるReTurnを紹介する。
タスク・キャリア・ヒストリーにとって、Reconfirm/Regroundは様々な歴史的合意を交わしながら、過去の質問を現在のメディアに適用する必要がある。
証拠を運ぶ歴史について、Retrieve/Rebindは、様々なメディアコンペティションをしながら、歴史的なメディアを使用して現在の質問に答える必要がある。
- 参考スコア(独自算出の注目度): 25.156839762775306
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reliable multimodal interaction depends on selective use of conversational history: an earlier question may remain relevant while its previous answer is outdated, whereas a current request may depend on historical evidence despite conflicting new observations. Existing multi-turn evaluations rarely separate these history-use demands from underlying question difficulty. To address this gap, we introduce ReTurn, a benchmark of 7,000 base tasks spanning visual and audio evidence for evaluating selective history use. For task-carrying history, Reconfirm/Reground require applying a historical question to current media while varying historical agreement; for evidence-carrying history, Retrieve/Rebind require answering a current question using historical media while varying current-media competition. Each pair preserves the target question, media, and answer. Tasks support open-ended and multiple-choice evaluation, with matched single-turn counterparts serving as answerability references. Across 13 omni-modal, vision-language, and audio-language models, median model-level open-ended accuracy falls from 93.7% with direct input to 72.3% in conversation. Behavioral probes show that high question recall can coexist with weaker task application, while competing media can redirect answers away from historical targets. Supervised adaptation yields only partial gains. ReTurn provides a controlled framework for assessing whether multimodal models select and use the historical information required by each request.
- Abstract(参考訳): 信頼性の高いマルチモーダル相互作用は、会話の歴史の選択的な使用に依存している: 以前の質問は、以前の回答が時代遅れである間に関連性を持ち続けるが、現在の要求は、新しい観察が矛盾しているにもかかわらず、歴史的な証拠に依存するかもしれない。
既存のマルチターン評価は、これらの履歴利用要求を根底にある疑問の難しさから切り離すことが滅多にない。
このギャップに対処するために,視覚的および音声的エビデンスにまたがる7,000のベースタスクのベンチマークであるReTurnを紹介した。
Reconfirm/Regroundは、タスクキャリアの歴史に対して、様々な歴史的合意を交わしながら、現在のメディアに歴史的質問を適用することを必要とし、証拠キャリアの歴史において、Retrieve/Rebindは、現在のメディアを使用して、様々な現在のメディアコンペティションを使用して、現在の質問に答えることを要求する。
各ペアは、対象の質問、メディア、回答を保持する。
タスクはオープンエンドと複数選択の評価をサポートし、一致したシングルターンのタスクが応答可能性の参照として機能する。
13のオムニモダルモデル、視覚言語モデル、およびオーディオ言語モデルにおいて、中央モデルのオープンエンド精度は93.7%から72.3%に低下している。
行動調査では、高い質問のリコールは、より弱いタスクアプリケーションと共存可能である一方で、競合するメディアは、過去のターゲットから回答をリダイレクトすることができる。
最適化された適応は部分的な利得しか得られない。
ReTurnは、マルチモーダルモデルが各リクエストに必要な履歴情報を選択し、使用するかどうかを評価するための制御されたフレームワークを提供する。
関連論文リスト
- Memory Control Signals Emerge Before Action in Long Horizon Agents [55.84813053778976]
各エージェントアクションの直前に隠された状態を調べ、圧縮とリコールの要求がモデルの内部表現にすでにエンコードされていることを確認する。
本研究では,状態誘導圧縮と外部エビデンス検索を組み合わせたPreaction Memory with Evidence Retrieval (PaMER)を提案する。
論文 参考訳(メタデータ) (2026-09-23T03:23:34Z) - MIRAGE: How Conversation State Shapes Historical Evidence Use in Multimodal Personal Agents [15.173843369238156]
MIRAGEは個人エージェントの会話状態の変動に使用される歴史的証拠の制御された研究である。
結果のみの正当性から推定されるのではなく, 状態変化下での歴史的証拠の使用を評価すべきである。
論文 参考訳(メタデータ) (2026-08-25T10:59:10Z) - Do LLMs Benefit From Their Own Words? [56.73014497206615]
先行するアシスタント応答の除去は,少数のターンにおいて応答品質に影響を与えないことがわかった。
アシスタント側コンテキストのオミッティングは、累積コンテキストの長さを最大10倍に減らすことができる。
本研究は, 記憶量削減を図り, アシスタント履歴を選択的に省略することで, 応答品質を向上できることを示唆する。
論文 参考訳(メタデータ) (2026-02-27T18:58:26Z) - Preserving Historical Truth: Detecting Historical Revisionism in Large Language Models [66.75310318710073]
textttHistoricalMisinfoは45ドル(約4,400円)の国から50ドル(約5,800円)のコンテストイベントを収集したデータセットです。
実世界の利用を近似するために、一般的な通信設定を反映したプロンプトシナリオを11ドルで、各イベントをインスタンス化する。
論文 参考訳(メタデータ) (2026-02-19T15:05:10Z) - Consistency Training by Synthetic Question Generation for Conversational Question Answering [14.211024633768986]
我々は、歴史的情報を合成的な質問で強化し、その推論を無関係な歴史に対して堅牢にする。
これは、会話型QA設定をモデル化するためのデータ拡張の一形態として、質問生成を用いた最初の研究例である。
論文 参考訳(メタデータ) (2024-04-17T06:49:14Z) - History-Aware Conversational Dense Retrieval [31.203399110612388]
本稿では,コンテキスト依存型クエリ再構成と監視信号の自動マイニングという2つのアイデアを取り入れた,履歴認識型会話用Dense Retrieval(HAConvDR)システムを提案する。
2つの公開対話型検索データセットの実験は、HAConvDRの履歴モデリング機能の改善を実証している。
論文 参考訳(メタデータ) (2024-01-30T01:24:18Z) - Learning to Select the Relevant History Turns in Conversational Question
Answering [27.049444003555234]
関連する履歴の選択と正しい回答予測の依存関係は興味深いが、探索されていない領域である。
本稿では,まず,すべての履歴ターンのコンテキストと質問エンティティを生成するフレームワークであるDHS-ConvQAを提案する。
関連ターンの選択は、元の質問を書き換えるよりも有効であることを示す。
論文 参考訳(メタデータ) (2023-08-04T12:59:39Z) - A Graph-guided Multi-round Retrieval Method for Conversational
Open-domain Question Answering [52.041815783025186]
本稿では,会話のターン間の回答間の関係をモデル化するグラフ誘導検索手法を提案する。
また,検索コンテキストが現在の質問理解に与える影響を検討するために,マルチラウンド関連フィードバック手法を導入することを提案する。
論文 参考訳(メタデータ) (2021-04-17T04:39:41Z) - Query Resolution for Conversational Search with Limited Supervision [63.131221660019776]
本稿では,双方向トランスフォーマに基づくニューラルクエリ解決モデルQuReTeCを提案する。
我々はQuReTeCが最先端モデルより優れており、また、QuReTeCのトレーニングに必要な人為的なデータ量を大幅に削減するために、我々の遠隔監視手法が有効であることを示す。
論文 参考訳(メタデータ) (2020-05-24T11:37:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。