論文の概要: Old Habits Die Hard: How Conversational History Geometrically Traps LLMs

• arxiv url: http://arxiv.org/abs/2603.03308v1
• Date: Sun, 08 Feb 2026 14:13:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:08.135356
• Title: Old Habits Die Hard: How Conversational History Geometrically Traps LLMs
• Title（参考訳）: 昔ながらの習慣は、どのようにしてLLMを幾何学的に捉えたか
• Abstract要約: 最近の研究は、大きな言語モデル(LLM)が、予期しない方法で会話の歴史に影響されていることを示唆している。 会話履歴がその後の世代にどのように依存するかを調査するフレームワークであるHistory-Echoesを紹介する。
• 参考スコア（独自算出の注目度）: 59.84224364012311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How does the conversational past of large language models (LLMs) influence their future performance? Recent work suggests that LLMs are affected by their conversational history in unexpected ways. For instance, hallucinations in prior interactions may influence subsequent model responses. In this work, we introduce History-Echoes, a framework that investigates how conversational history biases subsequent generations. The framework explores this bias from two perspectives: probabilistically, we model conversations as Markov chains to quantify state consistency; geometrically, we measure the consistency of consecutive hidden representations. Across three model families and six datasets spanning diverse phenomena, our analysis reveals a strong correlation between the two perspectives. By bridging these perspectives, we demonstrate that behavioral persistence manifests as a geometric trap, where gaps in the latent space confine the model's trajectory. Code available at https://github.com/technion-cs-nlp/OldHabitsDieHard.
• Abstract（参考訳）: 大きな言語モデル(LLM)の会話の過去は、将来のパフォーマンスにどのように影響しますか? 最近の研究は、LLMが予期せぬ方法で会話の歴史に影響されていることを示唆している。 例えば、先行相互作用における幻覚はその後のモデル反応に影響を与える可能性がある。 本研究では,会話履歴がその後の世代にどのように依存するかを調査するフレームワークであるHistory-Echoesを紹介する。 確率論的には、会話をマルコフ連鎖としてモデル化し、状態の一貫性を定量化し、幾何学的には連続した隠れ表現の一貫性を測定する。 3つのモデルファミリーと6つのデータセットが多様な現象にまたがっており、分析の結果、この2つの視点の間に強い相関関係があることが判明した。 これらの視点をブリッジすることで、行動の持続性は幾何学的トラップとして現れ、潜在空間の隙間がモデルの軌道を限定することを示した。 コードはhttps://github.com/technion-cs-nlp/OldHabitsDieHardで公開されている。

関連論文リスト

• MindTopo: Can Foundation Models Reason in Topological Space? [52.56750995613252]
  我々は,認知科学と形式的トポロジに基づく5つの特性のトポロジ的直観のベンチマークであるMindTopoを紹介する。 MindTopoは、それぞれの特性を2つの認知レベルで評価する。Reasoning氏は、トポロジカルな関係を識別するか、どのように変化するかをモデルに求める。 すべてのMLLMは、計画よりも推論に優れており、最高のパフォーマンスモデルは、人間のパフォーマンスよりもはるかに低いままです。
  論文  参考訳（メタデータ） (2026-09-10T17:54:32Z)
• POINTS-Seeker: Towards Training a Multimodal Agentic Search Model from Scratch [84.73366911912512]
  エージェント・シーディング(Agenic Seeding)は,エージェント行動の抽出に必要な前駆体を織り込むための専用フェーズである。 本稿では、最近の対話を高忠実に保ちながら、歴史的コンテキストをレンダリングを介して視覚空間に折り畳みながら、適応的履歴認識圧縮方式であるV-Foldを提案する。 我々は,最新のマルチモーダルエージェントサーチモデルであるPOINTS-Seeker-8Bを開発した。
  論文  参考訳（メタデータ） (2026-04-15T16:09:37Z)
• Deep Autocorrelation Modeling for Time-Series Forecasting: Progress and Prospects [122.77185406890963]
  自己相関は時系列データの定義特性であり、それぞれの観測は前者に依存している。 近年の研究ではこれらの課題に対処する努力が続けられているが、両方の側面を調査する体系的な調査はいまだに不十分である。 本稿では,自己相関モデルの観点からの詳細な時系列予測について概説する。
  論文  参考訳（メタデータ） (2026-03-20T12:31:08Z)
• If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
  大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。 我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
  論文  参考訳（メタデータ） (2025-03-30T16:50:57Z)
• Knowledge Graphs, Large Language Models, and Hallucinations: An NLP Perspective [5.769786334333616]
  大規模言語モデル(LLM)は、自動テキスト生成や質問応答などを含む自然言語処理(NLP)ベースのアプリケーションに革命をもたらした。 幻覚では、モデルがもっともらしい音を出すが、実際には正しくない反応を生成する。 本稿では,現状のデータセットやベンチマーク,知識統合や幻覚評価の手法など,これらのオープンな課題について論じる。
  論文  参考訳（メタデータ） (2024-11-21T16:09:05Z)
• Integrating Large Language Models with Graph-based Reasoning for Conversational Question Answering [58.17090503446995]
  我々は,テキストや知識グラフ,テーブル,インフォボックスといった異質な情報源から収集された証拠について,文脈における質問の理解と推論の課題を組み合わせた会話型質問応答タスクに着目する。 提案手法はグラフ構造表現を用いて質問とその文脈に関する情報を集約する。
  論文  参考訳（メタデータ） (2024-06-14T13:28:03Z)
• Imagination is All You Need! Curved Contrastive Learning for Abstract Sequence Modeling Utilized on Long Short-Term Dialogue Planning [2.5567566997688043]
  マルチターン対話における発話対間の相対的なターン距離を学習する新しい表現学習手法であるCurved Contrastive Learning (CCL)を紹介する。 得られたバイエンコーダモデルは、目標発話と対応する応答候補を潜在空間に投影することにより、ゼロショット方式でゴールに向かって応答ランキングモデルとして変換器を誘導することができる。
  論文  参考訳（メタデータ） (2022-11-14T18:16:48Z)
• Back to the Future: On Potential Histories in NLP [11.438985158220797]
  機械学習の現代的手法は、支配的かつヘゲモニックな歴史に偏っていると論じる。 現代社会における辺縁化史を見極めることで、伝統的に辺縁化され排除されたコミュニティの生きた現実を表現するモデルを作ることができる。
  論文  参考訳（メタデータ） (2022-10-12T14:32:25Z)
• An Empirical Study: Extensive Deep Temporal Point Process [61.14164208094238]
  本稿では,非同期イベントシーケンスを時間的プロセスでモデル化することの課題と最近の研究を概観する。 本稿では,多種類のイベント間の関係を生かしたGranger因果発見フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-19T10:15:00Z)
• A Neural Conversation Generation Model via Equivalent Shared Memory Investigation [39.922967513749654]
  DRMN(Deep Reading Memory Network)と呼ばれる新しい読み書き・記憶フレームワークを提案する。 DRMNは、発話生成を改善するために、類似した会話の有用な情報を記憶することができる。 弊社のモデルは、正義とeコマースの2つの大規模な会話データセットに適用する。
  論文  参考訳（メタデータ） (2021-08-20T13:20:14Z)
• Ranking Enhanced Dialogue Generation [77.8321855074999]
  対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。 これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。 本稿では,ランキング拡張対話生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-13T01:49:56Z)
• Modality-Balanced Models for Visual Dialogue [102.35406085738325]
  Visual Dialogタスクは、対話に対する次の応答を生成するために、画像情報と会話コンテキスト情報の両方を利用するモデルを必要とする。 過去の共同モダリティ(歴史とイメージ)モデルが過度に再現され,対話履歴を記憶する傾向が強いことを示す。 本稿では,共有パラメータを用いたアンサンブルとコンセンサス・ドロップアウト融合による2つのモデルの統合手法を提案する。
  論文  参考訳（メタデータ） (2020-01-17T14:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。