論文の概要: Old Habits Die Hard: How Conversational History Geometrically Traps LLMs

• arxiv url: http://arxiv.org/abs/2603.03308v1
• Date: Sun, 08 Feb 2026 14:13:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-09 01:20:08.135356
• Title: Old Habits Die Hard: How Conversational History Geometrically Traps LLMs
• Title（参考訳）: 昔ながらの習慣は、どのようにしてLLMを幾何学的に捉えたか
• Authors: Adi Simhi, Fazl Barez, Martin Tutek, Yonatan Belinkov, Shay B. Cohen,
• Abstract要約: 最近の研究は、大きな言語モデル(LLM)が、予期しない方法で会話の歴史に影響されていることを示唆している。 会話履歴がその後の世代にどのように依存するかを調査するフレームワークであるHistory-Echoesを紹介する。
• 参考スコア（独自算出の注目度）: 59.84224364012311
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How does the conversational past of large language models (LLMs) influence their future performance? Recent work suggests that LLMs are affected by their conversational history in unexpected ways. For instance, hallucinations in prior interactions may influence subsequent model responses. In this work, we introduce History-Echoes, a framework that investigates how conversational history biases subsequent generations. The framework explores this bias from two perspectives: probabilistically, we model conversations as Markov chains to quantify state consistency; geometrically, we measure the consistency of consecutive hidden representations. Across three model families and six datasets spanning diverse phenomena, our analysis reveals a strong correlation between the two perspectives. By bridging these perspectives, we demonstrate that behavioral persistence manifests as a geometric trap, where gaps in the latent space confine the model's trajectory. Code available at https://github.com/technion-cs-nlp/OldHabitsDieHard.
• Abstract（参考訳）: 大きな言語モデル(LLM)の会話の過去は、将来のパフォーマンスにどのように影響しますか? 最近の研究は、LLMが予期せぬ方法で会話の歴史に影響されていることを示唆している。 例えば、先行相互作用における幻覚はその後のモデル反応に影響を与える可能性がある。 本研究では,会話履歴がその後の世代にどのように依存するかを調査するフレームワークであるHistory-Echoesを紹介する。 確率論的には、会話をマルコフ連鎖としてモデル化し、状態の一貫性を定量化し、幾何学的には連続した隠れ表現の一貫性を測定する。 3つのモデルファミリーと6つのデータセットが多様な現象にまたがっており、分析の結果、この2つの視点の間に強い相関関係があることが判明した。 これらの視点をブリッジすることで、行動の持続性は幾何学的トラップとして現れ、潜在空間の隙間がモデルの軌道を限定することを示した。 コードはhttps://github.com/technion-cs-nlp/OldHabitsDieHardで公開されている。

関連論文リスト

• If an LLM Were a Character, Would It Know Its Own Story? Evaluating Lifelong Learning in LLMs [55.8331366739144]
  大規模言語モデル(LLM)における生涯学習評価のためのベンチマークであるLIFESTATE-BENCHを紹介する。 我々の事実チェック評価は、パラメトリックと非パラメトリックの両方のアプローチで、モデルの自己認識、エピソードメモリ検索、関係追跡を探索する。
  論文  参考訳（メタデータ） (2025-03-30T16:50:57Z)
• Knowledge Graphs, Large Language Models, and Hallucinations: An NLP Perspective [5.769786334333616]
  大規模言語モデル(LLM)は、自動テキスト生成や質問応答などを含む自然言語処理(NLP)ベースのアプリケーションに革命をもたらした。 幻覚では、モデルがもっともらしい音を出すが、実際には正しくない反応を生成する。 本稿では,現状のデータセットやベンチマーク,知識統合や幻覚評価の手法など,これらのオープンな課題について論じる。
  論文  参考訳（メタデータ） (2024-11-21T16:09:05Z)
• Integrating Large Language Models with Graph-based Reasoning for Conversational Question Answering [58.17090503446995]
  我々は,テキストや知識グラフ,テーブル,インフォボックスといった異質な情報源から収集された証拠について,文脈における質問の理解と推論の課題を組み合わせた会話型質問応答タスクに着目する。 提案手法はグラフ構造表現を用いて質問とその文脈に関する情報を集約する。
  論文  参考訳（メタデータ） (2024-06-14T13:28:03Z)
• Imagination is All You Need! Curved Contrastive Learning for Abstract Sequence Modeling Utilized on Long Short-Term Dialogue Planning [2.5567566997688043]
  マルチターン対話における発話対間の相対的なターン距離を学習する新しい表現学習手法であるCurved Contrastive Learning (CCL)を紹介する。 得られたバイエンコーダモデルは、目標発話と対応する応答候補を潜在空間に投影することにより、ゼロショット方式でゴールに向かって応答ランキングモデルとして変換器を誘導することができる。
  論文  参考訳（メタデータ） (2022-11-14T18:16:48Z)
• Back to the Future: On Potential Histories in NLP [11.438985158220797]
  機械学習の現代的手法は、支配的かつヘゲモニックな歴史に偏っていると論じる。 現代社会における辺縁化史を見極めることで、伝統的に辺縁化され排除されたコミュニティの生きた現実を表現するモデルを作ることができる。
  論文  参考訳（メタデータ） (2022-10-12T14:32:25Z)
• An Empirical Study: Extensive Deep Temporal Point Process [61.14164208094238]
  本稿では,非同期イベントシーケンスを時間的プロセスでモデル化することの課題と最近の研究を概観する。 本稿では,多種類のイベント間の関係を生かしたGranger因果発見フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-10-19T10:15:00Z)
• A Neural Conversation Generation Model via Equivalent Shared Memory Investigation [39.922967513749654]
  DRMN(Deep Reading Memory Network)と呼ばれる新しい読み書き・記憶フレームワークを提案する。 DRMNは、発話生成を改善するために、類似した会話の有用な情報を記憶することができる。 弊社のモデルは、正義とeコマースの2つの大規模な会話データセットに適用する。
  論文  参考訳（メタデータ） (2021-08-20T13:20:14Z)
• Ranking Enhanced Dialogue Generation [77.8321855074999]
  対話履歴を効果的に活用する方法は、マルチターン対話生成において重要な問題である。 これまでの研究は通常、歴史をモデル化するために様々なニューラルネットワークアーキテクチャを使用していた。 本稿では,ランキング拡張対話生成フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-13T01:49:56Z)
• Modality-Balanced Models for Visual Dialogue [102.35406085738325]
  Visual Dialogタスクは、対話に対する次の応答を生成するために、画像情報と会話コンテキスト情報の両方を利用するモデルを必要とする。 過去の共同モダリティ(歴史とイメージ)モデルが過度に再現され,対話履歴を記憶する傾向が強いことを示す。 本稿では,共有パラメータを用いたアンサンブルとコンセンサス・ドロップアウト融合による2つのモデルの統合手法を提案する。
  論文  参考訳（メタデータ） (2020-01-17T14:57:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。