論文の概要: Conversational Context Classification: A Representation Engineering Approach

• arxiv url: http://arxiv.org/abs/2601.12286v1
• Date: Sun, 18 Jan 2026 06:47:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.553343
• Title: Conversational Context Classification: A Representation Engineering Approach
• Title（参考訳）: 会話文脈分類:表現工学的アプローチ
• Authors: Jonathan Pan,
• Abstract要約: 重要な課題は、Large Language Modelsが期待される会話規範から逸脱した時期を正確に検出することである。 本稿では,RepE(Representation Engineering)とOCSVM(One-Class Support Vector Machine)の利用について概説する。 文脈内例に基づいてOCSVMをトレーニングすることにより、LLMの隠れ状態潜在空間内に堅牢な境界を確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing prevalence of Large Language Models (LLMs) demands effective safeguards for their operation, particularly concerning their tendency to generate out-of-context responses. A key challenge is accurately detecting when LLMs stray from expected conversational norms, manifesting as topic shifts, factual inaccuracies, or outright hallucinations. Traditional anomaly detection struggles to directly apply within contextual semantics. This paper outlines our experiment in exploring the use of Representation Engineering (RepE) and One-Class Support Vector Machine (OCSVM) to identify subspaces within the internal states of LLMs that represent a specific context. By training OCSVM on in-context examples, we establish a robust boundary within the LLM's hidden state latent space. We evaluate out study with two open source LLMs - Llama and Qwen models in specific contextual domain. Our approach entailed identifying the optimal layers within the LLM's internal state subspaces that strongly associates with the context of interest. Our evaluation results showed promising results in identifying the subspace for a specific context. Aside from being useful in detecting in or out of context conversation threads, this research work contributes to the study of better interpreting LLMs.
• Abstract（参考訳）: LLM(Large Language Models)の普及は、特に文脈外応答を発生させる傾向において、その操作に対して効果的な安全を要求している。 重要な課題は、LLMが予想される会話規範から逸脱した時期を正確に検出し、トピックシフト、事実的不正確さ、あるいは完全な幻覚として表すことである。 従来の異常検出は文脈意味論に直接適用することは困難である。 本稿では,RepE(Representation Engineering)とOCSVM(One-Class Support Vector Machine)を用いて,特定のコンテキストを表すLLMの内部状態内の部分空間を識別する実験について概説する。 文脈内例に基づいてOCSVMをトレーニングすることにより、LLMの隠れ状態潜在空間内に堅牢な境界を確立する。 我々は,Llama と Qwen の2つのオープンソース LLM を用いて,特定のコンテキスト領域における研究を評価する。 提案手法では, LLMの内部状態部分空間内の最適層を同定し, 関心の文脈と強く関連付ける。 評価結果は,特定の文脈における部分空間の同定に有望な結果を示した。 本研究は,文脈会話スレッドの内外検出に有用であるだけでなく,LLMの解釈性の向上に寄与する。

関連論文リスト

• Memorization $\neq$ Understanding: Do Large Language Models Have the Ability of Scenario Cognition? [10.010113234203208]
  本稿では,大規模言語モデルのシナリオ認識を評価するための2視点評価フレームワークを提案する。 本稿では,シナリオ要素を付加した,架空の事実の多種多様なテキスト記述を含むシナリオベースデータセットを提案する。 実験の結果,現在のLLMは表層記憶に大きく依存しており,頑健なセマンティックなシナリオ認識を達成できないことがわかった。
  論文  参考訳（メタデータ） (2025-09-05T07:30:01Z)
• Exploiting Contextual Knowledge in LLMs through V-usable Information based Layer Enhancement [20.183957585014042]
  本研究では,大規模言語モデルにおける文脈知識の活用を促進するために,コンテキスト認識層拡張(CaLE)を提案する。 CaLEは、最適層におけるコンテキスト情報の成長を戦略的に増幅し、最終層における表現を豊かにする。 本実験は,質問応答タスクにおいて,CaLEが文脈忠実な生成を効果的に改善できることを実証する。
  論文  参考訳（メタデータ） (2025-04-22T06:42:22Z)
• Do LLMs Understand Ambiguity in Text? A Case Study in Open-world Question Answering [15.342415325821063]
  自然言語の曖昧さは、オープンドメインの質問応答に使用される大規模言語モデル(LLM)に重大な課題をもたらす。 我々は,明示的曖昧化戦略の効果を計測することに集中して,市販のLLM性能と数発のLLM性能を比較した。 本研究では, 難解な問合せタスクにおいて, LLM性能を向上させるために, 簡単な, トレーニング不要, トークンレベルの曖昧さを効果的に活用できることを実証する。
  論文  参考訳（メタデータ） (2024-11-19T10:27:26Z)
• Attention Instruction: Amplifying Attention in the Middle via Prompting [35.07098912195063]
  言語モデルはいまだ位置バイアスに悩まされており、コンテキストの中央へのアクセスと使用が困難である。 本研究では,LSMの相対的位置認識と,プロンプトによる不均等注意の軽減の可能性について検討した。
  論文  参考訳（メタデータ） (2024-06-24T19:35:11Z)
• Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach [0.0]
  LLM(Large Language Models)は、幻覚と呼ばれる不正確な出力を生成する。 本稿では,トークンから得られる4つの数値的特徴と,他の評価者から得られる語彙的確率を用いた教師付き学習手法を提案する。 この方法は有望な結果をもたらし、3つの異なるベンチマークで複数のタスクで最先端の結果を上回る。
  論文  参考訳（メタデータ） (2024-05-30T03:00:47Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。