論文の概要: Conversational Context Classification: A Representation Engineering Approach

• arxiv url: http://arxiv.org/abs/2601.12286v1
• Date: Sun, 18 Jan 2026 06:47:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-21 22:47:22.553343
• Title: Conversational Context Classification: A Representation Engineering Approach
• Title（参考訳）: 会話文脈分類:表現工学的アプローチ
• Authors: Jonathan Pan,
• Abstract要約: 重要な課題は、Large Language Modelsが期待される会話規範から逸脱した時期を正確に検出することである。 本稿では,RepE(Representation Engineering)とOCSVM(One-Class Support Vector Machine)の利用について概説する。 文脈内例に基づいてOCSVMをトレーニングすることにより、LLMの隠れ状態潜在空間内に堅牢な境界を確立する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing prevalence of Large Language Models (LLMs) demands effective safeguards for their operation, particularly concerning their tendency to generate out-of-context responses. A key challenge is accurately detecting when LLMs stray from expected conversational norms, manifesting as topic shifts, factual inaccuracies, or outright hallucinations. Traditional anomaly detection struggles to directly apply within contextual semantics. This paper outlines our experiment in exploring the use of Representation Engineering (RepE) and One-Class Support Vector Machine (OCSVM) to identify subspaces within the internal states of LLMs that represent a specific context. By training OCSVM on in-context examples, we establish a robust boundary within the LLM's hidden state latent space. We evaluate out study with two open source LLMs - Llama and Qwen models in specific contextual domain. Our approach entailed identifying the optimal layers within the LLM's internal state subspaces that strongly associates with the context of interest. Our evaluation results showed promising results in identifying the subspace for a specific context. Aside from being useful in detecting in or out of context conversation threads, this research work contributes to the study of better interpreting LLMs.
• Abstract（参考訳）: LLM(Large Language Models)の普及は、特に文脈外応答を発生させる傾向において、その操作に対して効果的な安全を要求している。 重要な課題は、LLMが予想される会話規範から逸脱した時期を正確に検出し、トピックシフト、事実的不正確さ、あるいは完全な幻覚として表すことである。 従来の異常検出は文脈意味論に直接適用することは困難である。 本稿では,RepE(Representation Engineering)とOCSVM(One-Class Support Vector Machine)を用いて,特定のコンテキストを表すLLMの内部状態内の部分空間を識別する実験について概説する。 文脈内例に基づいてOCSVMをトレーニングすることにより、LLMの隠れ状態潜在空間内に堅牢な境界を確立する。 我々は,Llama と Qwen の2つのオープンソース LLM を用いて,特定のコンテキスト領域における研究を評価する。 提案手法では, LLMの内部状態部分空間内の最適層を同定し, 関心の文脈と強く関連付ける。 評価結果は,特定の文脈における部分空間の同定に有望な結果を示した。 本研究は,文脈会話スレッドの内外検出に有用であるだけでなく,LLMの解釈性の向上に寄与する。

関連論文リスト

• Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
  難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。 タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。 この空間性-微分的関係は、様々なモデルや領域で観測可能である。
  論文  参考訳（メタデータ） (2026-03-03T18:48:15Z)
• LLM-Specific Utility: A New Perspective for Retrieval-Augmented Generation [110.610512800947]
  Retrieval-augmented Generation (RAG)は、外部知識を取り入れた大規模言語モデル(LLM)を強化する。 既存の研究はしばしばユーティリティをジェネリック属性として扱い、異なるLLMが同じ通路から異なる利益をもたらすという事実を無視している。
  論文  参考訳（メタデータ） (2025-10-13T12:57:45Z)
• Memorization $\neq$ Understanding: Do Large Language Models Have the Ability of Scenario Cognition? [10.010113234203208]
  本稿では,大規模言語モデルのシナリオ認識を評価するための2視点評価フレームワークを提案する。 本稿では,シナリオ要素を付加した,架空の事実の多種多様なテキスト記述を含むシナリオベースデータセットを提案する。 実験の結果,現在のLLMは表層記憶に大きく依存しており,頑健なセマンティックなシナリオ認識を達成できないことがわかった。
  論文  参考訳（メタデータ） (2025-09-05T07:30:01Z)
• Disambiguation in Conversational Question Answering in the Era of LLMs and Agents: A Survey [54.90240495777929]
  自然言語処理(NLP)におけるあいまいさは依然として根本的な課題である LLM(Large Language Models)の出現により、あいまいさに対処することがさらに重要になった。 本稿では,言語駆動システムにおけるあいまいさの定義,形態,含意について考察する。
  論文  参考訳（メタデータ） (2025-05-18T20:53:41Z)
• Exploiting Contextual Knowledge in LLMs through V-usable Information based Layer Enhancement [20.183957585014042]
  本研究では,大規模言語モデルにおける文脈知識の活用を促進するために,コンテキスト認識層拡張(CaLE)を提案する。 CaLEは、最適層におけるコンテキスト情報の成長を戦略的に増幅し、最終層における表現を豊かにする。 本実験は,質問応答タスクにおいて,CaLEが文脈忠実な生成を効果的に改善できることを実証する。
  論文  参考訳（メタデータ） (2025-04-22T06:42:22Z)
• Do LLMs Understand Ambiguity in Text? A Case Study in Open-world Question Answering [15.342415325821063]
  自然言語の曖昧さは、オープンドメインの質問応答に使用される大規模言語モデル(LLM)に重大な課題をもたらす。 我々は,明示的曖昧化戦略の効果を計測することに集中して,市販のLLM性能と数発のLLM性能を比較した。 本研究では, 難解な問合せタスクにおいて, LLM性能を向上させるために, 簡単な, トレーニング不要, トークンレベルの曖昧さを効果的に活用できることを実証する。
  論文  参考訳（メタデータ） (2024-11-19T10:27:26Z)
• Attention Instruction: Amplifying Attention in the Middle via Prompting [35.07098912195063]
  言語モデルはいまだ位置バイアスに悩まされており、コンテキストの中央へのアクセスと使用が困難である。 本研究では,LSMの相対的位置認識と,プロンプトによる不均等注意の軽減の可能性について検討した。
  論文  参考訳（メタデータ） (2024-06-24T19:35:11Z)
• Detecting Hallucinations in Large Language Model Generation: A Token Probability Approach [0.0]
  LLM(Large Language Models)は、幻覚と呼ばれる不正確な出力を生成する。 本稿では,トークンから得られる4つの数値的特徴と,他の評価者から得られる語彙的確率を用いた教師付き学習手法を提案する。 この方法は有望な結果をもたらし、3つの異なるベンチマークで複数のタスクで最先端の結果を上回る。
  論文  参考訳（メタデータ） (2024-05-30T03:00:47Z)
• Characterizing Truthfulness in Large Language Model Generations with Local Intrinsic Dimension [63.330262740414646]
  大規模言語モデル(LLM)から生成されたテキストの真偽を特徴付ける方法と予測法について検討する。 モデルアクティベーションの局所固有次元 (LID) を用いて, 内部アクティベーションを調査し, LLMの真偽を定量化する。
  論文  参考訳（メタデータ） (2024-02-28T04:56:21Z)
• LLM Inference Unveiled: Survey and Roofline Model Insights [62.92811060490876]
  大規模言語モデル(LLM)推論は急速に進化しており、機会と課題のユニークなブレンドを提示している。 本調査は, 研究状況を要約するだけでなく, 屋上モデルに基づく枠組みを導入することによって, 従来の文献レビューから際立っている。 このフレームワークは、ハードウェアデバイスにLSMをデプロイする際のボトルネックを特定し、実用上の問題を明確に理解する。
  論文  参考訳（メタデータ） (2024-02-26T07:33:05Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。