論文の概要: How Language Models Process Out-of-Distribution Inputs: A Two-Pathway Framework

• arxiv url: http://arxiv.org/abs/2605.00269v1
• Date: Thu, 30 Apr 2026 22:06:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.777413
• Title: How Language Models Process Out-of-Distribution Inputs: A Two-Pathway Framework
• Title（参考訳）: 言語モデルがアウト・オブ・ディストリビューション・インプットをどのように処理するか:双方向フレームワーク
• Authors: Hamidreza Saghir,
• Abstract要約: 近年のLCMのホワイトボックスOOD法は, 配列長によって構造的に整合化されている。 長さ整合評価下において, ほぼ一致で崩壊することを示す。 分解後の真のOOD信号を特定するために,2経路の枠組みを提案する。
• 参考スコア（独自算出の注目度）: 1.4721615285883427
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent white-box OOD detection methods for LLMs -- including CED, RAUQ, and WildGuard confidence scores -- appear effective, but we show they are structurally confounded by sequence length (|r| >= 0.61) and collapse to near-chance under length-matched evaluation. Even raw attention entropy (mean H(alpha) across heads and layers), a natural baseline we include for completeness, shows the same confound. The confound stems from attention's Theta(log T) dependence on input length. To identify genuine OOD signals after deconfounding, we propose a two-pathway framework: embeddings capture what text is about (effective for topic shifts), while the processing trajectory -- hidden-state evolution across layers -- captures how the model processes input. The relative power of each pathway varies along a vocabulary-transparency spectrum: embedding methods excel on vocabulary-distinctive OOD, while trajectory features detect covert-intent inputs that share vocabulary with normal text (0.721 avg AUROC; Jailbreak: 0.850). Three evidence lines support this framework: (1) a crossover between k-NN and trajectory scoring across 6 tasks, where each pathway wins on different OOD types; (2) a per-layer analysis showing that layer-0 k-NN signal is almost entirely a length artifact (Jailbreak: 0.759 raw -> 0.389 matched) -- processing constructs genuine OOD signal from near-chance embeddings; and (3) circuit attribution showing adversarial tasks engage attention circuits more than semantic tasks (p = 0.022; Jailbreak patching p < 0.001), with partial cross-model replication. Code release upon publication.
• Abstract（参考訳）: CED, RAUQ, WildGuardの信頼度スコアを含む最近のLCMのホワイトボックスOOD検出法は有効であるが, 配列長 (|r| >= 0.61) で構造的に整合し, ほぼ整合性に崩壊していることを示す。 生の注意エントロピー(すなわち頭と層をまたいだH(アルファ))でさえ、完全性のために含む自然なベースラインは、同じ矛盾を示す。 この欠点は、注意のtheta(log T) が入力長に依存することに由来する。 埋め込みはテキストをキャプチャし(トピックシフトに有効)、処理の軌跡 -- レイヤ間の隠れ状態の進化 -- はモデルがどのように入力を処理しているかをキャプチャします。 各経路の相対的な力は、語彙-透過スペクトルに沿って変化し、埋め込み法は語彙-識別性OODに優れ、軌跡的特徴は語彙と通常のテキスト(0.721 avg AUROC; Jailbreak:0.850)を共有する隠蔽入力を検出する。 1つのエビデンスラインは、(1)k-NNと6つのタスクでスコアリングされる軌道の交叉、(2) 各経路が異なるOODタイプで勝利する、(2)レイヤ0のk-NN信号がほぼ完全に長さのアーティファクト(Jailbreak: 0.759 raw -> 0.389 matched)であることを示す層毎の分析、(3) 対向的なタスクを示す回路属性は、セマンティックタスク以上の注意回路(p = 0.022; Jailbreak patching p < 0.001)を、部分的なクロスモデルレプリケーションで処理する。 公開後、コード公開。

関連論文リスト

• How Code Representation Shapes False-Positive Dynamics in Cross-Language LLM Vulnerability Detection [8.360057179027322]
  言語間の脆弱性検出において、コード表現形式がどのように偽陽性行動を形成するかは、まだ理解されていない。 学習時間と推論時間の両方で、原文と刈り取られた抽象構文木を比較し、学習強度とコード表現形式を体系的に変化させる。 言語間のFPRは、トレーニング時間と推論時間の両方の表現の合同効果を反映している。
  論文  参考訳（メタデータ） (2026-04-30T11:01:03Z)
• Moment and Highlight Detection via MLLM Frame Segmentation [3.7199696376626457]
  本稿では,自然言語クエリから映像のモーメントとハイライトを検出する新しい手法を提案する。 提案手法は,モーメント検索のためのベースライン(35.28MAP)の上にスコアを付ける。
  論文  参考訳（メタデータ） (2025-12-13T09:11:59Z)
• Human Texts Are Outliers: Detecting LLM-generated Texts via Out-of-distribution Detection [71.59834293521074]
  我々は,人間によるテキストと機械によるテキストを区別する枠組みを開発した。 提案手法は,DeepFakeデータセット上で98.3%のAUROCとAUPRを8.9%のFPR95で達成する。 コード、事前トレーニングされたウェイト、デモがリリースされる。
  論文  参考訳（メタデータ） (2025-10-07T08:14:45Z)
• Theoretically Achieving Continuous Representation of Oriented Bounding Boxes [64.15627958879053]
  本論文は,オブジェクト指向境界ボックス表現における不連続性を完全に解決しようとする試みである。 本研究では,既存の検出器に容易に統合可能なCOBB(Continuous OBB)という新しい表現法を提案する。 OOD評価のためのオープンソースのディープラーニングフレームワークJittorの検出ツールボックスJDetをベースとした,モジュール化されたベンチマークを開発した。
  論文  参考訳（メタデータ） (2024-02-29T09:27:40Z)
• Semi-DETR: Semi-Supervised Object Detection with Detection Transformers [105.45018934087076]
  半教師付き物体検出(SSOD)におけるDETRに基づくフレームワークの解析 本報告では,第1次変圧器を用いたエンド・ツー・エンド半教師対象検出器であるSemi-DETRについて述べる。 我々の手法は、最先端の手法をクリアマージンで上回る。
  論文  参考訳（メタデータ） (2023-07-16T16:32:14Z)
• Breaking Down Out-of-Distribution Detection: Many Methods Based on OOD Training Data Estimate a Combination of the Same Core Quantities [104.02531442035483]
  本研究の目的は,OOD検出手法の暗黙的なスコアリング機能を識別すると同時に,共通の目的を認識することである。 内分布と外分布の2値差はOOD検出問題のいくつかの異なる定式化と等価であることを示す。 また, 外乱露光で使用される信頼損失は, 理論上最適のスコアリング関数と非自明な方法で異なる暗黙的なスコアリング関数を持つことを示した。
  論文  参考訳（メタデータ） (2022-06-20T16:32:49Z)
• Full-Spectrum Out-of-Distribution Detection [42.98617540431124]
  両シフトタイプを考慮し、フルスペクトルOOD(FS-OOD)検出を導入する。 本稿では,単純な特徴に基づくセマンティックススコア関数であるSEMを提案する。 SEMは現在の最先端の手法を大きく上回っている。
  論文  参考訳（メタデータ） (2022-04-11T17:59:14Z)
• Triggering Failures: Out-Of-Distribution detection by learning from local adversarial attacks in Semantic Segmentation [76.2621758731288]
  セグメンテーションにおけるアウト・オブ・ディストリビューション(OOD)オブジェクトの検出に取り組む。 私たちの主な貢献は、ObsNetと呼ばれる新しいOOD検出アーキテクチャであり、ローカル・アタック(LAA)に基づく専用トレーニングスキームと関連付けられています。 3つの異なるデータセットの文献の最近の10つの手法と比較して,速度と精度の両面で最高の性能が得られることを示す。
  論文  参考訳（メタデータ） (2021-08-03T17:09:56Z)
• Probabilistic Trust Intervals for Out of Distribution Detection [8.35564578781252]
  本稿では,従来のパラメータを変更することなく,事前学習ネットワークにおけるOOD検出を向上する手法を提案する。 提案手法は,各ネットワーク重みに対する確率的信頼区間を定義し,分布内データを用いて決定する。 我々は,MNIST,Fashion-MNIST,CIFAR-10,CIFAR-100,CIFAR-10-Cについて検討した。
  論文  参考訳（メタデータ） (2021-02-02T06:23:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。