論文の概要: Do Knowledge and Reasoning Oriented Benchmarks Induce Stable Representation Signatures in LLMs?

• arxiv url: http://arxiv.org/abs/2610.24029v1
• Date: Fri, 16 Oct 2026 07:14:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-26 11:33:51.072997
• Title: Do Knowledge and Reasoning Oriented Benchmarks Induce Stable Representation Signatures in LLMs?
• Title（参考訳）: LLMの安定表現シグナチャを誘導する知識と推論型ベンチマーク
• Abstract要約: 内部シグネチャは、モニタリング、適応計算、メカニスティック解析をサポートすることができる。 既定知識/推論ラベルが,現代7Bから31Bモデルで再利用可能な内部シグネチャを定義するかどうかを検証した。
• 参考スコア（独自算出の注目度）: 2.679486067838086
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Internal signatures could support monitoring, adaptive computation, and mechanistic analysis, but benchmark prompts can be separable without any shared computational distinction. We test whether a prespecified knowledge/reasoning label defines a reusable internal signature in five contemporary 7B to 31B models. We treat the \textbf{task} as the unit of inference probes hold out complete tasks, labels are permuted across tasks, and the best layer and stream are reselected for every permutation. Raw probes recover an eight-versus-eight-subject MMLU partition in all five models (macro-F1 $0.78$--$0.81$), but prompt text predicts it nearly as well: under an identical probe configuration, the activation advantage is only $0.017$--$0.070$ macro-F1 and is not significant. At the prespecified $0.01$ level, lexical adjustment removes significance while the adjusted states still identify individual subjects, and the selected site changes across task panels and selection rules. Additionally, two released base-training trajectories show no common direction. These pooled layerwise measures recover the task label but identify no transferable knowledge/reasoning signature at the tested sensitivity, which cannot exclude moderate effects. The resulting protocol gives future internal monitors and intervention studies a sequence of tests to pass. Project page: \url{https://parsa-ra.github.io/lmbehave/}.
• Abstract（参考訳）: 内部シグネチャは監視、適応計算、機械解析をサポートするが、ベンチマークプロンプトは共有計算の区別なしに分離可能である。 既定知識/推論ラベルが,現代7Bから31Bモデルで再利用可能な内部シグネチャを定義するかどうかを検証した。 推論プローブの単位として \textbf{task} を扱い、完全なタスクを持ち、ラベルはタスク間で置換され、最適な層とストリームは各置換に対して再選択される。 ロープローブは、全5モデル(macro-F1 $0.78$-$0.81$)で8対8オブジェクトのMMLUパーティションを復元するが、プロンプトテキストは、ほぼ同じプローブ構成で、アクティベーションの利点は0.017$--$0.070$ macro-F1であり、重要ではない。 予め規定された0.01$レベルでは、調整された状態が個々の対象を特定し、選択されたサイトがタスクパネルや選択ルールにまたがって変化する間、語彙調整は重要性を除去する。 さらに、放出された2つのベーストレーニング軌道は共通の方向を示さない。 これらのプールされたレイヤワイド測定はタスクラベルを回復するが、テストされた感度で伝達可能な知識/推論シグネチャを特定できないため、適度な効果は排除できない。 結果として得られたプロトコルにより、将来の内部モニターと介入は、通過する一連のテストを研究することができる。 プロジェクトページ: \url{https://parsa-ra.github.io/lmbehave/}。

関連論文リスト

• How Do Linear Probes Emerge? A Circuit-Tracing Framework with Concept-Targeted Attribution [49.01642339390897]
  CTA(Concept-Targeted Attribution)は、線形プローブ方向に関する属性グラフを訓練する。 CTAは、なぜ内部概念表現がプロンプトに現れるのかを説明するプローブ固有の回路を生成する。
  論文  参考訳（メタデータ） (2026-08-27T08:12:49Z)
• When Verifiers Vote Backwards under Verdict Substitution: Signed Pivotal Value in Correlated Self-Consistency [9.710464466895521]
  1回の投票で決定されるクエリのみ 多数決を変更できる。 ラベル付き検証スタイルの介入を用いて,その変化の兆候について検討する。
  論文  参考訳（メタデータ） (2026-08-08T05:02:34Z)
• Discrete Diffusion Language Models Are Training-Free Multi-Label Classifiers [1.3406606730449597]
  マルチラベルテキスト分類のための個別マスク付き拡散言語モデルを用いた訓練不要なdLLM-SetScoreを提案する。 各候補ラベルについて、短いイエス/ノー質問を行い、2つの回答トークンの確率を1つのマスクされた位置で比較する。
  論文  参考訳（メタデータ） (2026-07-30T15:21:02Z)
• Beyond Accuracy: Measuring Bias Acknowledgment in Chain-of-Thought Reasoning for Responsible AI Evaluation [25.235899757379844]
  2つの応答は同じ最終回答スコアを受信できるが、トレースが明示的にバイアスコンテンツを注入するかどうかが異なる。 本稿では,2つの軸を持つ最小限のトレースレベル診断法について紹介する: バイアスが以前に正しい答えを破るかどうか) と強調(トレースが注入されたコンテンツに対するルーリック定義の表面参照を含むかどうか)である。
  論文  参考訳（メタデータ） (2026-06-13T05:41:57Z)
• Correction and Corruption: A Two-Rate View of Error Flow in LLM Protocols [51.56484100374058]
  そこで本研究では,単一プロトコルステップを正確なマッチングタスクで監査するためのペアアウトカム計測インタフェースを提案する。 各インスタンスについて、インターフェースはベースラインの正当性ビットと後ステップの正当性ビットを記録する。 これらのレートは精度の変化を予測し、種、混合物、パイプライン間でテスト可能な再利用可能な経験的インターフェースを定義する。
  論文  参考訳（メタデータ） (2026-04-20T13:25:40Z)
• Learning Accurate Segmentation Purely from Self-Supervision [87.78965637247107]
  Selfmentは完全に自己管理型のフレームワークで、人間のラベルなしでオブジェクトを生画像から直接分割する。 Selfmentは、複数のベンチマークで新しい最先端(SoTA)結果を設定する。
  論文  参考訳（メタデータ） (2026-02-27T07:36:32Z)
• Ambiguity-Resistant Semi-Supervised Learning for Dense Object Detection [98.66771688028426]
  本研究では,一段階検出器のためのAmbiguity-Resistant Semi-supervised Learning (ARSL)を提案する。 擬似ラベルの分類とローカライズ品質を定量化するために,JCE(Joint-Confidence Estimation)を提案する。 ARSLは、曖昧さを効果的に軽減し、MS COCOおよびPASCALVOC上で最先端のSSOD性能を達成する。
  論文  参考訳（メタデータ） (2023-03-27T07:46:58Z)
• Coping with Label Shift via Distributionally Robust Optimisation [72.80971421083937]
  分散ロバスト最適化(DRO)に基づく目的最小化モデルを提案する。 そこで我々は,提案した目的を最適化するために,大規模問題に適した勾配降下近位ミラー上昇アルゴリズムを設計し,解析する。
  論文  参考訳（メタデータ） (2020-10-23T08:33:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。