論文の概要: Beyond Decodability: Reconstructing Language Model Representations with an Encoding Probe

• arxiv url: http://arxiv.org/abs/2605.00607v1
• Date: Fri, 01 May 2026 12:19:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-04 17:43:28.945633
• Title: Beyond Decodability: Reconstructing Language Model Representations with an Encoding Probe
• Title（参考訳）: 可逆性を超えて: エンコードプローブで言語モデルの表現を再構築する
• Authors: Gaofei Shen, Martijn Bentum, Tom Lentz, Afra Alishahi, Grzegorz Chrupała,
• Abstract要約: 探索は言語モデル表現からどの機能をデコードできるかを研究するために広く使われている。 を提示する。 この方向を逆転し 内部を再構築するプローブ。 解釈可能な特徴を用いた表現。
• 参考スコア（独自算出の注目度）: 4.988105208908174
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Probing is widely used to study which features can be decoded from language model representations. However, the common decoding probe approach has two limitations that we aim to solve with our new encoding probe approach: contributions of different features to model representations cannot be directly compared, and feature correlations can affect probing results. We present an Encoding Probe that reverses this direction and reconstructs internal representations of models using interpretable features. We evaluate this method on text and speech transformer models, using feature sets spanning acoustics, phonetics, syntax, lexicon, and speaker identity. Our results suggest that speaker-related effects vary strongly across different training objectives and datasets, while syntactic and lexical features contribute independently to reconstruction. These results show that the Encoding Probe provides a complementary perspective on interpreting model representations beyond decodability.
• Abstract（参考訳）: 探索は言語モデル表現からどの機能をデコードできるかを研究するために広く使われている。 しかし、一般的な復号プローブアプローチでは、モデル表現に対する異なる特徴の寄与を直接比較することはできず、特徴相関が探索結果に影響を与えるという2つの制限がある。 本稿では,この方向を逆転させ,解釈可能な特徴を用いたモデルの内部表現を再構成するエンコードプローブを提案する。 本手法は,音声,音声,構文,語彙,話者識別といった特徴セットを用いて,テキストおよび音声トランスフォーマーモデルを用いて評価する。 その結果,話者関連効果は訓練対象やデータセットによって大きく異なるが,構文的・語彙的特徴は再建に独立して寄与することが示唆された。 これらの結果から、エンコーディングプローブは、デオーダビリティ以上のモデル表現を解釈するための補完的な視点を提供することが示された。

関連論文リスト

• LatentQA: Teaching LLMs to Decode Activations Into Natural Language [72.87064562349742]
  自然言語におけるモデルアクティベーションに関するオープンな疑問に答えるタスクであるLatentQAを紹介する。 本稿では,アクティベーションと関連する質問応答ペアのデータセット上で,デコーダLLMを微調整するLatent Interpretation Tuning (LIT)を提案する。 我々のデコーダはまた、ステレオタイプ付き文のモデルのデバイアス化や世代ごとの感情制御など、モデルを制御するために使用する差別化可能な損失も規定している。
  論文  参考訳（メタデータ） (2024-12-11T18:59:33Z)
• A Quantitative Approach to Understand Self-Supervised Models as Cross-lingual Feature Extractors [9.279391026742658]
  特徴抽出器としてのモデルの性能に及ぼすモデルサイズ,トレーニング目標,モデルアーキテクチャの影響を解析する。 我々は,抽出した表現の音声情報と合成情報を測定するために,音声合成比(PSR)という新しい尺度を開発した。
  論文  参考訳（メタデータ） (2023-11-27T15:58:28Z)
• Learning Disentangled Speech Representations [0.412484724941528]
  SynSpeechは、非絡み合った音声表現の研究を可能にするために設計された、新しい大規模合成音声データセットである。 本稿では, 線形探索と教師付きアンタングル化指標を併用して, アンタングル化表現学習手法を評価する枠組みを提案する。 SynSpeechは、さまざまな要因のベンチマークを促進し、ジェンダーや話し方のようなより単純な機能の切り離しを期待できると同時に、話者アイデンティティのような複雑な属性を分離する際の課題を強調します。
  論文  参考訳（メタデータ） (2023-11-04T04:54:17Z)
• RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
  RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。 フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。 本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
  論文  参考訳（メタデータ） (2023-08-15T17:59:18Z)
• Minimally-Supervised Speech Synthesis with Conditional Diffusion Model and Language Model: A Comparative Study of Semantic Coding [57.42429912884543]
  Diff-LM-Speech, Tetra-Diff-Speech, Tri-Diff-Speechを提案する。 また,変分オートエンコーダと韻律ボトルネックに基づくプロンプトエンコーダ構造を導入し,プロンプト表現能力の向上を図る。 実験の結果,提案手法はベースライン法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-28T11:20:23Z)
• When Does Syntax Mediate Neural Language Model Performance? Evidence from Dropout Probes [27.70448935595472]
  モデルでは, 合成情報を冗長に符号化し, 埋め込みに存在するすべての構文情報を考えるために, プローブをガイドする新しいプローブ設計を導入する。 従来の手法ではそうでなかったモデルにおける構文の使用の証拠を見つけ,構文情報を表現に注入することでモデル性能を向上させることができる。
  論文  参考訳（メタデータ） (2022-04-20T18:09:36Z)
• A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
  固有プローブ構築のための新しい潜在変数定式化を提案する。 我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
  論文  参考訳（メタデータ） (2022-01-20T15:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。