論文の概要: Beyond Decodability: Reconstructing Language Model Representations with an Encoding Probe
- arxiv url: http://arxiv.org/abs/2605.00607v1
- Date: Fri, 01 May 2026 12:19:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-04 17:43:28.945633
- Title: Beyond Decodability: Reconstructing Language Model Representations with an Encoding Probe
- Title（参考訳）: 可逆性を超えて: エンコードプローブで言語モデルの表現を再構築する
- Abstract要約: 探索は言語モデル表現からどの機能をデコードできるかを研究するために広く使われている。
を提示する。
この方向を逆転し 内部を再構築するプローブ。
解釈可能な特徴を用いた表現。
- 参考スコア（独自算出の注目度）: 4.988105208908174
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Probing is widely used to study which features can be decoded from language model representations. However, the common decoding probe approach has two limitations that we aim to solve with our new encoding probe approach: contributions of different features to model representations cannot be directly compared, and feature correlations can affect probing results. We present an Encoding Probe that reverses this direction and reconstructs internal representations of models using interpretable features. We evaluate this method on text and speech transformer models, using feature sets spanning acoustics, phonetics, syntax, lexicon, and speaker identity. Our results suggest that speaker-related effects vary strongly across different training objectives and datasets, while syntactic and lexical features contribute independently to reconstruction. These results show that the Encoding Probe provides a complementary perspective on interpreting model representations beyond decodability.
- Abstract（参考訳）: 探索は言語モデル表現からどの機能をデコードできるかを研究するために広く使われている。
しかし、一般的な復号プローブアプローチでは、モデル表現に対する異なる特徴の寄与を直接比較することはできず、特徴相関が探索結果に影響を与えるという2つの制限がある。
本稿では,この方向を逆転させ,解釈可能な特徴を用いたモデルの内部表現を再構成するエンコードプローブを提案する。
本手法は,音声,音声,構文,語彙,話者識別といった特徴セットを用いて,テキストおよび音声トランスフォーマーモデルを用いて評価する。
その結果,話者関連効果は訓練対象やデータセットによって大きく異なるが,構文的・語彙的特徴は再建に独立して寄与することが示唆された。
これらの結果から、エンコーディングプローブは、デオーダビリティ以上のモデル表現を解釈するための補完的な視点を提供することが示された。
関連論文リスト
- LatentQA: Teaching LLMs to Decode Activations Into Natural Language [72.87064562349742]
自然言語におけるモデルアクティベーションに関するオープンな疑問に答えるタスクであるLatentQAを紹介する。
本稿では,アクティベーションと関連する質問応答ペアのデータセット上で,デコーダLLMを微調整するLatent Interpretation Tuning (LIT)を提案する。
我々のデコーダはまた、ステレオタイプ付き文のモデルのデバイアス化や世代ごとの感情制御など、モデルを制御するために使用する差別化可能な損失も規定している。
論文 参考訳（メタデータ） (2024-12-11T18:59:33Z) - A Practical Method for Generating String Counterfactuals [106.98481791980367]
言語モデル(LM)の表現空間をターゲットとした介入は、モデル行動に影響を与える効果的な手段として現れてきた。
表現反事実を文字列反事実に変換する方法を提案する。
結果として生じるカウンターファクトは、データ拡張による分類のバイアスを軽減するために使用することができる。
論文 参考訳（メタデータ） (2024-02-17T18:12:02Z) - A Quantitative Approach to Understand Self-Supervised Models as
Cross-lingual Feature Extractors [9.279391026742658]
特徴抽出器としてのモデルの性能に及ぼすモデルサイズ,トレーニング目標,モデルアーキテクチャの影響を解析する。
我々は,抽出した表現の音声情報と合成情報を測定するために,音声合成比(PSR)という新しい尺度を開発した。
論文 参考訳（メタデータ） (2023-11-27T15:58:28Z) - Graph-Induced Syntactic-Semantic Spaces in Transformer-Based Variational
AutoEncoders [5.037881619912574]
本稿では,トランスフォーマーを用いたVAEにおける構造構文注入のための潜時空間分離法について検討する。
具体的には、グラフベースおよびシーケンシャルモデルの統合により、符号化段階で構文構造をどのように活用するかを検討する。
我々の経験的評価は、自然言語文と数学的表現に基づいて行われ、提案したエンドツーエンドのVAEアーキテクチャにより、潜在空間の全体構造がより良くなることを示している。
論文 参考訳（メタデータ） (2023-11-14T22:47:23Z) - Learning Disentangled Speech Representations [0.412484724941528]
SynSpeechは、非絡み合った音声表現の研究を可能にするために設計された、新しい大規模合成音声データセットである。
本稿では, 線形探索と教師付きアンタングル化指標を併用して, アンタングル化表現学習手法を評価する枠組みを提案する。
SynSpeechは、さまざまな要因のベンチマークを促進し、ジェンダーや話し方のようなより単純な機能の切り離しを期待できると同時に、話者アイデンティティのような複雑な属性を分離する際の課題を強調します。
論文 参考訳（メタデータ） (2023-11-04T04:54:17Z) - RAVEN: In-Context Learning with Retrieval-Augmented Encoder-Decoder Language Models [57.12888828853409]
RAVENは検索強化されたマスク付き言語モデリングとプレフィックス言語モデリングを組み合わせたモデルである。
フュージョン・イン・コンテキスト・ラーニング(Fusion-in-Context Learning)により、追加のトレーニングを必要とせずに、より多くのコンテキスト内サンプルを利用できる。
本研究は,テキスト内学習のためのエンコーダ・デコーダ言語モデルの構築の可能性を明らかにするものである。
論文 参考訳（メタデータ） (2023-08-15T17:59:18Z) - Minimally-Supervised Speech Synthesis with Conditional Diffusion Model
and Language Model: A Comparative Study of Semantic Coding [57.42429912884543]
Diff-LM-Speech, Tetra-Diff-Speech, Tri-Diff-Speechを提案する。
また,変分オートエンコーダと韻律ボトルネックに基づくプロンプトエンコーダ構造を導入し,プロンプト表現能力の向上を図る。
実験の結果,提案手法はベースライン法よりも優れていた。
論文 参考訳（メタデータ） (2023-07-28T11:20:23Z) - Dynamic Latent Separation for Deep Learning [67.62190501599176]
機械学習の中核的な問題は、複雑なデータに対するモデル予測のための表現力のある潜在変数を学習することである。
本稿では,表現性を向上し,部分的解釈を提供し,特定のアプリケーションに限定されないアプローチを開発する。
論文 参考訳（メタデータ） (2022-10-07T17:56:53Z) - When Does Syntax Mediate Neural Language Model Performance? Evidence
from Dropout Probes [27.70448935595472]
モデルでは, 合成情報を冗長に符号化し, 埋め込みに存在するすべての構文情報を考えるために, プローブをガイドする新しいプローブ設計を導入する。
従来の手法ではそうでなかったモデルにおける構文の使用の証拠を見つけ,構文情報を表現に注入することでモデル性能を向上させることができる。
論文 参考訳（メタデータ） (2022-04-20T18:09:36Z) - A Latent-Variable Model for Intrinsic Probing [93.62808331764072]
固有プローブ構築のための新しい潜在変数定式化を提案する。
我々は、事前訓練された表現が言語間交互に絡み合ったモルフォシンタクスの概念を発達させる経験的証拠を見出した。
論文 参考訳（メタデータ） (2022-01-20T15:01:12Z) - SPLAT: Speech-Language Joint Pre-Training for Spoken Language
Understanding [61.02342238771685]
音声理解には、入力音響信号を解析してその言語内容を理解し、予測するモデルが必要である。
大規模無注釈音声やテキストからリッチな表現を学習するために,様々な事前学習手法が提案されている。
音声と言語モジュールを協調的に事前学習するための,新しい半教師付き学習フレームワークであるSPLATを提案する。
論文 参考訳（メタデータ） (2020-10-05T19:29:49Z) - Contextualized Spoken Word Representations from Convolutional
Autoencoders [2.28438857884398]
本稿では,畳み込み型オートエンコーダに基づくニューラルアーキテクチャを提案し,様々な長さの音声単語の構文的かつ意味論的に適切な文脈化表現をモデル化する。
提案モデルでは,他の2つの言語モデルと比較して頑健性を示すことができた。
論文 参考訳（メタデータ） (2020-07-06T16:48:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。