論文の概要: Directional Contextual Representations for Dependency Relations: Why Cross-Direction Pairing Fails
- arxiv url: http://arxiv.org/abs/2608.20647v1
- Date: Fri, 21 Aug 2026 00:50:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-24 14:49:32.310998
- Title: Directional Contextual Representations for Dependency Relations: Why Cross-Direction Pairing Fails
- Title（参考訳）: 係り受け関係における方向的文脈表現--なぜ方向的ペアリングが失敗するのか
- Abstract要約: トークンの前方状態とエンファンシデントの後方状態(クロス・ディレクションのペアリング,$F_i$ vs. $B_j$)とのペアリングが一貫して同一方向ペアリングを行い,ペナルティ・アンファングロウは縮小せず,トークン距離が有意であることを示す。
- 参考スコア（独自算出の注目度）: 22.49571926071395
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Splitting a bidirectional LSTM's contextual representation into a forward-only $F_i$ (strictly a function of tokens $1..i$) and a backward-only $B_i$ (strictly a function of tokens $i..n$) beats either alone and beats a fused self-attention representation for dependency relation-type classification. But a specific, natural extension of this idea -- pairing a token's forward state against a \emph{candidate}'s backward state (``cross-direction'' pairing, $F_i$ vs.\ $B_j$) -- consistently \emph{underperforms} same-direction pairing, and the penalty \emph{grows}, not shrinks, with token distance, both paired-bootstrap significant. We diagnose why using a frozen-trunk methodology: architectural information leakage between directions is impossible by construction (a single-layer BiLSTM, verified by code inspection); 93\% of the same-vs-cross gap survives freezing the trunk and training only fresh heads, ruling out training-co-adaptation as the primary cause; linear regression shows partial representational redundancy between $F_i$ and $B_i$ ($R^2{=}0.324$ vs.\ $0.028$ for a shuffled control) and a linear probe shows partial anticipatory encoding of upcoming tokens in $F_i$ (36.5\% vs.\ 17.2\% majority baseline) -- real effects, but neither alone, nor combined, cleanly explains the full gap. Extended frozen-trunk diagnostics (a positional probe and a distance-decay probe) show directional information is genuinely stored but not exactly positioned, and propagates only a few tokens before decaying to baseline -- consistent with, and mechanistically underneath, the distance-growth finding.
- Abstract（参考訳）: 双方向LSTMの文脈表現を前方のみの$F_i$(厳密にはトークンの関数)と後方のみの$B_i$(厳密にはトークンの関数$i.n$)に分割し、依存関係型分類のための融合した自己注意表現を破る。
しかし、このアイデアの特定の自然な拡張 -- トークンの前方状態と \emph{candidate} の後方状態(``cross-direction'' ペアリング、$F_i$ vs.)とをペアリングする。
B_j$) -- consistent \emph{underperforms} same-direction pairing, and the penalty \emph{grows}, not shrinks with token distance, both paired-bootstrap significant。
構築によって方向間のアーキテクチャ情報漏洩は不可能である(コード検査によって検証されたシングルレイヤのBiLSTM)。同じvs-クロスギャップの93%は、トランクを凍結し、新鮮なヘッドのみをトレーニングし、トレーニングコ適応を主要な原因として除外する; 線形回帰は、$F_i$と$B_i$$$$R^2{=}0.324$ vs.
\$0.028$ for a shuffled control), and a linear probe shows partial precipatory encoding of upcoming tokens in $F_i$ (36.5\% vs.)。
17.2\%のベースライン) -- 実効性はあるが、単独でも、組み合わせでも、完全なギャップをきれいに説明できない。
拡張凍結トランク診断(位置測定器と距離デカイプローブ)は、方向情報が真に保存されているが正確に位置決めされていないことを示し、基準線に崩壊する前に数個のトークンしか伝播しない。
関連論文リスト
- Sharp Minimax Regret for Infinite-Memory Logistic Prediction [55.29259818039367]
Lag $j$はスケール$r_j$の予測に影響を与え、$n_T,j=T-j+1$の予測ラウンドに入る。
すべての要約可能なエンベロープに対して、局所化された混合は$cR_T(r)leq C_T(r)$を証明する。
指数関数やエンベロープの場合、有限サンプル条件の下では、トープリッツ・デサインの逆は$cR_T(r)geq c_T(r)$である。
論文 参考訳（メタデータ） (2026-08-27T01:31:46Z) - Concurrent Image Understanding and Generation: Self-Correcting Coupled Markov Jump Processes [70.61868608402723]
我々は$textbfSelf-Correcting Coupled Markov Jump Processes (SC-CMJP)を紹介する。
SC-CMJPと組み合わせて、共同マルチモーダルジェネレーションのための新しいトレーニングフリーシングルパスサンプリングであるtextttCO_texttt2textttJump$を紹介する。
トレーニングと評価のために,我々は3つの大規模ジョイントマルチモーダル生成コーパスを作成し,リリースする。
論文 参考訳（メタデータ） (2026-07-14T18:39:29Z) - Fuzzy PSI from Symmetric Primitives with Exact Logarithmic Dependence on Distance Threshold [14.99063187700722]
我々は、Otlivious Transfer (OT) と対称キープリミティブから完全に構築された$L_pin[1,infty]$距離のための新しいFPSIプロトコルを提案する。
当社のプロトコルは、実行時に最大43.7タイム、通信時に311.3タイム、従来の最先端よりも優れています。
論文 参考訳（メタデータ） (2026-06-13T03:59:35Z) - Isolating LLM Alignment from Regex: Zero Coverage and Metric-Dependent Divergence Under Adversarial Mutation [51.56484100374058]
以前の作業では、アクティブフィルタの背後にライブのGeminiバックエンドを追加することで、測定可能なカバレッジが得られなかった。
L_4$-real(Gemini-2.5-flash, token-budget cap, rate limit, output scrub)と同様の$L_5$-no-regexを導入するが、9パターンフィルタは無効である。
3つのサブ言語にまたがる敵対的プローブに対して評価を行った。
論文 参考訳（メタデータ） (2026-06-12T18:54:24Z) - Subspace-Aware Sparse Autoencoders for Effective Mechanistic Interpretability [11.543771846135021]
スパースオートエンコーダ(SAE)は、大規模言語モデルにおける機械的解釈可能性に広く用いられている。
この仮定はモデル特徴の多次元構造と一致しないことを示す。
本稿では,単一ベクトルデコーダを学習したデコーダサブスペースに置き換えるSubspace-Aware Sparse Autoencoders (SASA)を紹介する。
論文 参考訳（メタデータ） (2026-06-04T16:08:25Z) - AAC: Admissible-by-Architecture Differentiable Landmark Compression for ALT [1.2891210250935148]
AAC は ALT (A*, Landmarks, Triangle) のショートパスのための差別化可能なランドマーク選択モジュールである。
これは古典的な探索における圧縮時適応の伝統の最初の微分可能な例である。
論文 参考訳（メタデータ） (2026-04-22T16:31:21Z) - Reliable Abstention under Adversarial Injections: Tight Lower Bounds and New Upper Bounds [16.636823007179082]
我々は, [Goel et al. 2017] が導入した対戦型インジェクションモデルを用いてオンライン学習を研究する。
一致する$(sqrtT)$ down bound for VC dimension $1$を証明し、2つの情報体制の鮮明な分離を確立します。
敵の汚染に対する耐性が保たれていることを予測するためのラベル付きサンプルの小さなサブセットである、インプロバストな目撃者によって駆動される潜在的基盤フレームワークを導入する。
論文 参考訳（メタデータ） (2026-02-23T18:30:48Z) - Attention with Trained Embeddings Provably Selects Important Tokens [73.77633297039097]
トーケン埋め込みは言語モデリングにおいて重要な役割を担っているが、この実践的関連性にもかかわらず、理論的な理解は限られている。
本論文は,勾配降下法により得られた埋め込み構造を特徴付けることにより,そのギャップを解消する。
実世界のデータセット(IMDB、Yelp)の実験では、我々の理論が明らかにしたものに近い現象が示されている。
論文 参考訳（メタデータ） (2025-05-22T21:00:09Z) - Improved Algorithm for Adversarial Linear Mixture MDPs with Bandit
Feedback and Unknown Transition [71.33787410075577]
線形関数近似,未知遷移,および逆損失を用いた強化学習について検討した。
我々は高い確率で$widetildeO(dsqrtHS3K + sqrtHSAK)$ regretを実現する新しいアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-03-07T15:03:50Z) - Nearly Horizon-Free Offline Reinforcement Learning [97.36751930393245]
S$状態、$A$アクション、計画的地平$H$で、エピソードな時間同質なMarkov決定プロセスに関するオフライン強化学習を再考する。
経験的MDPを用いた評価と計画のための,約$H$自由なサンプル複雑性境界の最初の集合を得る。
論文 参考訳（メタデータ） (2021-03-25T18:52:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。