論文の概要: On the Role of Directionality in Structural Generalization
- arxiv url: http://arxiv.org/abs/2607.02307v1
- Date: Thu, 02 Jul 2026 15:20:51 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.901145
- Title: On the Role of Directionality in Structural Generalization
- Title（参考訳）: 構造一般化における方向性の役割について
- Abstract要約: いくつかのSLOGテストは、方向の区別(修飾子の位置シフト、引数抽出位置)を明示的に含むが、以前のSOTAでは、操作が方向を符号化しないAM代数を使用する。
CCG指向型(決定論的CKY + 1つの線形デコーダ、30Kの学習可能なパラメータ)を取り巻くシンボリックバックエンドを再設計する。
同じBERTベースのエンコーダの下で、システムは75.9$pm$の正確なマッチを達成し、AM-6.4%(70.8$pm$4.3%)を超えた。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Several SLOG test categories explicitly involve directional distinctions (modifier position shifts, argument extraction positions), yet AM-Parser, the previous SOTA, uses an AM algebra whose operations do not encode direction. We redesign the symbolic backend around CCG directed types (deterministic CKY + single linear decoder, 30K learnable parameters). Under the same BERT-base encoder, the system achieves 75.9$\pm$6.4% LF exact match, surpassing AM-Parser (70.8$\pm$4.3%). Per SLOG's own category groupings, gains are highly directional: the CCG system outperforms AM-Parser on all 5 position-shift categories (+29.9pp), while AM-Parser outperforms on all 6 recursive-depth categories. Replacing the encoder with DeBERTa-v3-large yields 90.7$\pm$4.9%, with the largest encoder gains in recursive-depth categories, complementary to directionality's gains. Directional representations shift the bottleneck from the symbolic layer (AM-Parser's 0% category ceiling) to the neural layer, which improves with encoder upgrades.
- Abstract（参考訳）: いくつかのSLOGテストカテゴリは、方向の区別(修飾子の位置シフト、引数抽出位置)を明示的に含むが、以前のSOTAであるAM-Parserは、方向を符号化しないAM代数を使用する。
CCG指向型(決定論的CKY + 1つの線形デコーダ、30Kの学習可能なパラメータ)に関するシンボリックバックエンドを再設計する。
同じBERTベースのエンコーダの下で、システムは75.9$\pm$6.4%LFの正確なマッチを達成し、AM-Parser (70.8$\pm$4.3%)を上回った。
CCGシステムは5つの位置シフトカテゴリー(+29.9pp)でAM-Parserを上回り、AM-Parserは6つの再帰的深度カテゴリで上回る。
エンコーダを DeBERTa-v3-large に置き換えると90.7$\pm$4.9% となる。
方向性表現は、ボトルネックをシンボリック層(AM-Parserの0%のカテゴリ天井)からニューラル層にシフトし、エンコーダのアップグレードで改善する。
関連論文リスト
- Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。
反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
論文 参考訳（メタデータ） (2026-09-02T08:10:22Z) - On the Design of Qwen3.8-Next Architecture: Evaluation, Efficiency, and Training Stability [57.03393882933515]
Qwen3.8-Flash-Nextは125Bパラメータ、トークンあたり6Bアクティベートされ、加速器から保持されるn-gram埋め込みテーブルの51Bパラメータを持つスパースミックス・オブ・エキスパートモデルである。
トレーニング前の14のベンチマークでは、このモデルは前モデルの397B-A17Bを8点、残りを少なくとも2.6ポイント、アクティベートされたパラメータが1/3、トレーニングトークンが1/3、トレーニング用FLOPが1/9であった。
論文 参考訳（メタデータ） (2026-08-31T06:35:07Z) - Ripple-Pivot Search: Active Parallel Decoding for Diffusion Large Language Models [66.32132912853372]
Diffusion Large Language Models (dLLMs) は自己回帰型言語モデルの競合代替として登場した。
本研究では,中間エントロピー位置を有望な候補ピボットとして求める訓練自由復号法であるRipple-Pivot Search (RPS)を提案する。
RPSは、生成品質を維持しながら標準デコーダの4-10$times$wall-clockスピードアップを実現し、以前のルックアヘッドベースラインの精度を最大5.49%向上させる。
論文 参考訳（メタデータ） (2026-08-12T07:32:29Z) - Interpretable vs Learned Encoders for High-Cardinality Fraud Detection [13.336940892368077]
IEEE-CIS不正ベンチマークデータセットを用いて,合計7つの分類的符号化手法を検証した。
AUC-ROC (0.9612) はCatBoostと統計的に有意な相関を示した。
オフザシェルのTabNetはツリーベースのパイプラインよりも優れておらず、データ不足によって崩壊した。
論文 参考訳（メタデータ） (2026-07-01T05:51:15Z) - ATLAS: Agentic Taxonomy of Large-Scale Software Ecosystems [14.128311996090352]
GitHubには、ソフトウェアリポジトリの体系的な階層的な分類がない。
ソフトウェアリポジトリの階層的な分類を自動的に構築し、プロジェクトをエンドツーエンドに分類する最初のフレームワークであるATLASを紹介します。
論文 参考訳（メタデータ） (2026-06-19T16:51:10Z) - Towards Robust Training in NNGPT AutoML Pipeline: A Loss-Optimizer Pairing Selection Study [48.83701310501069]
本稿では, 一つのレシピがヘテロジニアスなアーキテクチャプールに十分であるか, 最適ペアリングが構造的に多様なモデルによって異なるかを検討する。
我々は,CEL(Cross-Entropy),NLL(Negative Log-Likelihood),および最近導入された遺伝学的に進化したNGL損失を,LEMURヘテロジニアス・アーキテクチャー・プールの6つの画像分類データセット上に提示したベースモデル間で比較検討した。
我々の結果は、単一のペアリングが普遍的に最適でないことを確認した。AdamやAdamWとのクロスエントロピーは、最も堅牢な選択である。
論文 参考訳（メタデータ） (2026-06-18T20:51:42Z) - Delta-Based Neural Architecture Search: LLM Fine-Tuning via Code Diffs [48.83701310501069]
大規模言語モデル(LLM)は、ニューラルアーキテクチャ生成の強力な可能性を示している。
既存のアプローチは、ゼロから完全なモデル実装を生成します。
我々はデルタ符号生成法を提案し、細調整されたLLMはコンパクトな統一差分を生成する。
論文 参考訳（メタデータ） (2026-05-06T13:32:05Z) - Sensitivity-Positional Co-Localization in GQA Transformers [0.0]
グループクエリアテンション変換器における基本構造問題について検討する。
タスクの正確性に最も敏感なレイヤは、位置エンコーディング適応が最大のレバレッジを持つレイヤと一致しているか?
LSLORAは,新しい正当性差分隠れ状態メートル法により同定された層へのLoRA適応を制限し,GARFAは対象層に8個の学習可能なKVヘッドスカラー乗算器を付加する。
論文 参考訳（メタデータ） (2026-04-09T03:41:33Z) - Blurred Encoding for Trajectory Representation Learning [56.642548506419]
トレイ表現学習(TRL)は、軌跡をベクトル埋め込みにマッピングし、軌跡分類や類似性探索などの作業を容易にする。
State-of-the-art (SOTA) TRL法は、生のGPSトラジェクトリをグリッドや道路トラジェクトリに変換し、ハイレベルな旅行セマンティクスをキャプチャする。
しかし、複数のGPSポイントが単一のグリッドセルまたは道路セグメントにグループ化されるため、細かな空間時間的詳細は失われます。
我々は,階層的パッチを作成するためにGPS座標の精度を徐々に低下させるBLUEと呼ばれるBLUrred jector法を提案する。
論文 参考訳（メタデータ） (2025-11-12T03:51:57Z) - EquiBench: Benchmarking Large Language Models' Reasoning about Program Semantics via Equivalence Checking [58.15568681219339]
大規模言語モデル(LLM)を評価するための新しいベンチマークであるEquiBenchを紹介する。
このタスクは、プログラムのセマンティクスについて推論するモデルの能力を直接テストする。
19の最先端LCMを評価し、最も難しいカテゴリでは、最高の精度は63.8%と76.2%であり、50%のランダムベースラインよりわずかに高い。
論文 参考訳（メタデータ） (2025-02-18T02:54:25Z) - SED: A Simple Encoder-Decoder for Open-Vocabulary Semantic Segmentation [91.91385816767057]
オープンボキャブラリセマンティックセグメンテーションは、ピクセルをオープンなカテゴリの集合から異なるセマンティックグループに区別する試みである。
オープン語彙セマンティックセグメンテーションのための単純なエンコーダデコーダSEDを提案する。
SED法では、ADE20KではmIoUスコアが31.6%、A6000では画像あたり82ミリ秒(ms$)のカテゴリが150である。
論文 参考訳（メタデータ） (2023-11-27T05:00:38Z) - Deep Sparse Conformer for Speech Recognition [1.4649095013539173]
コンフォーマーは自動音声認識において印象的な結果を得た。
我々は、時間複雑性とメモリ使用量において$mathcalO(LtextlogL)$でスパース自己保持機構を適用する。
日本のCSJ-500hデータセットでは、この深いスパースコンフォーマーはそれぞれ5.52%、4.03%、および4.50%のCERを達成する。
論文 参考訳（メタデータ） (2022-09-01T06:56:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。