論文の概要: Relational Attention for Data-Efficient Language Modeling
- arxiv url: http://arxiv.org/abs/2609.20530v1
- Date: Thu, 17 Sep 2026 15:05:19 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:54.332719
- Title: Relational Attention for Data-Efficient Language Modeling
- Title（参考訳）: データ効率の良い言語モデリングのためのリレーショナルアテンション
- Abstract要約: 本稿では,BabyLM 2026チャレンジに応募するシステムであるBabyLMを紹介する。
通常の自己注意変換をデュアルアテンション変換器に置き換える。
私たちのベストモデルは、執筆時点でのリーダーボードのサブセットタスクで、全体55の6位、55の3位にランク付けしています。
- 参考スコア（独自算出の注目度）: 1.197803121152197
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present Relational BabyLM, a system submission to the BabyLM 2026 challenge that combines two cognitively motivated inductive biases in a single decoder-only Transformer. Architecturally, we replace standard self-attention with a Dual Attention Transformer (DAT), which separates the routing of object-level ("sensory") lexical features from structural/relational information (Altabaa and Lafferty, 2025; Altabaa et al., 2024; Webb et al., 2024; Kerg et al., 2022; Webb et al., 2021). Relational attention (RA) disentangled from self-attention greatly increases data efficiency and out-of-training-sample generalization on purely relational tasks, but language modeling requires object-level and relational information to be integrated as well as disentangled, and RA-based LMs have remained largely unexplored. BabyLM's data-constrained training and comprehensive evaluation is an ideal testing ground for whether that data efficiency transfers. As a training intervention, we add a Next-Latent Prediction (NextLat; Teoh et al. 2026) objective that encourages hidden states to compress history incrementally into a dense belief state. Architecture is the dominant factor for structural linguistic generalization; the objective is secondary but still significant. DAT's three relational attention types (full RA vs. the simpler RCA and DisRCA variants) are largely interchangeable at 10M words; full RA pulls ahead at 100M. We also introduce a novel symbol-retrieval mechanism (RoPE-based, as opposed to learned, relative symbols) that matches learned symbol libraries while adding no parameters. On the strict (100M-word) track, our best model ranks 6th of 55 overall and 3rd of 55 on the leaderboard's NLP-task subset at the time of writing; our two strongest models outperform the GPT-2 baseline on most benchmarks, with one attaining the highest EWoK score among strict-track entries.
- Abstract（参考訳）: 本稿では,1つのデコーダのみのトランスフォーマーにおいて,認知に動機づけられた2つの帰納バイアスを組み合わせたBabyLM 2026チャレンジのシステムであるRelational BabyLMを提案する。
アーキテクチャ的には、標準的な自己注意変換をDAT(Dual Attention Transformer)に置き換えます。これは、オブジェクトレベルの(感覚的な)語彙的特徴を構造的/関係的な情報(Altabaa and Lafferty, 2025; Altabaa et al , 2024; Webb et al , 2024; Kerg et al , 2022; Webb et al , 2021; Webb et al , 2021)から切り離すものです。
自己注意から切り離された関係注意(RA)は、純粋にリレーショナルタスクにおけるデータ効率とトレーニング外サンプルの一般化を大幅に向上させるが、言語モデリングにはオブジェクトレベルとリレーショナル情報の統合とアンタングル化が必要であり、RAベースのLMはほとんど探索されていない。
BabyLMのデータ制約付きトレーニングと包括的評価は、データ効率が転送されるかどうかをテストする上で理想的な場所である。
トレーニングの介入として、隠れた状態が密集した信念状態に漸進的に歴史を圧縮することを奨励する次世代予測(NextLat; Teoh et al 2026)の目標を追加します。
アーキテクチャは構造言語一般化の主要な要因であり、目的は二次的であるが、それでも重要なものである。
DATの3つのリレーショナルアテンションタイプ(RA対より単純なRCAとDisRCAの変種)は、大半が1000万ワードで交換可能である。
また,学習したシンボルライブラリにパラメータを追加することなく,学習したシンボルライブラリにマッチする新しいシンボル検索機構(RoPEをベースとした相対記号)を導入する。
厳格な(100Mワード)トラックでは、私たちのベストモデルは、執筆時点でのリーダーボードのNLPタスクサブセットで55の6位、55の3位にランク付けしています。
関連論文リスト
- One Model for All: Universal Pre-training for EEG based Emotion Recognition across Heterogeneous Datasets and Paradigms [9.873322204941394]
One Model for All"は、異なるデータセット間でのEEG分析のための普遍的な事前トレーニングフレームワークである。
我々のフレームワークは、SEED (99.27%)、DEAP (93.69%)、DREAMER (93.93%)という、全てのオブジェクト内ベンチマークで新しいSOTA性能を実現する。
この研究は、多種多様な脳波分析タスクのための、より普遍的でスケーラブルで効果的な事前学習モデルの道を開いた。
論文 参考訳（メタデータ） (2025-11-11T16:46:45Z) - Detect Anything via Next Point Prediction [51.55967987350882]
Rex-Omniは最先端の物体認識性能を実現する3BスケールのMLLMである。
COCOやLVISのようなベンチマークでは、Rex-Omniは回帰ベースのモデルに匹敵するパフォーマンスを得る。
論文 参考訳（メタデータ） (2025-10-14T17:59:54Z) - Large Language Models Imitate Logical Reasoning, but at what Cost? [0.42970700836450487]
本稿では,18カ月間のフロンティア大言語モデルの推論能力を評価する。
我々は,2023年12月,2024年9月,2025年6月の3つの主要モデルの精度を,真偽の質問に対して測定した。
2023年から2024年までのパフォーマンス向上は、シークレットの隠された連鎖によるものである。
論文 参考訳（メタデータ） (2025-09-16T04:03:42Z) - Datarus-R1: An Adaptive Multi-Step Reasoning LLM for Automated Data Analysis [0.0]
本稿では,Qwen 2.5-14B-Instructの言語モデルであるDatarus-R1-14Bを提案する。
Datarusは、独立した問合せペアではなく、推論ステップ、コード実行、エラートレース、自己補正、最終的な結論を含む完全な分析トラジェクトリに基づいて訓練されている。
論文 参考訳（メタデータ） (2025-08-18T21:58:18Z) - Dynamic-SUPERB Phase-2: A Collaboratively Expanding Benchmark for Measuring the Capabilities of Spoken Language Models with 180 Tasks [112.6716697906318]
命令ベースユニバーサル音声モデルの包括的評価のためのオープンベンチマークであるDynamic-SUPERB Phase-2を提案する。
第1世代をベースとして、この第2バージョンには125の新しいタスクが含まれており、ベンチマークを合計180タスクに拡張している。
評価結果から, モデルが良好に機能することのないことが示唆された。
論文 参考訳（メタデータ） (2024-11-08T06:33:22Z) - Lory: Fully Differentiable Mixture-of-Experts for Autoregressive Language Model Pre-training [73.90260246781435]
私たちは、このようなアーキテクチャを自動回帰言語モデルに拡張する最初のアプローチであるLoryを紹介します。
パラメータマッチングされた高密度モデルよりも、多種多様な下流タスクにおいて顕著な性能向上を示す。
セグメントレベルのルーティングにもかかわらず、Loryモデルはトークンレベルのルーティングを備えた最先端のMoEモデルと比較して、競合的なパフォーマンスを実現している。
論文 参考訳（メタデータ） (2024-05-06T03:06:33Z) - Mao-Zedong At SemEval-2023 Task 4: Label Represention Multi-Head
Attention Model With Contrastive Learning-Enhanced Nearest Neighbor Mechanism
For Multi-Label Text Classification [0.0]
SemEval 2023 Task 4citekiesel:2023は、引数のセットと、各引数に暗黙的に表現される20種類の人間の値を提供する。
特定のラベルとセマンティックコンポーネント間の接続を確立するためのマルチヘッドアテンション機構を提案する。
テストセットではF1スコアが0.533で,リーダボードでは4位にランクインした。
論文 参考訳（メタデータ） (2023-07-11T11:12:06Z) - Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。
本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。
また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文 参考訳（メタデータ） (2022-05-10T19:32:20Z) - The USYD-JD Speech Translation System for IWSLT 2021 [85.64797317290349]
本稿では,シドニー大学とJDが共同でIWSLT 2021低リソース音声翻訳タスクを提出したことを述べる。
私たちは、公式に提供されたASRとMTデータセットでモデルをトレーニングしました。
翻訳性能の向上を目的として, バック翻訳, 知識蒸留, 多機能再構成, トランスダクティブファインタニングなど, 最新の効果的な手法について検討した。
論文 参考訳（メタデータ） (2021-07-24T09:53:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。