論文の概要: Causally Evaluating the Learnability of Formal Language Tasks
- arxiv url: http://arxiv.org/abs/2606.09822v1
- Date: Mon, 08 Jun 2026 17:58:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-09 14:42:07.687762
- Title: Causally Evaluating the Learnability of Formal Language Tasks
- Title（参考訳）: 形式的言語課題の学習可能性の評価
- Authors: Vésteinn Snæbjarnarson, Anej Svete, Josef Valvoda, Reda Boumasmoud, Brian DuSell, Ryan Cotterell,
- Abstract要約: データ周波数と学習可能性の関係を精査する。
特定のサブタスクの学習可能性を測定するために、Kullback-Leibler分散メトリクスを導出する。
実験の結果,因果介入を伴わない学習性の評価は誤結論につながることがわかった。
- 参考スコア（独自算出の注目度）: 59.73001113068827
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Language models, as multi-task learners, acquire a wide range of abilities during training. A fundamental question is how much task-specific data is needed to learn a given task. Answering this for natural language is difficult: tasks are hard to delineate and can confound one another. To rigorously investigate the relationship between data frequency and learnability, we turn to a controlled setting using formal languages induced from probabilistic finite automata. These serve as a methodological testbed to demonstrate that standard correlational evaluation practices are inherently flawed. To enable causal analysis, we introduce the binning semiring, an algebraic object that lets us control how often a targeted property occurs in a sampled corpus. We formulate the experimental pipeline as a causal graphical model and derive decomposed Kullback-Leibler divergence metrics to measure the learnability of specific sub-tasks. Our experiments show that evaluating learnability without causal intervention leads to incorrect conclusions due to confounders in correlational analysis, and serve as a warning about correlational pitfalls in natural-language settings.
- Abstract（参考訳）: マルチタスク学習者としての言語モデルは、訓練中に幅広い能力を得る。
根本的な疑問は、与えられたタスクを学習するために、どの程度のタスク固有のデータが必要とされるかである。
自然言語に対する回答は難しい – タスクのデライン化が難しく,相互にコンファウンドすることも可能だ。
データ周波数と学習可能性の関係を厳密に検討するために,確率的有限オートマトンから誘導される形式言語を用いて制御された設定に目を向ける。
これらは、標準的な相関評価プラクティスが本質的に欠陥があることを証明するための方法論的なテストベッドとして機能する。
因果解析を可能にするために,サンプルコーパス内でターゲットとなるプロパティの発生頻度を制御できる代数的オブジェクトであるbinning semiringを導入する。
我々は、実験パイプラインを因果グラフモデルとして定式化し、特定のサブタスクの学習可能性を測定するために、Kulback-Leibler分散メトリクスを分解した。
本実験は, 因果的介入を伴わない学習性評価が, 相関分析における共同創設者による誤った結論につながることを示唆し, 自然言語環境における相関的落とし穴の警告として機能することを示した。
関連論文リスト
- Investigation into In-Context Learning Capabilities of Transformers [14.14937947207076]
トランスフォーマーは、文脈内学習(ICL)の強力な能力を示した
本研究では,二項分類タスクにおける文脈内学習の体系的研究を行う。
本結果は,文脈内学習がいつ成功し,いつ失敗するかを決定する上で,次元性,信号強度,文脈情報の重要性を強調した。
論文 参考訳（メタデータ） (2026-04-28T16:57:55Z) - Provable Benefits of Task-Specific Prompts for In-context Learning [44.768199865867494]
本研究では,グローバルなタスク分布を条件付きタスク分布の結合に分割できる新しい設定について考察する。
次に,タスク固有のプロンプトと予測ヘッドを用いて,一層アテンションモデルを用いて条件付きタスク分布に関連する事前情報を学習する。
論文 参考訳（メタデータ） (2025-03-03T22:37:03Z) - A Unified Causal View of Instruction Tuning [76.1000380429553]
メタ構造因果モデル(meta-SCM)を開発し、異なるNLPタスクをデータの単一因果構造の下で統合する。
主なアイデアは、タスク要求因果関係を学習し、タスクの予測にのみそれらを使用することである。
論文 参考訳（メタデータ） (2024-02-09T07:12:56Z) - Why think step by step? Reasoning emerges from the locality of
experience [35.99870462573641]
思考の連鎖推論が言語モデルでどのように有用であるかを考察する。
学習データが重複する変数の局所的クラスタで構成される場合,推論が有効であることを示す。
論文 参考訳（メタデータ） (2023-04-07T21:04:03Z) - Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。
動的パーソナライズされた価格設定などの問題の因果構造を形式化する。
本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
論文 参考訳（メタデータ） (2021-10-19T16:15:56Z) - Competency Problems: On Finding and Removing Artifacts in Language Data [50.09608320112584]
複雑な言語理解タスクでは、すべての単純な特徴相関が突発的であると論じる。
人間バイアスを考慮したコンピテンシー問題に対するデータ作成の難しさを理論的に分析します。
論文 参考訳（メタデータ） (2021-04-17T21:34:10Z) - An Investigation of Language Model Interpretability via Sentence Editing [5.492504126672887]
我々は、事前学習言語モデル(PLM)の解釈可能性をテストするテストベッドとして、文編集データセットを再使用した。
これにより、PLMの解釈可能性に関する一連の質問に対して、系統的な調査を行うことができる。
この調査は、例えば、一般的な理解とは対照的に、注意重みが人間の合理性とよく相関しているという新たな洞察を生み出す。
論文 参考訳（メタデータ） (2020-11-28T00:46:43Z) - Probing the Probing Paradigm: Does Probing Accuracy Entail Task
Relevance? [27.64235687067883]
モデルが訓練されたタスクに必要のないモデルでも,言語特性の符号化を学習できることが示される。
ランダムノイズとしてデータに分散しても,これらの特性を確率レベルよりかなり上まで符号化できることを示す。
論文 参考訳（メタデータ） (2020-05-02T06:19:20Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳（メタデータ） (2020-04-20T02:47:49Z) - Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。
我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
論文 参考訳（メタデータ） (2020-04-07T01:06:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。