Fugu-MT 論文翻訳(概要): Transduce: learning transduction grammars for string transformation

論文の概要: Transduce: learning transduction grammars for string transformation

arxiv url: http://arxiv.org/abs/2401.09426v1
Date: Thu, 14 Dec 2023 07:59:02 GMT
ステータス: 処理完了
システム内更新日: 2024-01-22 09:41:43.318034
Title: Transduce: learning transduction grammars for string transformation
Title（参考訳）: transduce: 文字列変換のための変換文法の学習
Authors: Francis Frydman, Philippe Mangion
Abstract要約: 帰納的バイアスを伴わない1つまたは2つの正の例から位置変換を効率的に学習する新しいアルゴリズムTransduceを提案する。実験により,Transduceは1つないし2つの正の例から効率よく位置変換を学習できることを示した。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The synthesis of string transformation programs from input-output examples utilizes various techniques, all based on an inductive bias that comprises a restricted set of basic operators to be combined. A new algorithm, Transduce, is proposed, which is founded on the construction of abstract transduction grammars and their generalization. We experimentally demonstrate that Transduce can learn positional transformations efficiently from one or two positive examples without inductive bias, achieving a success rate higher than the current state of the art.
Abstract（参考訳）: 入力出力の例から文字列変換プログラムを合成することは様々な手法を用いており、これらは基本演算子の制限された集合からなる帰納バイアスに基づいている。抽象的変換文法の構成とその一般化を基礎とした新しいアルゴリズムであるtransduceが提案されている。そこで本研究では,トランスデュースが帰納的バイアスを伴わずに1つか2つの正の例から位置変換を効率的に学習できることを実験的に実証する。

関連論文リスト

Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
論文参考訳（メタデータ） (2024-07-05T14:29:44Z)
On the Expressive Power of a Variant of the Looped Transformer [83.30272757948829]
我々はアルゴリズム能力でトランスフォーマーを強化するために、AlgoFormerと呼ばれる新しいトランスフォーマーブロックを設計する。提案したAlgoFormerは、同じ数のパラメータを使用する場合、アルゴリズム表現においてはるかに高い精度を達成することができる。いくつかの理論的および実証的な結果は、設計されたトランスフォーマーが、人間設計のアルゴリズムよりも賢い可能性があることを示している。
論文参考訳（メタデータ） (2024-02-21T07:07:54Z)
How Do Transformers Learn In-Context Beyond Simple Functions? A Case Study on Learning with Representations [98.7450564309923]
本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
論文参考訳（メタデータ） (2023-10-16T17:40:49Z)
Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
論文参考訳（メタデータ） (2023-06-07T17:59:31Z)
Fine-Tuning Transformers: Vocabulary Transfer [0.30586855806896046]
トランスフォーマーは、近年の自然言語処理の進歩の大部分を担っている。本稿では,微調整に用いるコーパス固有のトークン化により,モデルの性能が向上するかどうかについて検討する。
論文参考訳（メタデータ） (2021-12-29T14:22:42Z)
Glushkov's construction for functional subsequential transducers [91.3755431537592]
グルシコフの構成は多くの興味深い性質を持ち、トランスデューサに適用するとさらに明らかになる。正規表現の特別な風味を導入し、効率よく$epsilon$-free 機能的次数重み付き有限状態トランスデューサに変換することができる。
論文参考訳（メタデータ） (2020-08-05T17:09:58Z)
I-BERT: Inductive Generalization of Transformer to Arbitrary Context Lengths [2.604653544948958]
自己注意は、自然言語処理のための最先端のシーケンス・ツー・シーケンスモデルの重要な構成要素として現れてきた。位置エンコーディングをリカレント層に置き換える双方向トランスであるI-BERTを提案する。
論文参考訳（メタデータ） (2020-06-18T00:56:12Z)
Guiding Symbolic Natural Language Grammar Induction via Transformer-Based Sequence Probabilities [0.0]
自然言語を統括する構文規則を自動学習する手法を提案する。この方法は、内部表現に言及することなく、トランスフォーマーにおける学習された言語知識を利用する。提案手法の実証例を示し, 教師なしのシンボリックリンク-文法帰納法を導出する。
論文参考訳（メタデータ） (2020-05-26T06:18:47Z)
Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。