Fugu-MT 論文翻訳(概要): The role of positional encodings in the ARC benchmark

論文の概要: The role of positional encodings in the ARC benchmark

arxiv url: http://arxiv.org/abs/2502.00174v1
Date: Fri, 31 Jan 2025 21:34:54 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-05 15:03:11.756915
Title: The role of positional encodings in the ARC benchmark
Title（参考訳）: ARCベンチマークにおける位置エンコーディングの役割
Authors: Guilherme H. Bandeira Costa, Miguel Freire, Arlindo L. Oliveira,
Abstract要約: 位置符号化の限界が推論と性能に与える影響を示す。本研究はトランスアーキテクチャにおける位置符号化の役割をさらに検討する。 2D位置符号化とロータリー位置埋め込みは競合性能を提供するが、2D符号化はデータ制約のあるシナリオに優れる。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: The Abstraction and Reasoning Corpus challenges AI systems to perform abstract reasoning with minimal training data, a task intuitive for humans but demanding for machine learning models. Using CodeT5+ as a case study, we demonstrate how limitations in positional encoding hinder reasoning and impact performance. This work further examines the role of positional encoding across transformer architectures, highlighting its critical influence on models of varying sizes and configurations. Comparing several strategies, we find that while 2D positional encoding and Rotary Position Embedding offer competitive performance, 2D encoding excels in data-constrained scenarios, emphasizing its effectiveness for ARC tasks
Abstract（参考訳）: 抽象推論コーパス(Abstraction and Reasoning Corpus)は、AIシステムに対して、最小限のトレーニングデータで抽象推論を実行するよう挑戦する。 CodeT5+をケーススタディとして、位置符号化の限界が推論や影響パフォーマンスを妨げていることを示す。この研究は、トランスフォーマーアーキテクチャ全体における位置符号化の役割をさらに検討し、サイズや構成の異なるモデルに対するその重要な影響を強調した。いくつかの戦略を比較すると、2D位置符号化とロータリー位置埋め込みは競合性能を提供するが、2D符号化はデータ制約のあるシナリオで優れており、ARCタスクの有効性を強調している。

関連論文リスト

Birdie: Advancing State Space Models with Reward-Driven Objectives and Curricula [23.071384759427072]
状態空間モデル(SSM)はトランスフォーマーよりも利点があるが、長期のコンテキスト内検索のようなテキストコピー、連想リコール、質問応答を必要とするタスクに苦労する。本研究では,SSMのコンテキスト内検索能力を大幅に向上する新たな学習手法であるBirdieを提案する。
論文参考訳（メタデータ） (2024-11-01T21:01:13Z)
Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
論文参考訳（メタデータ） (2024-10-29T19:02:54Z)
Tackling the Abstraction and Reasoning Corpus with Vision Transformers: the Importance of 2D Representation, Positions, and Objects [31.926206783846144]
視覚変換器(ViT)は、タスク毎に100万のサンプルをトレーニングしても、ほとんどのARCタスクで劇的に失敗することを示す。 ARCに必要な視覚的推論能力のいくつかを解放する,ViTARC スタイルのアーキテクチャを提案する。タスク固有のViTARCモデルは、400のパブリックARCタスクの半数以上において、100%に近い確率で解決できる。
論文参考訳（メタデータ） (2024-10-08T22:25:34Z)
LieRE: Generalizing Rotary Position Encodings [4.07373334379699]
Rotary Position (RoPE) は言語モデルにおいて一般的な選択肢となっている。 RoPEは1次元のシーケンスデータに制約される。 LieREは、RoPEのブロック2D回転行列を、可変空間の学習された高次元回転行列に置き換える。
論文参考訳（メタデータ） (2024-06-14T17:41:55Z)
A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
論文参考訳（メタデータ） (2024-02-10T11:14:53Z)
Efficient Model Adaptation for Continual Learning at the Edge [15.334881190102895]
ほとんどの機械学習(ML)システムは、トレーニングとデプロイメントの間、定常的で一致したデータ分散を前提としている。データ分布は、環境要因、センサー特性、タスク・オブ・関心などの変化により、時間とともに変化することが多い。本稿では,ドメインシフト下での効率的な連続学習のためのアダプタ・リコンフィグレータ(EAR)フレームワークを提案する。
論文参考訳（メタデータ） (2023-08-03T23:55:17Z)
Bilevel Fast Scene Adaptation for Low-Light Image Enhancement [50.639332885989255]
低照度シーンにおける画像の強調は、コンピュータビジョンにおいて難しいが、広く懸念されている課題である。主な障害は、異なるシーンにまたがる分散の相違によるモデリングの混乱にある。上述の潜在対応をモデル化するための双レベルパラダイムを導入する。エンコーダのシーン非関連な一般化を多様なシーンにもたらすために、双方向学習フレームワークを構築した。
論文参考訳（メタデータ） (2023-06-02T08:16:21Z)
Analyzing the Performance of Deep Encoder-Decoder Networks as Surrogates for a Diffusion Equation [0.0]
本研究では,エンコーダ・デコーダ畳み込みニューラルネットワーク(CNN)を定常拡散解法の代用として利用することを検討した。その結果,トレーニングセットのサイズが大きくなると,性能変動や全体的な誤差の低減に大きく影響することが示唆された。
論文参考訳（メタデータ） (2023-02-07T22:53:19Z)
Learning Action-Effect Dynamics for Hypothetical Vision-Language Reasoning Task [50.72283841720014]
本研究では,行動の効果に関する推論を改善する新しい学習戦略を提案する。本稿では,提案手法の有効性を実証し,性能,データ効率,一般化能力の観点から,従来のベースラインに対する優位性を論じる。
論文参考訳（メタデータ） (2022-12-07T05:41:58Z)
Examining Scaling and Transfer of Language Model Architectures for Machine Translation [51.69212730675345]
言語モデル(LM)は単一のレイヤのスタックで処理し、エンコーダ・デコーダモデル(EncDec)は入力と出力の処理に別々のレイヤスタックを使用する。機械翻訳において、EncDecは長年好まれてきたアプローチであるが、LMの性能についての研究はほとんどない。
論文参考訳（メタデータ） (2022-02-01T16:20:15Z)
Unsupervised Motion Representation Learning with Capsule Autoencoders [54.81628825371412]
Motion Capsule Autoencoder (MCAE) は、2レベル階層のモーションをモデル化する。 MCAEは、新しいTrajectory20モーションデータセットと、様々な現実世界の骨格に基づく人間のアクションデータセットで評価されている。
論文参考訳（メタデータ） (2021-10-01T16:52:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。