Fugu-MT 論文翻訳(概要): Efficient OpAmp Adaptation for Zoom Attention to Golden Contexts

論文の概要: Efficient OpAmp Adaptation for Zoom Attention to Golden Contexts

arxiv url: http://arxiv.org/abs/2502.12502v1
Date: Tue, 18 Feb 2025 03:35:20 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-19 14:03:02.900387
Title: Efficient OpAmp Adaptation for Zoom Attention to Golden Contexts
Title（参考訳）: ゴールデンコンテクストへのズームアテンションのための高効率OpAmp適応
Authors: Haoyuan Wu, Rui Ming, Haisheng Zheng, Zhuolun He, Bei Yu,
Abstract要約: 大規模言語モデル(LLM)は質問応答(QA)タスクにおいて大きな可能性を示している。彼らのパフォーマンスはノイズの多い参照文書によって妨げられ、しばしば本質的な情報から妨げられる。動作増幅器 (OpAmp) に動機付け, これらの課題に対処するためのOpAmp適応を提案する。
参考スコア（独自算出の注目度）: 5.160694566407453
License:
Abstract: Large language models (LLMs) have shown significant promise in question-answering (QA) tasks, particularly in retrieval-augmented generation (RAG) scenarios and long-context applications. However, their performance is hindered by noisy reference documents, which often distract from essential information. Despite fine-tuning efforts, Transformer-based architectures struggle to prioritize relevant content. This is evidenced by their tendency to allocate disproportionate attention to irrelevant or later-positioned documents. Recent work proposes the differential attention mechanism to address this issue, but this mechanism is limited by an unsuitable common-mode rejection ratio (CMRR) and high computational costs. Inspired by the operational amplifier (OpAmp), we propose the OpAmp adaptation to address these challenges, which is implemented with adapters efficiently. By integrating the adapter into pre-trained Transformer blocks, our approach enhances focus on the golden context without costly training from scratch. Empirical evaluations on noisy-context benchmarks reveal that our Qwen2.5-OpAmp-72B model, trained with our OpAmp adaptation, surpasses the performance of state-of-the-art LLMs, including DeepSeek-V3 and GPT-4o.
Abstract（参考訳）: 大規模言語モデル(LLM)は質問応答(QA)タスク、特に検索拡張生成(RAG)シナリオや長期コンテキストアプリケーションにおいて大きな可能性を示している。しかし、それらのパフォーマンスはノイズの多い参照文書によって妨げられ、しばしば本質的な情報から逸脱する。微調整の努力にもかかわらず、Transformerベースのアーキテクチャは、関連するコンテンツの優先順位付けに苦労している。これは、不適切な文書や後述の文書に不当な注意を割く傾向によって証明されている。最近の研究はこの問題に対処するための差分注意機構を提案するが、このメカニズムは不適切な共通モード拒絶比(CMRR)と高い計算コストによって制限されている。オペレーショナルアンプ(OpAmp)にインスパイアされた我々は,これらの課題に対処するOpAmp適応を提案し,アダプタを効率的に実装する。プリトレーニング済みのTransformerブロックにアダプタを組み込むことで、スクラッチからコストのかかるトレーニングをすることなく、黄金のコンテキストに焦点を合わせることができる。 Qwen2.5-OpAmp-72Bモデルは、我々のOpAmp適応で訓練され、DeepSeek-V3やGPT-4oといった最先端のLLMの性能を上回っている。

関連論文リスト

Improving Acoustic Side-Channel Attacks on Keyboards Using Transformers and Large Language Models [1.1674893622721483]
本研究では,アコースティックサイドチャネルアタック(ASCA)の有効性と適用性を高めるための深層学習手法について検討する。我々は、CoAtNetモデルを用いて、先行研究よりも大幅に改善し、最先端の性能を実現した。重要な進歩は、現実のシナリオに対するノイズ緩和手法の導入である。
論文参考訳（メタデータ） (2025-02-13T21:33:57Z)
Skip Tuning: Pre-trained Vision-Language Models are Effective and Efficient Adapters Themselves [123.07450481623124]
下流タスクに視覚言語モデルを適用するための新しいパラダイムとして,Skip Tuningを提案する。既存のPTやアダプタベースの方法とは異なり、Skip Tuningは追加のコンテキストベクトルやアダプタモジュールを導入することなく、FTベースラインにLayer-wise Skipping(LSkip)とClass-wise Skipping(CSkip)を適用する。
論文参考訳（メタデータ） (2024-12-16T07:33:23Z)
Generalization Boosted Adapter for Open-Vocabulary Segmentation [15.91026999425076]
Generalization Boosted Adapter (GBA) は、視覚言語モデルの一般化と堅牢性を高める新しいアダプタ戦略である。シンプルで効率的でプラグアンドプレイなコンポーネントとして、GAAは様々なCLIPベースのメソッドに柔軟に統合できる。
論文参考訳（メタデータ） (2024-09-13T01:49:12Z)
Efficient and Economic Large Language Model Inference with Attention Offloading [11.698376311689456]
トランスフォーマーベースの大規模言語モデル(LLM)は、生成タスクにおいて優れたパフォーマンスを示すが、現実のサービスにおいて大きな課題をもたらす。このミスマッチは LLM の自己回帰的な性質から生じ、生成フェーズはリソース要求の異なる演算子から構成される。 LLMの効率性と費用対効果を高めるために,注意オフロードの概念を導入する。
論文参考訳（メタデータ） (2024-05-03T02:15:15Z)
Learning to Filter Context for Retrieval-Augmented Generation [75.18946584853316]
生成モデルは、部分的にまたは完全に無関係な経路が与えられた出力を生成するために要求される。 FILCOは、語彙と情報理論のアプローチに基づいて有用なコンテキストを特定する。テスト時に検索したコンテキストをフィルタリングできるコンテキストフィルタリングモデルをトレーニングする。
論文参考訳（メタデータ） (2023-11-14T18:41:54Z)
Real-Time Motion Prediction via Heterogeneous Polyline Transformer with Relative Pose Encoding [121.08841110022607]
既存のエージェント中心の手法は、公開ベンチマークで顕著な性能を示した。 K-nearest neighbor attention with relative pose encoding (KNARPE) は、トランスフォーマーがペアワイズ相対表現を使用できる新しいアテンション機構である。エージェント間でコンテキストを共有し、変化しないコンテキストを再利用することで、私たちのアプローチはシーン中心のメソッドと同じくらい効率的になり、最先端のエージェント中心のメソッドと同等に実行されます。
論文参考訳（メタデータ） (2023-10-19T17:59:01Z)
Action Quality Assessment using Transformers [0.0]
アクション品質アセスメント(AQA)は、ビデオベースのアプリケーションにおいて活発な研究課題である。本稿では,トランスフォーマーが従来の畳み込み型アーキテクチャの代替となることを示す。
論文参考訳（メタデータ） (2022-07-20T17:00:13Z)
AdapterBias: Parameter-efficient Token-dependent Representation Shift for Adapters in NLP Tasks [55.705355299065474]
数百万のパラメータを持つトランスフォーマーベースの事前学習モデルは、大きなストレージを必要とする。近年のアプローチでは、アダプタをトレーニングすることでこの欠点に対処しているが、それでも比較的多くのパラメータを必要とする。本研究では,驚くほどシンプルで効果的なアダプタアーキテクチャであるAdapterBiasを提案する。
論文参考訳（メタデータ） (2022-04-30T16:49:41Z)
AdaStereo: An Efficient Domain-Adaptive Stereo Matching Approach [50.855679274530615]
本稿では,AdaStereoというドメイン適応型アプローチを提案する。我々のモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のベンチマークで最先端のクロスドメイン性能を実現している。提案手法は,様々なドメイン適応設定に対して堅牢であり,迅速な適応アプリケーションシナリオや実環境展開に容易に組み込むことができる。
論文参考訳（メタデータ） (2021-12-09T15:10:47Z)
Efficient Attention Branch Network with Combined Loss Function for Automatic Speaker Verification Spoof Detection [7.219077740523682]
自動話者検証(Automatic Speaker Verification)のタスクのために現在デプロイされているモデルは、その最善は、目に見えない攻撃に対して適切な一般化の度合いを欠いていることである。本研究では、一般化問題に対処するために、損失関数を組み合わせた効率的な注意分岐ネットワーク(EABN)アーキテクチャを提案する。
論文参考訳（メタデータ） (2021-09-05T12:10:16Z)
Augmented Transformer with Adaptive Graph for Temporal Action Proposal Generation [79.98992138865042]
TAPGの長期的および局所的時間的コンテキストを利用するための適応グラフネットワーク(ATAG)を備えた拡張トランスを提案する。具体的には、スニペット動作損失と前部ブロックを装着し、拡張トランスと呼ばれるバニラトランスを強化する。位置情報と隣接特徴の差異をマイニングすることで局所時間文脈を構築するための適応型グラフ畳み込みネットワーク(gcn)を提案する。
論文参考訳（メタデータ） (2021-03-30T02:01:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。