論文の概要: An Evaluation of Context Length Extrapolation in Long Code via Positional Embeddings and Efficient Attention

• arxiv url: http://arxiv.org/abs/2602.21800v1
• Date: Wed, 25 Feb 2026 11:27:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-26 18:19:16.811675
• Title: An Evaluation of Context Length Extrapolation in Long Code via Positional Embeddings and Efficient Attention
• Title（参考訳）: 位置埋め込みと効率的な注意による長期符号における文脈長外挿法の評価
• Authors: Madhusudan Ghosh, Rishabh Gupta,
• Abstract要約: 大規模言語モデル(LLM)は、ソフトウェア工学における自動化ツールの大幅な増加につながっている。 これらの進歩にもかかわらず、その効果は一定の文脈長によって制限される。 位置符号化の改善と注意機構の最適化を目的としたゼロショット推論専用手法について検討する。
• 参考スコア（独自算出の注目度）: 4.307992396152879
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The rapid advancement of large language models (LLMs) has led to a significant increase in automated tools in the software engineering, capable of performing various code-related tasks such as code generation, completion, and translation. Despite these advancements, its effectiveness is constrained by fixed context lengths, limiting its ability to generalize across long, domain-specific code sequences. To address this challenge, we investigate zero-shot, inference-only methods aimed at improving position encodings and optimizing attention mechanisms. Our goal is to provide a thorough analysis of current approaches that facilitate context length extrapolation in code, particularly in the context of long code completion tasks.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な進歩は、コード生成、完了、翻訳といった様々なコード関連タスクを実行することができる、ソフトウェア工学における自動化ツールの大幅な増加につながった。 これらの進歩にもかかわらず、その有効性は固定されたコンテキスト長によって制限され、長いドメイン固有のコードシーケンスをまたいで一般化する能力を制限する。 この課題に対処するために、位置符号化の改善と注意機構の最適化を目的としたゼロショット推論のみの手法について検討する。 私たちのゴールは、特に長いコード補完タスクのコンテキストにおいて、コード内のコンテキスト長の外挿を容易にする、現在のアプローチの徹底的な分析を提供することです。

関連論文リスト

• LSR-MCTS: Alleviating Long Range Dependency in Code Generation [42.10272627826627]
  大規模言語モデル(LLM)は、コード生成タスクの開発を著しく促進している。 本稿では,MCTS を利用した textbfLSR-MCTS アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-04-10T04:03:25Z)
• LongSpec: Long-Context Lossless Speculative Decoding with Efficient Drafting and Verification [42.54363549922909]
  LongSpecは、長いコンテキストに対する効率的な推論の課題に対処するフレームワークである。 LongSpecは、強力なFlash Attentionベースライン上で最大3.26倍のスピードアップを達成する。 コードはhttps://github.com/sail-sg/LongSpecで公開されている。
  論文  参考訳（メタデータ） (2025-02-24T18:53:31Z)
• Chain of Grounded Objectives: Bridging Process and Goal-oriented Prompting for Code Generation [21.084058098777803]
  Chain of Grounded Objectives (CGO) は、関数目的を入力プロンプトに埋め込んでコード生成を強化する手法である。 適切に構造化された目的を入力として利用し、明示的なシーケンシャルな手順を避けることで、CGOはプログラミングタスクの構造的な性質に効果的に適応する。
  論文  参考訳（メタデータ） (2025-01-23T01:45:09Z)
• Unlocking Reasoning Potential in Large Langauge Models by Scaling Code-form Planning [94.76546523689113]
  CodePlanは、テキストコード形式の計画を生成し、追跡するフレームワークで、高いレベルの構造化された推論プロセスの概要を擬似コードで示します。 CodePlanは、洗練された推論タスク固有のリッチなセマンティクスと制御フローを効果的にキャプチャする。 反応を直接生成するのに比べて25.1%の相対的な改善が達成されている。
  論文  参考訳（メタデータ） (2024-09-19T04:13:58Z)
• A Thorough Examination of Decoding Methods in the Era of LLMs [72.65956436513241]
  復号法は、次世代の予測器から実用的なタスク解決器に言語モデルを変換する上で、必須の役割を果たす。 本稿では,大規模言語モデルの文脈における様々な復号法を包括的かつ多面的に分析する。 その結果,復号法の性能は特にタスク依存的であり,アライメント,モデルサイズ,量子化などの要因に影響されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-02-10T11:14:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。