論文の概要: Exploring Distributional Shifts in Large Language Models for Code Analysis

• arxiv url: http://arxiv.org/abs/2303.09128v1
• Date: Thu, 16 Mar 2023 07:45:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-03-17 16:27:02.075462
• Title: Exploring Distributional Shifts in Large Language Models for Code Analysis
• Title（参考訳）: コード解析のための大規模言語モデルにおける分布シフトの探索
• Authors: Shushan Arakelyan, Rocktim Jyoti Das, Yi Mao and Xiang Ren
• Abstract要約: コードのための2つの大きな言語モデル(CodeT5とCodex)の能力を研究し、ドメイン外のデータに一般化する。 私たちはデータを、その自然な境界に沿って、組織、プロジェクト、そしてソフトウェアプロジェクト内のモジュールによって、ドメインに分割しました。 複数のドメインに適応したモデルが、各ドメインに適応したモデルと同時に動作していることが分かりました。
• 参考スコア（独自算出の注目度）: 21.347629008312293
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We systematically study the capacity of two large language models for code - CodeT5 and Codex - to generalize to out-of-domain data. In this study, we consider two fundamental applications - code summarization, and code generation. We split data into domains following its natural boundaries - by an organization, by a project, and by a module within the software project. This makes recognition of in-domain vs out-of-domain data at the time of deployment trivial. We establish that samples from each new domain present both models with a significant challenge of distribution shift. We study how well different established methods can adapt models to better generalize to new domains. Our experiments show that while multitask learning alone is a reasonable baseline, combining it with few-shot finetuning on examples retrieved from training data can achieve very strong performance. In fact, according to our experiments, this solution can outperform direct finetuning for very low-data scenarios. Finally, we consider variations of this approach to create a more broadly applicable method to adapt to multiple domains at once. We find that in the case of code generation, a model adapted to multiple domains simultaneously performs on par with those adapted to each domain individually.
• Abstract（参考訳）: CodeCodeT5とCodexの2つの大きな言語モデルの能力を体系的に研究し、ドメイン外のデータに一般化する。 本研究では,コード要約とコード生成という2つの基本的応用について考察する。 私たちはデータを、組織、プロジェクト、そしてソフトウェアプロジェクト内のモジュールによって、自然な境界に沿ってドメインに分割します。 これにより、デプロイ時にドメイン内データとドメイン外データの認識が容易になる。 各新領域のサンプルは,分布シフトの大きな課題を伴って,両方のモデルが存在することを確認した。 確立された異なる手法がモデルにどのように適応し、新しい領域をより一般化するかを考察する。 私たちの実験では、マルチタスク学習だけでは合理的なベースラインであるものの、トレーニングデータから取得したサンプルのわずかな微調整と組み合わせることで、非常に強力なパフォーマンスを達成できることが示されています。 実際、我々の実験によると、このソリューションは、非常に低データのシナリオで直接微調整より優れている。 最後に、このアプローチのバリエーションを検討し、複数のドメインに一度に適応するより広い適用方法を提案する。 コード生成の場合、複数のドメインに適応したモデルは、各ドメインに個別に適応したモデルと同等の性能を発揮することが分かりました。

関連論文リスト

• Multi-Domain Long-Tailed Learning by Augmenting Disentangled Representations [74.1890114755864]
  実世界のシナリオは、しばしば異なる不均衡なクラス分布を持つ複数のドメインを含む。 本稿では,ドメインやクラスに隠された表現をバランスよく拡張することで,不変な予測子を生成するTALLYを紹介する。 我々は,古典的領域一般化ベンチマークと実世界不均衡な2つのマルチドメインデータセットの長い尾を持つ4つの変種に対してTALLYを評価する。
  論文  参考訳（メタデータ） (2022-10-25T21:54:26Z)
• ME-D2N: Multi-Expert Domain Decompositional Network for Cross-Domain Few-Shot Learning [95.78635058475439]
  クロスドメインのFew-Shot Learningは、異なるドメインにわたるFew-Shot Learning問題に対処することを目的としている。 本稿では,ME-D2N(Multi-Expert Domain Decompositional Network)を技術的に貢献する。 本稿では,学生モデルを2つの領域関連部分に分解する新しい領域分解モジュールを提案する。
  論文  参考訳（メタデータ） (2022-10-11T09:24:47Z)
• Learning to Generalize across Domains on Single Test Samples [126.9447368941314]
  単体テストサンプルでドメインをまたいで一般化することを学ぶ。 変分ベイズ推論問題として単検体への適応を定式化する。 我々のモデルは、ドメインの一般化のための複数のベンチマークにおいて、最先端のメソッドよりも少なくとも同等で、より優れたパフォーマンスを達成します。
  論文  参考訳（メタデータ） (2022-02-16T13:21:04Z)
• TAL: Two-stream Adaptive Learning for Generalizable Person Re-identification [115.31432027711202]
  我々は、ドメイン固有性とドメイン不変性の両方が、re-idモデルの一般化能力の向上に不可欠であると主張する。 これら2種類の情報を同時にモデル化するために,2ストリーム適応学習 (TAL) を命名した。 我々のフレームワークは、単一ソースとマルチソースの両方のドメイン一般化タスクに適用できる。
  論文  参考訳（メタデータ） (2021-11-29T01:27:42Z)
• Domain Generalization via Gradient Surgery [5.38147998080533]
  現実のアプリケーションでは、マシンラーニングモデルは、トレーニングとテストドメイン間のデータ分散の変化があるシナリオに直面します。 本研究では,ドメインシフトのシナリオに現れる矛盾する勾配を特徴付けるとともに,新たな勾配合意戦略を考案する。
  論文  参考訳（メタデータ） (2021-08-03T16:49:25Z)
• Adaptive Methods for Real-World Domain Generalization [32.030688845421594]
  本研究では、未確認の試験サンプルからドメイン情報を活用できるかどうかを検討する。 a) 教師なしのトレーニング例から識別的ドメイン埋め込みを最初に学び、b) このドメイン埋め込みを補足的な情報として使ってドメイン適応モデルを構築する。 提案手法は,各種領域一般化ベンチマークにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2021-03-29T17:44:35Z)
• Boosting Binary Masks for Multi-Domain Learning through Affine Transformations [49.25451497933657]
  マルチドメイン学習の目標は、すべてのドメインでタスクを実行する単一のモデルを作成することです。 最近の研究は、学習されたバイナリ変数を通して、与えられた元のconv-netの内部重みをマスキングすることでこの問題に対処できることを示した。 元のネットワークパラメータのアフィン変換によるマルチドメイン学習のためのバイナリマスクベースのモデルの一般定式化を提供する。
  論文  参考訳（メタデータ） (2021-03-25T14:54:37Z)
• Batch Normalization Embeddings for Deep Domain Generalization [50.51405390150066]
  ドメインの一般化は、異なるドメインと見えないドメインで堅牢に実行されるように機械学習モデルをトレーニングすることを目的としている。 一般的な領域一般化ベンチマークにおいて,最先端技術よりも分類精度が著しく向上したことを示す。
  論文  参考訳（メタデータ） (2020-11-25T12:02:57Z)
• StandardGAN: Multi-source Domain Adaptation for Semantic Segmentation of Very High Resolution Satellite Images by Data Standardization [6.481759968656932]
  本研究では,マルチソース領域適応問題に対処する。 提案手法,すなわち,標準GANは,各ソースとターゲットドメインを標準化し,すべてのデータが類似したデータ分布を持つようにする。 1つは1つの国の複数の都市で構成され、もう1つは異なる国の複数の都市を含んでいる。
  論文  参考訳（メタデータ） (2020-04-14T10:16:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。