論文の概要: SimSCOOD: Systematic Analysis of Out-of-Distribution Behavior of Source Code Models

• arxiv url: http://arxiv.org/abs/2210.04802v1
• Date: Mon, 10 Oct 2022 16:07:24 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 14:31:58.156326
• Title: SimSCOOD: Systematic Analysis of Out-of-Distribution Behavior of Source Code Models
• Title（参考訳）: SimSCOOD:ソースコードモデルの配布外挙動の系統解析
• Authors: Hossein Hajipour, Ning Yu, Cristian-Alexandru Staicu, Mario Fritz
• Abstract要約: 予期せぬモデル推論行動に関するアウト・オブ・ディストリビューション問題は、まだ体系的に研究されていない。 我々は、データ特性の異なる次元に沿って様々なOODシナリオをシミュレートする最初の体系的なアプローチに貢献する。 3つのコード生成タスクのための6つの最先端モデルに関する研究は、アウト・オブ・ディストリビューション問題に起因するいくつかの障害モードを露呈する。
• 参考スコア（独自算出の注目度）: 59.47579750320535
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: While large code datasets have become available in recent years, acquiring representative training data with full coverage of general code distribution remains challenging due to the compositional nature of code and the complexity of software. This leads to the out-of-distribution (OOD) issues with unexpected model inference behaviors that have not been systematically studied yet. We contribute the first systematic approach that simulates various OOD scenarios along different dimensions of data properties and investigates the model behaviors in such scenarios. Our extensive studies on six state-of-the-art models for three code generation tasks expose several failure modes caused by the out-of-distribution issues. It thereby provides insights and sheds light for future research in terms of generalization, robustness, and inductive biases of source code models.
• Abstract（参考訳）: 近年、大規模なコードデータセットが利用可能になっているが、コードの構成的性質とソフトウェアの複雑さのため、一般的なコード分布を網羅した代表的トレーニングデータを取得することは依然として困難である。 これは、まだ体系的に研究されていない予期せぬモデル推論行動の分散(ood)問題につながる。 我々は、データ特性の異なる次元に沿って様々なOODシナリオをシミュレートする最初の体系的なアプローチに貢献し、そのようなシナリオにおけるモデル挙動を調査する。 3つのコード生成タスクのための6つの最先端モデルに関する広範な研究により、分散問題に起因する複数の障害モードが明らかになった。 これにより、ソースコードモデルの一般化、堅牢性、帰納的バイアスの観点から、将来の研究に洞察と光を提供する。

関連論文リスト

• Learning from Reward-Free Offline Data: A Case for Planning with Latent Dynamics Models [31.509112804985133]
  強化学習(Reinforcement Learning, RL)は、試行錯誤と最適制御を通じてポリシーを学習し、学習または既知の力学モデルを用いてアクションを計画する。 異なる品質のデータセットを用いて、異なるRLおよび制御に基づく手法の性能を系統的に解析する。 モデルベースプランニングは,新しい環境レイアウト,トラジェクトリー縫合,データ効率などへの一般化に優れる。
  論文  参考訳（メタデータ） (2025-02-20T18:39:41Z)
• Feature Protection For Out-of-distribution Generalization [24.072876186625855]
  事前訓練された特徴の保護は、より厳密に調整されたモデルが一般化に結びつくことを示す。 事前訓練された特徴の保護は,OODの一般化に対してより堅牢な微調整モデルをもたらすことを示す。
  論文  参考訳（メタデータ） (2024-05-25T03:00:06Z)
• LEVI: Generalizable Fine-tuning via Layer-wise Ensemble of Different Views [28.081794908107604]
  ファインチューニングは、新しい下流タスクで事前訓練された基礎モデルのパワーを活用するために使用される。 近年の研究では、微調整されたモデルから目に見えない分布への一般化の課題が観察されている。 そこで本研究では,タスク固有モデルを用いて,事前学習したモデルを階層的に適応的に組み立てる,一般化可能なファインチューニング手法LEVIを提案する。
  論文  参考訳（メタデータ） (2024-02-07T08:16:40Z)
• Fantastic Gains and Where to Find Them: On the Existence and Prospect of General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
  事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。 このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
  論文  参考訳（メタデータ） (2023-10-26T17:59:46Z)
• TWINS: A Fine-Tuning Framework for Improved Transferability of Adversarial Robustness and Generalization [89.54947228958494]
  本稿では,様々な分類タスクにおいて,逆向きに事前訓練されたモデルの微調整に焦点を当てる。 本稿では,TWINS(Two-WIng NormliSation)ファインチューニングフレームワークを提案する。 TWINSは、一般化とロバスト性の両方の観点から、幅広い画像分類データセットに有効であることが示されている。
  論文  参考訳（メタデータ） (2023-03-20T14:12:55Z)
• General Greedy De-bias Learning [163.65789778416172]
  本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
  論文  参考訳（メタデータ） (2021-12-20T14:47:32Z)
• BEDS-Bench: Behavior of EHR-models under Distributional Shift--A Benchmark [21.040754460129854]
  OOD設定下でのEHRデータ上でのMLモデルの振る舞いを定量化するベンチマークであるBEDS-Benchをリリースする。 BEDS-Bench の学習アルゴリズムを複数評価した結果,一般に分布シフト下での一般化性能の低下が判明した。
  論文  参考訳（メタデータ） (2021-07-17T05:53:24Z)
• Trajectory-wise Multiple Choice Learning for Dynamics Generalization in Reinforcement Learning [137.39196753245105]
  本稿では,動的一般化のためのマルチヘッドダイナミックスモデルを学習するモデルベース強化学習アルゴリズムを提案する。 文脈学習は,過去の経験から得られる動的情報からコンテキスト潜在ベクトルにエンコードする。 提案手法は,最先端のRL法と比較して,様々な制御タスクにおいて優れたゼロショット一般化性能を示す。
  論文  参考訳（メタデータ） (2020-10-26T03:20:42Z)
• Rethinking Generalization of Neural Models: A Named Entity Recognition Case Study [81.11161697133095]
  NERタスクをテストベッドとして、異なる視点から既存モデルの一般化挙動を分析する。 詳細な分析による実験は、既存のニューラルNERモデルのボトルネックを診断する。 本論文の副産物として,最近のNER論文の包括的要約を含むプロジェクトをオープンソース化した。
  論文  参考訳（メタデータ） (2020-01-12T04:33:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。