論文の概要: An End-to-End System for Reproducibility Assessment of Source Code
Repositories via Their Readmes
- arxiv url: http://arxiv.org/abs/2310.09634v1
- Date: Sat, 14 Oct 2023 18:01:11 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-17 19:10:22.099982
- Title: An End-to-End System for Reproducibility Assessment of Source Code
Repositories via Their Readmes
- Title（参考訳）: ソースコードリポジトリの読み書きによる再現性評価のためのエンドツーエンドシステム
- Authors: Ey\"up Kaan Akdeniz, Selma Tekir, Malik Nizar Asad Al Hinnawi
- Abstract要約: 本稿では,ソースコードリポジトリのReadmeファイルで動作するエンドツーエンドシステムを提案する。
システムは、セクションスコアを組み合わせるカスタム機能に基づいてスコアを生成する。
Readmeファイルのセクションにスコアを直接関連付けることができるので、説明可能性に関する利点がある。
- 参考スコア（独自算出の注目度）: 0.138120109831448
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Increased reproducibility of machine learning research has been a driving
force for dramatic improvements in learning performances. The scientific
community further fosters this effort by including reproducibility ratings in
reviewer forms and considering them as a crucial factor for the overall
evaluation of papers. Accompanying source code is not sufficient to make a work
reproducible. The shared codes should meet the ML reproducibility checklist as
well. This work aims to support reproducibility evaluations of papers with
source codes. We propose an end-to-end system that operates on the Readme file
of the source code repositories. The system checks the compliance of a given
Readme to a template proposed by a widely used platform for sharing source
codes of research. Our system generates scores based on a custom function to
combine section scores. We also train a hierarchical transformer model to
assign a class label to a given Readme. The experimental results show that the
section similarity-based system performs better than the hierarchical
transformer. Moreover, it has an advantage regarding explainability since one
can directly relate the score to the sections of Readme files.
- Abstract（参考訳）: 機械学習研究の再現性の向上は、学習性能を劇的に向上させる原動力となった。
科学的コミュニティは、レビュアーフォームに再現性評価を組み込むことにより、この取り組みをさらに促進し、それらが論文の全体評価の重要な要素であると考えている。
ソースコードを伴って作業を再現するには不十分です。
共有コードは、ML再現性チェックリストも満たすべきである。
本研究は,ソースコードを用いた論文の再現性評価を支援することを目的とする。
本稿では,ソースコードリポジトリのReadmeファイルで動作するエンドツーエンドシステムを提案する。
このシステムは、研究のソースコードを共有するために広く使用されているプラットフォームによって提案されたテンプレートに対する、所定のreadmeの準拠をチェックする。
本システムは,セクションスコアを組み合わせたカスタム関数に基づいてスコアを生成する。
また、与えられたReadmeにクラスラベルを割り当てるために階層変換モデルをトレーニングします。
実験の結果,断面類似度に基づくシステムは階層変換器よりも優れた性能を示した。
さらに、readmeファイルのセクションに直接スコアを関連付けることができるため、説明可能性に関しても利点がある。
関連論文リスト
- Core: Robust Factual Precision with Informative Sub-Claim Identification [44.36892500212747]
スコアを人工的にインフレーションするために、明らかまたは反復的なサブステートメントを追加することで、人気のあるメトリクスを操作できることを観察する。
この観察は、Coreと呼ばれる新しいカスタマイズ可能なプラグインとプレイのサブステート選択コンポーネントを動機付けます。
Coreによって強化された多くの一般的な事実精度指標が、幅広い知識領域においてかなり堅牢であることを示す。
論文 参考訳（メタデータ） (2024-07-04T01:51:38Z) - Advanced Detection of Source Code Clones via an Ensemble of Unsupervised Similarity Measures [0.0]
本研究では,コード類似度評価のための新しいアンサンブル学習手法を提案する。
鍵となる考え方は、様々な類似度尺度の強みが互いに補完し、個々の弱点を軽減することである。
論文 参考訳（メタデータ） (2024-05-03T13:42:49Z) - Fact Checking Beyond Training Set [64.88575826304024]
本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。
本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。
次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
論文 参考訳（メタデータ） (2024-03-27T15:15:14Z) - Synthesizing Sentiment-Controlled Feedback For Multimodal Text and Image Data [21.247650660908484]
我々は,大規模な制御可能なマルチモーダルフィードバック合成データセットを構築し,制御可能なフィードバック合成システムを提案する。
このシステムは、テキスト入力と視覚入力のためのエンコーダ、デコーダ、および制御性ブロックを備えている。
CMFeedデータセットには、画像、テキスト、投稿に対する反応、関連スコアによる人間のコメント、これらのコメントに対する反応が含まれている。
これらの反応はモデルに特定の感情でフィードバックを生成するよう訓練し、感情分類の精度は77.23%であり、制御不能な精度より18.82%高い。
論文 参考訳（メタデータ） (2024-02-12T13:27:22Z) - Attributable and Scalable Opinion Summarization [79.87892048285819]
我々は、頻繁なエンコーディングを復号することで抽象的な要約を生成し、同じ頻繁なエンコーディングに割り当てられた文を選択して抽出的な要約を生成する。
本手法は,要約プロセスの一部として要約を生成するために使用される文を同定するため,帰属的手法である。
なぜなら、アグリゲーションはトークンの長いシーケンスではなく、潜在空間で実行されるからである。
論文 参考訳（メタデータ） (2023-05-19T11:30:37Z) - RepoCoder: Repository-Level Code Completion Through Iterative Retrieval
and Generation [96.75695811963242]
RepoCoderはリポジトリレベルのコード補完プロセスを合理化するフレームワークである。
類似性ベースのレトリバーと、事前訓練されたコード言語モデルが組み込まれている。
バニラ検索で拡張されたコード補完アプローチよりも一貫して優れています。
論文 参考訳（メタデータ） (2023-03-22T13:54:46Z) - UnifieR: A Unified Retriever for Large-Scale Retrieval [84.61239936314597]
大規模な検索は、クエリを与えられた巨大なコレクションから関連ドキュメントをリコールすることである。
事前学習型言語モデル(PLM)に基づく最近の検索手法は,高密度ベクターあるいはレキシコンに基づくパラダイムに大別することができる。
本論文では,高密度ベクトルとレキシコンに基づく検索を2つの表現能力を持つ1つのモデルで統合する学習フレームワークUnifieRを提案する。
論文 参考訳（メタデータ） (2022-05-23T11:01:59Z) - Autoregressive Search Engines: Generating Substrings as Document
Identifiers [53.0729058170278]
自動回帰言語モデルは、回答を生成するデファクト標準として現れています。
これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。
本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
論文 参考訳（メタデータ） (2022-04-22T10:45:01Z) - CARLA: A Python Library to Benchmark Algorithmic Recourse and
Counterfactual Explanation Algorithms [6.133522864509327]
CARLA (Counterfactual And Recourse LibrAry) は、対物的説明法をベンチマークするピソンライブラリである。
提案手法は,11種類の反事実的説明手法の広範なベンチマークを提供する。
また,将来的対実的説明法の研究のためのベンチマークフレームワークも提供する。
論文 参考訳（メタデータ） (2021-08-02T11:00:43Z) - A Transformer-based Approach for Source Code Summarization [86.08359401867577]
コードトークン間のペア関係をモデル化することにより,要約のためのコード表現を学習する。
アプローチは単純であるにもかかわらず、最先端技術よりもかなりの差があることが示される。
論文 参考訳（メタデータ） (2020-05-01T23:29:36Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。