論文の概要: AI-assisted pre-review of open-source software submissions: an experience report from BOSC 2026
- arxiv url: http://arxiv.org/abs/2607.27228v1
- Date: Tue, 14 Jul 2026 00:23:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-02 22:55:39.104105
- Title: AI-assisted pre-review of open-source software submissions: an experience report from BOSC 2026
- Title（参考訳）: AIによるオープンソースソフトウェア提出の事前レビュー:BOSC 2026の経験報告
- Abstract要約: レビュー基準を6つ評価するエージェントスキルであるbosc-pre-reviewと、使用不可能なDockerコンテナでプロジェクトのビルドとテストを行なうRunabillyを構築しました。
レビュー期間の後、レビューがどの程度有用かを調べるために、レビュー担当者を調査した。回答した人たちの多くは、AIの結果を疑わしいほど受け入れるのではなく、AIの結論を彼ら自身で確認することを好んだ。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Most conferences rely on peer-review of submissions, but as generative AI makes it easier than ever to prepare submission materials, some conferences are seeing an overwhelming surge of submissions. We wanted to see if generative AI could help our conference's volunteer reviewers by pre-reviewing abstracts for certain criteria. The Bioinformatics Open Source Conference (BOSC) was well-positioned to experiment with this, as we already had a detailed rubric used by reviewers to evaluate submitted abstracts on multiple criteria, including openness (public availability of the code or other content associated with the project), valid open source license, and "runnability" (how easy it is to download, build, and run the project - an important measure of reusability). For BOSC 2026, we built bosc-pre-review, an agentic skill that assessed six review criteria, and Runabilly, which builds and tests each project in a disposable Docker container for safety. The AI only gathered evidence to present to the reviewers; humans made every decision regarding the acceptance of the abstracts. After the review period, we surveyed the reviewers to determine how useful they found the pre-review. Most of those who responded said they found it useful, but they preferred to check the AI's conclusions against their own, rather than accepting the AI results unquestioningly.
- Abstract（参考訳）: ほとんどのカンファレンスは応募のピアレビューに頼っているが、生成的AIによって提出資料の準備がこれまで以上に簡単になるため、いくつかのカンファレンスでは提出書類が圧倒的に急増している。
生成AIが、特定の基準の抽象化を事前レビューすることで、カンファレンスのボランティアレビュアーに役立てられるかどうかを確かめたかったのです。
Bioinformatics Open Source Conference(BOSC)は、オープンネス(コードまたはプロジェクトに関連する他のコンテンツの公開)、有効なオープンソースライセンス、そして"実行可能性(プロジェクトのダウンロード、ビルド、実行がいかに簡単か)など、複数の基準で提案された抽象化を評価するために、レビュアーが使用した詳細なルーリックをすでに持っていたので、これを試すのに適しています。
BOSC 2026では、6つのレビュー基準を評価するエージェントスキルであるbosc-pre-reviewと、使用不可能なDockerコンテナでプロジェクトのビルドとテストを行なうRunabillyを構築しました。
AIはレビュアーに提示する証拠のみを集め、人間は抽象概念の受容についてあらゆる決定を下した。
レビュー期間終了後、レビュー担当者を調査して、事前レビューがどれほど有用かを確認しました。
しかし、AIの結果を不審に受け入れるのではなく、AIの結論を彼ら自身で確認することを好んだ。
関連論文リスト
- No Hidden Prompts Needed! You Can Game AI Peer Review with Presentation-Only Revisions [43.03725702558361]
隠れテキストなし、プロンプトインジェクションなし、メソッド、実験、数値、方程式、証明、数値結果の変更なし。
攻撃者は、抽象的、コントリビューション・フレーミング、関連する作業、議論、物語構造など、プレゼンテーションレベルのコンテンツのみを変更する。
3つの主要なAIレビュアーの中で、敵対的再パッケージングは75.1%の攻撃成功率と平均スコアの+1.21/10を達成する。
論文 参考訳（メタデータ） (2026-06-11T08:30:18Z) - Can AI Review Improve Paper Drafting? An Empirical Study on 20 Computer Architecture Submissions [4.04252733799147]
我々は、AIレビューが人間のレビューとどのように一致しているかを明らかにするために、さまざまなレベルの提出系統を持つ20のコンピュータアーキテクチャー論文を調査する。
このケーススタディを実行するために、Web UI統合ツールであるemphAI-Paper-Reviewを構築し、ドラフトペーパーの構造化AIレビューを生成する。
論文 参考訳（メタデータ） (2026-05-31T05:05:26Z) - When AI reviews science: Can we trust the referee? [73.47745294608072]
私たちは、トレーニングとデータ検索、デスクレビュー、深いレビュー、反論、システムレベルといった、レビューライフサイクル全体のアタックをマップします。
評価スコアに高名度フレーミング, 断定力, 反抗薬効, 文脈中毒の因果効果を分離するために, 2つの高度なLCMベースの審判を用いた。
論文 参考訳（メタデータ） (2026-04-26T08:03:32Z) - AI-Assisted Peer Review at Scale: The AAAI-26 AI Review Pilot [45.90272517740283]
本稿では,AI支援ピアレビューの大規模展開について報告する。
AAAI-26のすべてのメイントラックは、最先端のシステムから明確に特定されたAIレビューを受け取りました。
論文 参考訳（メタデータ） (2026-04-15T14:51:07Z) - CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。
また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
論文 参考訳（メタデータ） (2025-08-28T06:03:11Z) - General Scales Unlock AI Evaluation with Explanatory and Predictive Power [57.7995945974989]
ベンチマークはAIの進歩を導くものだが、汎用AIシステムには限られた説明力と予測力を提供している。
私たちは、一般的なAIベンチマークが実際に何を計測しているかを説明することができる、AI評価のための一般的な尺度を紹介します。
私たちの完全に自動化された方法論は、飽和しない一般的なスケールにインスタンス要求を配置する18の新しく作られたルーリックの上に構築されます。
論文 参考訳（メタデータ） (2025-03-09T01:13:56Z) - The AI Review Lottery: Widespread AI-Assisted Peer Reviews Boost Paper Scores and Acceptance Rates [11.076575064576149]
我々は,2024年国際学習表現会議において,AI支援ピアレビューの有病率と影響について検討した。
我々は、AIによるレビューが応募スコアに与える影響を推定する。
我々は、AI支援レビューがピアレビュープロセスに即したものであることを示す。
論文 参考訳（メタデータ） (2024-05-03T14:56:43Z) - Algorithmic Persuasion Through Simulation [51.23082754429737]
本研究では、送信者が受信機にバイナリアクションを取るよう説得するベイズ説得ゲームについて検討する。
送信者は、製品の品質などの世界の(実価値の高い)状態について通知されるが、受信者の信念やユーティリティに関する情報は限られている。
顧客の調査やユーザスタディ、最近のAIの進歩によって、送信側は受信者についてより深く学ぶことができるようになりました。
論文 参考訳（メタデータ） (2023-11-29T23:01:33Z) - Near-Optimal Reviewer Splitting in Two-Phase Paper Reviewing and
Conference Experiment Design [76.40919326501512]
総割り当ての類似性を最大化するために、レビュアーを段階または条件に分けるにはどうすればいいのか?
実会議データに関連する複数のデータセットに対して、ランダムに位相/条件を均一に分割することで、オラクルの最適割り当てとほぼ同等の割り当てが可能であることを実証的に示す。
論文 参考訳（メタデータ） (2021-08-13T19:29:41Z) - Can We Automate Scientific Reviewing? [89.50052670307434]
我々は、最先端自然言語処理(NLP)モデルを用いて、科学論文の第一パスピアレビューを生成する可能性について論じる。
我々は、機械学習領域で論文のデータセットを収集し、各レビューでカバーされているさまざまなコンテンツに注釈を付け、レビューを生成するために論文を取り込み、ターゲットの要約モデルを訓練する。
総合的な実験結果から、システム生成レビューは、人間によるレビューよりも、論文の多くの側面に触れる傾向にあることが示された。
論文 参考訳（メタデータ） (2021-01-30T07:16:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。