論文の概要: ConfReady: A RAG based Assistant and Dataset for Conference Checklist Responses
- arxiv url: http://arxiv.org/abs/2408.04675v2
- Date: Fri, 19 Sep 2025 16:49:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-22 18:18:10.75578
- Title: ConfReady: A RAG based Assistant and Dataset for Conference Checklist Responses
- Title（参考訳）: ConfReady: カンファレンスチェックリスト応答のためのRAGベースのアシスタントとデータセット
- Authors: Michael Galarnyk, Rutwik Routu, Vidhyakshaya Kannan, Kosha Bheda, Prasun Banerjee, Agam Shah, Sudheer Chava,
- Abstract要約: ARR Responsible NLP Research checklist Webサイトは、"チェックリストは責任ある研究のためにベストプラクティスを促進するように設計されている"と述べている。
我々はConfReadyを紹介した。これは検索拡張世代(RAG)アプリケーションで、著者が自分の仕事を振り返り、会議チェックリストで著者を支援するのに使用できる。
チェックリストアシスタントを評価するために、1,975個のACLチェックリスト応答のデータセットをキュレートし、人間の回答の問題を解析し、評価サブセットに基づいてRAGとLarge Language Model(LM)をベンチマークする。
- 参考スコア（独自算出の注目度）: 5.170485483791494
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The ARR Responsible NLP Research checklist website states that the "checklist is designed to encourage best practices for responsible research, addressing issues of research ethics, societal impact and reproducibility." Answering the questions is an opportunity for authors to reflect on their work and make sure any shared scientific assets follow best practices. Ideally, considering a checklist before submission can favorably impact the writing of a research paper. However, previous research has shown that self-reported checklist responses don't always accurately represent papers. In this work, we introduce ConfReady, a retrieval-augmented generation (RAG) application that can be used to empower authors to reflect on their work and assist authors with conference checklists. To evaluate checklist assistants, we curate a dataset of 1,975 ACL checklist responses, analyze problems in human answers, and benchmark RAG and Large Language Model (LM) based systems on an evaluation subset. Our code is released under the AGPL-3.0 license on GitHub, with documentation covering the user interface and PyPI package.
- Abstract（参考訳）: ARR Responsible NLP Research checklist Webサイトは、「チェックリストは、責任ある研究のためにベストプラクティスを奨励し、研究倫理、社会的影響、再現性の問題に対処するために設計されている」と述べている。
質問に答えることは、著者が自身の業績を反映し、共有された科学的資産がベストプラクティスに従うことを確実にする機会である。
理想的には、提出前のチェックリストを考慮すると、研究論文の執筆に好影響を与える可能性がある。
しかし、以前の研究では、自己申告されたチェックリスト応答が必ずしも論文を正確に表現するとは限らないことが示されている。
本研究では,著者が作業の振り返りや会議チェックリスト作成を支援するために使用できる検索拡張世代(RAG)アプリケーションであるConfReadyを紹介する。
チェックリストアシスタントを評価するために、1,975個のACLチェックリスト応答のデータセットをキュレートし、人間の回答の問題を解析し、評価サブセットに基づいてRAGとLarge Language Model(LM)をベンチマークする。
私たちのコードはGitHubのAGPL-3.0ライセンスでリリースされています。
関連論文リスト
- Checklists Are Better Than Reward Models For Aligning Language Models [99.1896531064102]
チェックリストフィードバックからの強化学習(RLCF)を提案する。
指示からチェックリストを抽出し,各項目の応答がどの程度満足するかを評価する。
これらのスコアをAI判断器と特殊検証器プログラムの両方を用いて組み合わせ、RLの報酬を計算する。
論文 参考訳（メタデータ） (2025-07-24T17:58:00Z) - Do AI models help produce verified bug fixes? [62.985237003585674]
大規模言語モデルは、ソフトウェアバグの修正に使用される。
本稿では,プログラマが大規模言語モデルを用いて,自身のスキルを補完する方法について検討する。
その結果は、プログラムバグに対する保証された修正を提供するAIとLLMの適切な役割への第一歩となる。
論文 参考訳（メタデータ） (2025-07-21T17:30:16Z) - From Prompting to Alignment: A Generative Framework for Query Recommendation [36.541332088115105]
本稿では,クエリ生成とユーザの好みを一致させる生成クエリ推薦(GQR)フレームワークを提案する。
具体的には、多様なクエリレコメンデーションタスクを普遍的なプロンプトフレームワークで統一する。
また,クエリワイドCTR予測器をプロセス報酬モデルとしてトレーニングするCTRアライメントフレームワークを提案する。
論文 参考訳（メタデータ） (2025-04-14T13:21:29Z) - ACL-rlg: A Dataset for Reading List Generation [8.526112833986183]
ACL-rlgは,最大規模のオープンエキスパート注釈付き読解リストデータセットである。
従来の学術検索エンジンと索引付け手法は、この課題に対して不十分に機能する。
論文 参考訳（メタデータ） (2024-12-30T07:48:32Z) - Usefulness of LLMs as an Author Checklist Assistant for Scientific Papers: NeurIPS'24 Experiment [59.09144776166979]
大規模言語モデル(LLM)は、科学的ピアレビューを支援する上で有望だが議論の余地のあるツールである。
本研究は,論文提出を提出基準に適合させるツールとして,会議環境におけるLCMの有用性を評価する。
論文 参考訳（メタデータ） (2024-11-05T18:58:00Z) - Exploring Requirements Elicitation from App Store User Reviews Using Large Language Models [0.0]
本研究は,大規模言語モデルのパワーを活用して,ユーザレビューの分析を行い,自動要求の導出を行うアプローチを提案する。
有用性を示すようにラベル付けされたアプリレビューのデータセット上に,確立された3つのLMM BERT, DistilBERT, GEMMAを微調整した。
評価の結果、BERTの精度は92.40%、F1スコアは92.39%であり、有用レビューを正確に分類する効果が示された。
論文 参考訳（メタデータ） (2024-09-23T18:57:31Z) - Is ChatGPT a Good Software Librarian? An Exploratory Study on the Use of ChatGPT for Software Library Recommendations [3.1911318265930944]
ChatGPTは、人間の開発者よりも10%近い頻度でサードパーティのライブラリを使用している。
14.2%の推奨ライブラリには制限付きのコピーレフトライセンスがあり、ChatGPTは明示的に通信しなかった。
LLM生成コードをプロジェクトに統合する前に、厳格な依存性管理プラクティスとライブラリライセンスの二重チェックを実装することを推奨します。
論文 参考訳（メタデータ） (2024-08-09T15:36:59Z) - I Need Help! Evaluating LLM's Ability to Ask for Users' Support: A Case Study on Text-to-SQL Generation [60.00337758147594]
本研究では,LLMのユーザサポートを積極的に行う能力について検討する。
性能改善とユーザ負担のトレードオフを評価する指標を提案する。
我々の実験は、外部からのフィードバックがなければ、多くのLCMがユーザサポートの必要性を認識するのに苦労していることを示している。
論文 参考訳（メタデータ） (2024-07-20T06:12:29Z) - LitLLM: A Toolkit for Scientific Literature Review [15.785989492351684]
本稿では,RAG(Retrieval Augmented Generation)の原理に基づくツールキットを提案する。
本システムはまず,関連論文を検索するWeb検索を開始する。
第2に、ユーザが提供する抽象化に基づいて、検索した論文を再ランクする。
第3に、再ランクされた結果と要約に基づいて、関連する作業部を生成する。
論文 参考訳（メタデータ） (2024-02-02T02:41:28Z) - The Shifted and The Overlooked: A Task-oriented Investigation of
User-GPT Interactions [114.67699010359637]
実際のユーザクエリの大規模なコレクションをGPTに解析する。
ユーザインタラクションでは'設計'や'計画'といったタスクが一般的だが,従来のNLPベンチマークとは大きく異なる。
論文 参考訳（メタデータ） (2023-10-19T02:12:17Z) - CRUISE-Screening: Living Literature Reviews Toolbox [8.292338880619061]
CRUISE-Screeningは、生物文学レビューを行うためのウェブベースのアプリケーションである。
APIを通じて複数の検索エンジンに接続しており、定期的に検索結果を更新することができる。
論文 参考訳（メタデータ） (2023-09-04T15:58:43Z) - Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。
この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
論文 参考訳（メタデータ） (2023-05-23T17:27:50Z) - Editable User Profiles for Controllable Text Recommendation [66.00743968792275]
制御可能なテキストレコメンデーションのための新しい概念値ボトルネックモデル LACE を提案する。
LACEは、人間の読みやすい概念の簡潔なセットで各ユーザーを表現する。
ユーザ文書に基づいて概念のパーソナライズされた表現を学習する。
論文 参考訳（メタデータ） (2023-04-09T14:52:18Z) - Recommendation Systems in Libraries: an Application with Heterogeneous
Data Sources [66.81627042740679]
Reading&Machineプロジェクトは、デジタル化のサポートを利用して、ライブラリの魅力を高め、ユーザエクスペリエンスを向上させる。
プロジェクトでは、ユーザが意思決定プロセスにおいて、ユーザが興味を持つであろう書籍のリストをレコメンデーションシステム(RecSys)で作成するアプリケーションを実装している。
論文 参考訳（メタデータ） (2023-03-21T11:13:01Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。