Benchmark on LLMs and Venues

We rigorously test leading AI models to ensure you get the most accurate, helpful reviews for your research papers. Below you'll find detailed performance metrics comparing the latest LLMs from OpenAI (GPT) and Google (Gemini) across various top-tier computer science conferences.

Try it yourself3 free reviews to start

Privacy and security first

CSPaper ensures all papers remain confidential and legally protected. Content is processed securely and safeguarded under enterprise-level agreements with LLM providers — guaranteeing it is never used to train any model.

Benchmark Metrics

Click on a metric below to view detailed benchmarks

Normalized Mean Absolute Error (NMAE) quantifies how close the predicted paper ratings are to the established ground-truth ratings. Lower NMAE values indicate better alignment between predicted and true review ratings.

Conference31Journal11

Venue	Gemini-3.7-flash	GPT-5.6-terra	GPT-6.1-sol	GLM-5.3-flash	Gemini-3.1-pro	Gemini-4-argon	GLM-5v-turbo	Claude-sonnet-5.5	GPT-5.1	GPT-5.4
ESWAmain	0.250±0.191	0.219±0.173	0.106±0.086	0.250±0.221	0.156±0.145	0.179±0.162	0.188±0.211	0.196±0.232	0.125±0.115	0.200±0.215
FORGEintelligence	0.054±0.077	0.136±0.158	0.171±0.147	0.136±0.138	0.241±0.325	0.150±0.207	0.074±0.099	0.117±0.133	0.066±0.092	0.111±0.143
IJMLCregular	0.263±0.217	0.346±0.191	0.362±0.299	0.221±0.215	0.179±0.128	0.179±0.128	0.238±0.131	0.221±0.094	—	0.332±0.307
JBDregular	0.179±0.202	0.214±0.157	0.107±0.183	0.214±0.213	0.214±0.187	0.188±0.190	0.179±0.098	0.188±0.190	0.214±0.213	0.214±0.157
MLJregular	0.263±0.180	0.143±0.125	0.144±0.094	0.193±0.166	0.302±0.282	0.192±0.166	0.239±0.296	0.258±0.108	0.217±0.152	0.242±0.108
Neurocomputingmain	0.240±0.222	0.270±0.191	0.200±0.246	0.215±0.147	0.190±0.138	0.171±0.113	0.122±0.085	0.171±0.113	0.300±0.206	0.275±0.124
PAAregular	0.062±0.083	0.204±0.216	0.246±0.191	0.121±0.129	0.104±0.105	0.188±0.109	0.121±0.108	0.163±0.187	—	0.121±0.108
SciRepregular	0.300±0.274	0.250±0.177	0.250±0.000	0.100±0.137	0.100±0.137	0.250±0.306	0.200±0.209	0.150±0.137	0.150±0.137	0.150±0.137
TMLRregular	0.386±0.282	0.175±0.121	0.139±0.104	0.250±0.250	0.250±0.224	0.250±0.209	0.236±0.192	0.333±0.246	0.136±0.104	0.182±0.141
ToGregular	0.117±0.102	0.242±0.253	0.200±0.232	0.200±0.232	0.092±0.096	0.133±0.102	0.117±0.151	0.158±0.243	0.158±0.147	—
TVCregular	0.125±0.158	0.125±0.112	0.250±0.237	0.208±0.171	0.125±0.158	0.167±0.151	0.250±0.209	0.250±0.177	—	0.208±0.204
AAAImain technical	0.120±0.131	0.148±0.148	0.116±0.135	0.115±0.101	0.135±0.131	0.083±0.071	0.087±0.093	0.114±0.107	0.150±0.136	0.159±0.130
AAAIsafe and robust AI	0.167±0.267	0.167±0.231	0.278±0.279	0.328±0.285	0.230±0.245	0.241±0.267	0.222±0.271	0.278±0.304	0.238±0.241	0.214±0.227
AAMASmain technical	0.099±0.081	0.180±0.089	0.146±0.072	0.172±0.121	0.165±0.226	0.176±0.155	0.130±0.083	0.370±0.336	0.240±0.256	0.134±0.105
ACLmain	0.162±0.125	0.158±0.109	0.139±0.140	0.121±0.143	0.213±0.147	0.131±0.099	0.094±0.122	0.097±0.094	0.193±0.161	0.154±0.144
AI4MetaScienceall	0.425±0.381	0.300±0.244	0.250±0.125	0.200±0.168	0.200±0.112	0.200±0.244	0.200±0.244	0.200±0.168	0.250±0.250	0.350±0.185
AISTATSAI review author	0.141±0.170	0.141±0.141	0.203±0.115	0.203±0.148	0.203±0.176	0.167±0.151	0.203±0.148	0.250±0.177	0.141±0.104	0.234±0.156
AISTATSmain	0.177±0.175	0.207±0.201	0.191±0.210	0.147±0.155	0.176±0.185	0.194±0.209	0.166±0.152	0.167±0.177	0.231±0.178	0.266±0.261
CoGtechnical and vision	0.137±0.117	0.089±0.125	0.079±0.117	0.137±0.117	0.137±0.174	0.117±0.096	0.156±0.105	0.155±0.133	0.107±0.128	0.100±0.124
CVPRmain	0.231±0.221	0.236±0.218	0.230±0.224	0.186±0.203	0.228±0.205	0.217±0.213	0.204±0.194	0.247±0.198	0.243±0.228	0.242±0.216
DocInsightsall	0.158±0.118	0.102±0.065	0.121±0.138	0.065±0.042	0.176±0.146	0.102±0.082	0.120±0.065	0.102±0.042	0.120±0.108	0.102±0.065
ECML-PKDDresearch	0.207±0.172	0.074±0.093	0.121±0.094	0.117±0.125	0.188±0.191	0.147±0.105	0.164±0.150	0.047±0.066	0.141±0.162	0.102±0.180
EMNLPmain	0.133±0.110	0.062±0.084	0.078±0.065	0.062±0.088	0.117±0.088	0.062±0.105	0.097±0.104	0.083±0.102	0.183±0.114	0.117±0.167
FAccTmain	0.286±0.213	0.143±0.152	0.107±0.112	0.143±0.152	0.250±0.239	0.271±0.229	0.250±0.191	0.104±0.123	—	0.107±0.112
GFMall	0.170±0.117	0.192±0.131	0.175±0.153	0.147±0.137	0.198±0.130	0.203±0.205	0.170±0.117	0.231±0.093	—	0.164±0.016
ICASSPregular paper	0.145±0.183	0.264±0.150	0.208±0.264	0.217±0.236	0.246±0.240	0.194±0.221	0.204±0.182	0.250±0.294	0.290±0.252	0.275±0.239
ICCtechnical symposia	0.273±0.255	0.217±0.175	0.200±0.177	0.200±0.156	0.287±0.272	0.183±0.183	0.222±0.179	0.183±0.223	0.260±0.253	0.233±0.241
ICLRmain	0.158±0.133	0.077±0.094	0.125±0.117	0.109±0.120	0.140±0.120	0.182±0.134	0.094±0.078	0.128±0.089	0.104±0.093	0.119±0.131
ICMEregular	0.130±0.135	0.272±0.140	0.276±0.130	0.189±0.182	0.164±0.160	0.235±0.204	0.191±0.132	0.190±0.201	0.208±0.196	0.253±0.174
ICMLmain	0.219±0.163	0.133±0.086	0.179±0.150	0.120±0.073	0.186±0.135	0.204±0.139	0.176±0.141	0.166±0.134	0.170±0.123	0.135±0.115
ICMLposition	0.164±0.124	0.120±0.097	0.126±0.112	0.141±0.105	0.148±0.107	0.134±0.130	0.139±0.094	0.120±0.103	0.207±0.181	0.169±0.136
IJCAImain	0.127±0.143	0.211±0.133	0.208±0.138	0.178±0.140	0.174±0.143	0.259±0.250	0.111±0.096	0.204±0.163	0.238±0.162	0.190±0.141
IJCAIsurvey	0.188±0.222	0.188±0.222	0.125±0.134	0.094±0.129	0.188±0.222	0.250±0.224	0.062±0.116	0.083±0.129	0.219±0.281	0.062±0.116
IROSmain	0.107±0.073	0.132±0.155	0.104±0.119	0.139±0.154	0.125±0.065	0.113±0.112	0.104±0.076	0.100±0.087	0.086±0.043	0.121±0.109
KDDdatasets and benchmarks	0.242±0.219	0.189±0.179	0.161±0.144	0.189±0.174	0.217±0.205	0.267±0.249	0.217±0.205	0.197±0.193	0.189±0.198	0.180±0.311
KDDresearch	0.192±0.178	0.183±0.183	0.146±0.139	0.183±0.146	0.180±0.107	0.278±0.172	0.148±0.155	0.167±0.149	0.205±0.182	0.231±0.174
NeurIPSdatasets and benchmarks	0.184±0.204	0.210±0.149	0.175±0.175	0.130±0.089	0.161±0.197	0.075±0.069	0.144±0.081	0.225±0.121	0.268±0.187	0.249±0.196
NeurIPSmain	0.233±0.194	0.156±0.150	0.147±0.162	0.156±0.154	0.173±0.168	0.212±0.218	0.151±0.153	0.120±0.162	0.201±0.182	0.140±0.132
SIGIRfull paper	0.113±0.208	0.188±0.230	0.219±0.209	0.163±0.205	0.125±0.202	0.208±0.246	0.264±0.321	0.250±0.224	0.216±0.263	0.163±0.205
SIGIRshort paper	0.082±0.122	0.132±0.104	0.168±0.093	0.168±0.093	0.154±0.192	0.083±0.102	0.154±0.127	0.167±0.151	0.189±0.151	0.132±0.104
TheWebConfresearch	0.116±0.086	0.107±0.094	0.077±0.068	0.166±0.108	0.105±0.085	0.108±0.067	0.115±0.084	0.289±0.112	0.116±0.073	0.149±0.154
WACVmain	0.145±0.093	0.180±0.199	0.150±0.141	0.140±0.097	0.127±0.135	0.167±0.082	0.178±0.156	0.133±0.163	0.273±0.205	0.255±0.129

Understanding NMAE

Interpreting the numbers

Lower NMAE = better alignment. Top-performing models stay below 0.2.
The ± values show standard deviation, reflecting model stability across papers.

How we calculate it

\text{NMAE} = \frac{1}{N} \sum_{i=1}^{N} \frac{|S_{\text{gt}}^{(i)} - S_{\text{pred}}^{(i)}|}{S_{\text{max}} - S_{\text{min}}}

$N$ : the total number of benchmark papers included in the evaluation.

$S_{\text{gt}}^{(i)}$ : ground-truth overall rating of the i-th benchmark paper.

$S_{\text{pred}}^{(i)}$ : predicted overall rating produced by our CSPR agent.

$S_{\text{max}}$ & $S_{\text{min}}$ : venue-specific upper and lower bounds of the rating scale.

Want to learn more?

Explore the research and technical foundations behind CSPaper (a part of Scholar7):

Get high-quality reviews powered by the best AI models

We continuously evaluate and select the best-performing models to ensure you receive accurate, actionable feedback for your research.

Start your free review

Benchmark on LLMs and Venues

Privacy and security first

Benchmark Metrics

Accuracy (NMAE)

Bias (NME)

Ranking (SRC)

Elaborateness (AWC)

Understanding NMAE

Interpreting the numbers

How we calculate it

Want to learn more?

Get high-quality reviews powered by the best AI models