E' molto tempo che voglio provare ad eseguire delle operazione su MongoDB utilizzando il Linguaggio C. Sono tantissimi anni che non uso più il C (circa 18.. dai tempi dei CGI sulla WebSphere Commerce Suite di IBM).
apt-get install libmongoc-1.0-0
A questo punto inizio ad analizzare il funzionamento del driver, la documentazione è molto valida.
Il problema che voglio risolvere è un calcolo su un numero elevato di record. Per testing utilizzo il db del Meteo. Il calcolo prevede di prendere i dati presenti nell'archivio delle piogge (Field RC) che sono in realtà un numero incrementale azzerato ad ogni riavvio della console del meteo. Quindi oggi il contatore è 200, domani 200, dopodomani 201, quindi andando per differenza oggi è caduto 1 mm di pioggia.
La struttura dell'object su cui vengono eseguite le query di mongo è la seguente:
I record sono circa 1 M.
per la compilazione del pacchetto basta eseguire il comando:
sudo gcc -o raindata raindata.c utils.c $(pkg-config --cflags --libs libmongoc-1.0)
La cosa molto interessante è la funzionalità di Bulk insert molto simile alle transazione dei classici db relazioni. Ovvero si caricano tutti i dati in una struttura e poi si esegue una flush e tutti i dati vengo inseriti in modo molto veloce.
Non mi soffermo tanto sul calcolo del dato puro ma sulle performance di inserimento.
La prima esecuzione è con insert ripetitive, la seconda con la funzionalità di bulk.
Si passa da 8 minuti a 12 secondi!!
come sempre trovate tutto il sorgente sul github https://github.com/marcoberri/mbmeteomongoc
Nessun commento:
Posta un commento