Spring - JPA - Monitor Log Slow Query

 

Per eseguire un monitoraggio delle tempistiche di esecuzione delle query è possibile creare un file di log che contenga i tempi in modo da verificare l'eventuale aggiunta di indici.

Definire le tempistiche di monitoraggio di esecuzione della query nel file di properties:

spring.jpa.properties.hibernate.session.events.log.LOG_QUERIES_SLOWER_THAN_MS=50

Aggiungere il logger nel file logback-spring.xml

<!-- query time debug -->

<appender name="query" class="ch.qos.logback.core.rolling.RollingFileAppender">
<file>queryLog.log</file>
<rollingPolicy class="ch.qos.logback.core.rolling.TimeBasedRollingPolicy">
<fileNamePattern>queryLog.log.%d{yyyy-MM-dd}.%i.gz</fileNamePattern>
<timeBasedFileNamingAndTriggeringPolicy class="ch.qos.logback.core.rolling.SizeAndTimeBasedFNATP">
<maxFileSize>50MB</maxFileSize>
</timeBasedFileNamingAndTriggeringPolicy>
<maxHistory>3</maxHistory>
</rollingPolicy>
<encoder>
<pattern>%m%n</pattern>
</encoder>
</appender>


<logger name="org.hibernate.SQL_SLOW" level="INFO">
<appender-ref ref="query"/>
</logger>

il file generato contiene:

SlowQuery: 297 milliseconds. SQL: 'HikariProxyPreparedStatement@984805610 wrapping com.mysql.cj.jdbc.ClientPreparedStatement: select a.id as col_0_0_ from abc a where a.id > 10'

HAProxy - Halog

HaProxy possiede un suo log analyzer che si chiama halog

halog -srv -ut -H < haproxy.log | column -t

halog -u -H -q < haproxy.log | column -t | more

halog -u -H -q -hs 404 < haproxy.log | column -t | more

viene estratta questa lista dove vengono evidenziate gli errori le chiamate etc per ogni occorrenza.

InfluxDB

 Qualche esperimento veloce con un db time series come Influx DB. Questi db sono specifici per utilizzare dati temporali ed è fornito di alcuni strumenti molto comodi di visualizzazione come Chronograf

Per prima cosa ho installato su una vmware una debian 8, successivamente ho installato influxDB e Chronograf dalla repo seguendo le info sul sito.

Como dataset ho utilizzato il db del meteo sono circa 3M di righe. Importando con un semplice programmino in java.

A questo punto ho iniziato a fare qualche esperimento con Chronograf ottenendo delle visualizzazioni molto esplicative con pochi click.

SqlServer - conflict between "Latin1_General_CI_AS" and "SQL_Latin1_General_CP1_CI_AS"

Capita spesso di avere problemi di collate sui db SqlServer quando si utilizza Hibernate. Soprattuto quando cambia la codifica del db o la versione dello stesso:


Caused by: com.microsoft.sqlserver.jdbc.SQLServerException: Cannot resolve the collation conflict between "Latin1_General_CI_AS" and "SQL_Latin1_General_CP1_CI_AS" in the equal to operation.

SELECT SERVERPROPERTY('EditionId') AS EditionId
GO
use master
GO
ALTER DATABASE [dbaname] SET SINGLE_USER WITH ROLLBACK IMMEDIATE
GO
GO
use [dbaname];
GO
USE [master]
GO
ALTER DATABASE [dbaname] COLLATE Latin1_General_CI_AS
GO
ALTER DATABASE [dbaname] SET MULTI_USER
GO

un query che genera uno script di alter potrebbe essere di aiuto per eseguire la modifica sul singolo campo [via]:

SELECT 'ALTER TABLE [' + SYSOBJECTS.Name + '] ALTER COLUMN [' + SYSCOLUMNS.Name + '] ' +
SYSTYPES.name + 
    CASE systypes.NAME
    WHEN 'text' THEN ' '
    ELSE
    '(' + RTRIM(CASE SYSCOLUMNS.length
    WHEN -1 THEN 'MAX'
    ELSE CONVERT(CHAR,SYSCOLUMNS.length)
    END) + ') ' 
    END

    + ' ' + ' COLLATE Latin1_General_CI_AS ' + CASE ISNULLABLE WHEN 0 THEN 'NOT NULL' ELSE 'NULL' END
    FROM SYSCOLUMNS , SYSOBJECTS , SYSTYPES
    WHERE SYSCOLUMNS.ID = SYSOBJECTS.ID
    AND SYSOBJECTS.TYPE = 'U'
    AND SYSTYPES.Xtype = SYSCOLUMNS.xtype
    AND SYSCOLUMNS.COLLATION IS NOT NULL
    AND NOT ( sysobjects.NAME LIKE 'sys%' )
    AND NOT ( SYSTYPES.name LIKE 'sys%' )
    GO

SqlServer - Verificare lo stato degli indici

Query di comodità per verificare lo stato di deframmentazione degli indici.

L'ultima colonna contiene il comando di rebuild dell'indice.

Comunicazione tra MicroServices in Spring Boot con RabbitMQ

Dopo attenta lettura di documentazione on-line e suggerimenti da amici provo ad eseguire qualche test di comunicazione tra Micro Services utilizzando un gestore di code di messaggi RabbitMQ.

Con una semplice app in Spring Boot, con interfaccia rest,  al richiamo di una path, viene spedito un messaggio al RabbitMQ installato sullo stesso PC in locale.

Per RabbitMQ vi consiglio vivamente di installare il plugin per il management da web

 http://localhost:15672/ guest/guest.

La parte di controller è molto semplice, è un api rest che quando viene richiamata spedisce un messaggio al RabbitMQ e nella stessa classe un metodo che rimane in ascolto sulla stessa coda.


Adesso eseguiamo alcuni stress test:

1.  creiamo diversi file di configurazione di spring per ogni file cambiamo semplicemente la porta.
2. eseguiamo la build del progetto e lanciamo n jar per ogni profiles creato nel file di configurazione yaml.

java -jar rabbit-spring-test-0.0.1.jar  --spring.profiles.active=9001

java -jar rabbit-spring-test-0.0.1.jar  --spring.profiles.active=9002

java -jar rabbit-spring-test-0.0.1.jar  --spring.profiles.active=9003

java -jar rabbit-spring-test-0.0.1.jar  --spring.profiles.active=9004

il vostro desktop diventa qualcosa di delirante...

3. Configuro il jMeter per iniziare ad eseguire chiamate sui quattro server 

http://localhost:900{1-4}/sendMessage

C:\dev\apache-jmeter-5.0\bin> .\jmeter -n -t .\sendmessage.jmx -l tmp\jmeter-o.log -o tmp\dashboard

il file sendmessage.jmx

Client web di RabbitMQ

Riassumendo con jMeter abbiamo spedito 48000 richiese di invio di messaggi alle 4 app Spring Boot.

Le app hanno inviato una richiesta in coda al RabbitMQ che a sua volta per ognuno dei suddetti ha reinviato il messaggio alle 4 app.

In ingresso ha processato 48000 messaggi.

In uscita ha processato 192000 messaggi.

Tutto questo in 1 minuto.

Sorgente completo

Nginx, Angular 6 e FontAwesome 4.7 - Problemi Url

I Modulo npm dei FontAwesome 4.7.0 in Angular aggiunge alla path chiamante del file css l'estensione con la versione:

es: http://xxx.xxx.xx/static/fontawesome-webfont.af7ae505a9eed503f8b8.woff2?v=4.7.0

Nginx non accetta di default la tipologia di file, quindi è necessario modificare il file mime.types, aggiungendo le seguenti tipologie:

application/x-font-ttf ttc ttf;
application/x-font-otf otf;
application/font-woff  woff;
application/font-woff2 woff2;
application/vnd.ms-fontobject eot;

Questa cosa causa nella risposta standard del browser un errore OTP, a questo punto è necessario inserire un regola di rewrite su Nginx per eliminare la parte di estensione non prevista ?v=4.7.0

    location /static/ {
         alias  /opt/static/html/;
         index index.html;

        if ($request_uri ~* ^.+\.(woff2|otf|woff|tff)\?v=(.*)$){
             rewrite ^(.*)$ $uri? permanent;
         }
         try_files $uri$args $uri$args/ $uri/ /index.html =404;
         error_log /var/log/nginx/static_error.log;
         access_log /var/log/nginx/static_access.log;
     }

Esempio completo:

Jasper Report - Report senza query ma solo con params

Il problema nascosto di jasper report è la possibilità di creare un report (con il vecchio iReport) senza dati al suo interno, semplicemente un documento a cui passo un oggetto java e poi elaboro, magari un DTO proveniente da elaborazione di una chiamata API rest o simili.

Il documento non viene generato via java, perché?

E' necessario aggiungere all'XML di jasper una attributo nel ramo principale del file:

<jasperReport ........  whenNoDataType="AllSectionsNoDetail">

a questo punto il report viene correttamente interpretato e renderizzato via java

JasperReport versione 6.1.1

Maven - pacchetti danneggiati

Alle volte capita di avere problemi con il deploy di alcune applicazioni legate alle dipendenze maven causate da file corrotti durante lo scaricamento automatico.

Per risolvere questo problema basta ricercare nella cartella di scaricamento dei pacchetti (solitamente la .m2  nella cartella di windows %userprofile%\.m2)  tutti i file "*-sha1-in" e procedere all'eliminazione della cartella padre.

Eseguire da Eclipse un clean ed un maven update.


[grazie a Domenico]

Angular e SWAPI

Mi sono iscritto ad un corso di  Angular e React tenuto da Antony Mistretta.

Nella prima lezione ci ha suggerito un ottimo sito di API online da utilizzare come sorgenti per delle applicazioni di prova  https://swapi.co con un semplice set di oggetti e di chiamate REST basate su architettura Django. ( Indagando sul web ho trovato anche le https://pokeapi.co/ ma sono veramente troppo complesse... e poi bisogna conoscere il mondo dei pokemon.... )

Per realizzare una piccola demo con Angular per sfruttare le informazioni presenti nel sito ho utilizzato alcuni componenti a me famigliari:

- PrimeNG : personalmente le trovo più complete delle Material
- Compodoc: generatore di documentazione like javadoc molto completo


Alcune funzionalità degne di nota:

- Cache : cache delle chiamate nella sessione del browser, quando devo accedere a elementi uguali ricorrenti salvo l'informazione come chiave valore, dove la chiave è il mio url di chiamata e invece il valore è l'object caricato.

- Estensione dei modelli e dei controller principali con classi di base per ridurre codice in esubero.

Demo: http://swaping.marcoberri.it

Doc: http://swaping.marcoberri.it/documentation/

GitHub : https://github.com/marcoberri/swaping

TODO
- e2e test
- karma test
- Caricamento di un templateUrl dinamico così da utilizzare un solo Componente per gestire tutte le pagine.
- Ricerca sulle tabelle usando i parametri di search

Firefox Portable Custom

Condeterminati applicativa da rilasciare nasce anche l'esigenza di un browser custom per ridurreal minimo il cambio di configurazione da parte dell'utenza che combina sempre disastri sulle configurazioni. Oppure semplicemente per bloccare l'update di firefox o bloccare le impostazione di proxy o configurare forzatamente dei plug-in evitanto che l'utenza possa andare a toccare le configurazioni.

La soluzione è quella di usare una versione portable di Firefox.

Tutte le configurazioni disponibile sono presenti a questo indirizzo e successivamente vediamo come modificarle.

Per accedere manualmente alla configurazioni è possibile digitare da browser About:config.


Per prima cosa è necessario modificare/creare il file \FirefoxPortable\App\Firefox\defaults\pref\autoconfig.js
inserendo riferimenti nel nostro file di configurazione:

pref("general.config.filename", "nomefile.cfg");
pref("general.config.obscure_value", 0);


il nostro file di configurazione: \FirefoxPortable\App\Firefox\nomefile.cfg

//GENERAL - STARTUP

//pagina di default
pref("browser.startup.homepage", "http://miapagina.lan");
lockPref("browser.startup.homepage", "http://miapagina.lan");

pref("browser.startup.page", 1);
lockPref("browser.startup.page", 1);

//lock default brauser
pref("browser.shell.checkDefaultBrowser", false);
lockPref("browser.shell.checkDefaultBrowser", false);

//GENERAL - TABS
pref("browser.tabs.warnOnClose", false);
lockPref("browser.tabs.warnOnClose", false);


//GENERAL - Language and Apparence
pref("layout.spellcheckDefault", 2);
lockPref("layout.spellcheckDefault", 2);


//GENERAL - Browsing
pref("general.autoScroll", true);
lockPref("general.autoScroll", true);

pref("general.smoothScroll", true);
lockPref("general.smoothScroll", true);

pref("accessibility.typeaheadfind", false);
lockPref("accessibility.typeaheadfind", false);

pref("accessibility.browsewithcaret", false);
lockPref("accessibility.browsewithcaret", false);


//GENERAL - Proxy
pref("network.proxy.type",0);
lockPref("network.proxy.type",0);



//GENERAL - Updated

pref("app.update.enabled", false);
lockPref("app.update.enabled", false);

pref("app.update.silent", false);
lockPref("app.update.silent", false);

//expire history
pref("browser.history_expire_days",0);
lockPref("browser.history_expire_days",0);

pref("browser.search.update",false);
lockPref("browser.search.update",false);


//SEARCH
pref("browser.urlbar.autocomplete.enabled",false);
lockPref("browser.urlbar.autocomplete.enabled",false);


//PRIVACY
pref("browser.formfill.enable",false);
lockPref("browser.formfill.enable",false);

pref("browser.cache.disk.enable",true);
lockPref("browser.cache.disk.enable",true);

pref("browser.cache.disk.capacity",5000);
lockPref("browser.cache.disk.capacity",5000);

pref("browser.cache.check_doc_frequency",3);
lockPref("browser.cache.check_doc_frequency",3);

pref("signon.rememberSignons",false);
lockPref("signon.rememberSignons",false);

pref("browser.urlbar.autoFill",false);
lockPref("browser.urlbar.autoFill",false);

pref("browser.preferences.privacy.selectedTabIndex",4);
lockPref("browser.preferences.privacy.selectedTabIndex",4);

//PRIVACY - Permissions
pref("browser.urlbar.showPopup",true);
lockPref("browser.urlbar.showPopup",true);

pref("dom.disable_open_during_load",false);
lockPref("dom.disable_open_during_load",false);

pref("privacy.popups.policy",1);
lockPref("privacy.popups.policy",1);

//PRIVACY - Security
pref("browser.safebrowsing.enabled",true);
lockPref("browser.safebrowsing.enabled",true);

pref("browser.safebrowsing.malware.enabled",true);
lockPref("browser.safebrowsing.malware.enabled",true);

pref("browser.safebrowsing.phishing.enabled",true);
lockPref("browser.safebrowsing.phishing.enabled",true);

pref("signon.prefillForms",false);
lockPref("signon.prefillForms",false);

pref("signon.rememberSignons",false);
lockPref("signon.rememberSignons",false);

pref("signon.expireMasterPassword",true);
lockPref("signon.expireMasterPassword",true);

pref("security.OCSP.enabled",0);
lockPref("security.OCSP.enabled",0);

pref("security.warn_entering_secure",false);
lockPref("security.warn_entering_secure",false);

//VARIE
pref("browser.tabs.warnOnClose",false);
lockPref("browser.tabs.warnOnClose",false);

pref("browser.feedview.showBar",false);
lockPref("browser.feedview.showBar",false);

pref("layout.textarea.spellcheckDefault",true);
lockPref("layout.textarea.spellcheckDefault",true);

//disabilita il messaggio di firefox sulle https
pref("security.insecure_field_warning.contextual.enabled", false);
lockPref("security.insecure_field_warning.contextual.enabled", false);


con la creazione di questo file è possibile personalizzare la parte di contenuti

\FirefoxPortable\Data\profile\chrome\userContent.css

ad esempio se vogliamo eliminare delle voci dalla pagina di configurazione alla fine è una semplice pagina html modificabile da questo css.


@namespace url("http://www.mozilla.org/keymaster/gatekeeper/there.is.only.xul"); /* set default namespace to XUL */

 @-moz-document url("about:preferences") {
#category-sync { display:none!important; }
#category-search { display:none!important; }
}

@-moz-document url("about:addons") {
#category-discover { display:none!important; }
#category-theme { display:none!important; }
#category-plugin { display:none!important; }
#category-service { display:none!important; }
#category-locale { display:none!important; }
#category-dictionary  { display:none!important; }
}

#context-back #context-sep-navigation {
    display:none !important;
}

 Per intercettare le configurazioni basta usare lo strumento di sviluppo integrato:

per eseguire sia firefox portable che firefox installato è necessario inserire questo file nella cartella portable principale.

file: FirefoxPortable.ini

[FirefoxPortable]
FirefoxDirectory=App\firefox
ProfileDirectory=Data\profile
SettingsDirectory=Data\settings
PluginsDirectory=Data\plugins
FirefoxExecutable=firefox.exe
AdditionalParameters=-contentLocale it -UILocale it
LocalHomepage=
DisableSplashScreen=false
AllowMultipleInstances=true
DisableIntelligentStart=false
SkipCompregFix=false
RunLocally=false

Test Syma X8HW con Andoer 4k

Potenziare la camera del Syma X8HW è stato un test ottimo effettuato nel periodo estivo. Dopo varie ricerche e articoli non volendo spendere cifre eccessive trovo questa Andoer 4k 1080P Wifi Cam 16 MP Action Camera 5,08 cm (2") Ultra HD LCD 170°

Modificate anche le slitte di atterraggio e blocco porta camera

Ecco una prova veloce con 4K per verificarne la qualità.

naturalmente con la colonna sonora dei Doctor Groove .... :)

MongoDB, C and Bulk Operation

E' molto tempo che voglio provare ad eseguire delle operazione su MongoDB utilizzando il Linguaggio C. Sono tantissimi anni che non uso più il C (circa 18.. dai tempi dei CGI sulla WebSphere Commerce Suite di IBM).

Per prima cosa vediamo come installare sotto Debian/Ubuntu il driver con i relativi sorgenti.

apt-get install libmongoc-1.0-0

A questo punto inizio ad analizzare il funzionamento del driver, la documentazione è molto valida.

Il problema che voglio risolvere è un calcolo su un numero elevato di record. Per testing utilizzo il db del Meteo. Il calcolo prevede di prendere i dati presenti nell'archivio delle piogge (Field RC) che sono in realtà un numero incrementale azzerato ad ogni riavvio della console del meteo. Quindi oggi il contatore è 200, domani 200, dopodomani 201, quindi andando per differenza oggi è caduto 1 mm di pioggia.

La struttura dell'object su cui vengono eseguite le query di mongo è la seguente:

 I record sono circa 1 M.

per la compilazione del pacchetto basta eseguire il comando:


sudo gcc -o raindata raindata.c utils.c $(pkg-config --cflags --libs libmongoc-1.0)

 La cosa molto interessante è la funzionalità di Bulk insert molto simile alle transazione dei classici db relazioni. Ovvero si caricano tutti i dati in una struttura e poi si esegue una flush e tutti i dati vengo inseriti in modo molto veloce.

Non mi soffermo tanto sul calcolo del dato puro ma sulle performance di inserimento. 

La prima esecuzione è con insert ripetitive, la seconda con la funzionalità di bulk. 

Si passa da 8 minuti a 12 secondi!!

come sempre trovate tutto il sorgente sul github https://github.com/marcoberri/mbmeteomongoc

SqlServer 2014 - Spring Oauth2 Sql Table Script

Script per la creazione delle tabelle di Spring Security per la gestione del Oauth2 sul db di SQLServer 2014

https://gist.github.com/marcoberri/b02d5c523c0e511bdd18bda18ee5eb38

Microservices : Spring Boot + Eureka + Zuul + OAuth2

Esempio completo della gestione a Microservices con Spring Boot e tutto il pacchetto completo  di gestione di proxy e bilanciamento. Per la gestione dell'autenticazione sempre attraverso i services di spring con Oauth2. L'esempio è basato su Jpa su Hibernate e MySql.

Trovate i sorgenti completi https://github.com/marcoberri/microservices-example

Gestione della security

Syma - X8HW

Regalo di Natale Graditissimo!!!

Un bellissimo Syma X8HW.

Il mio primo drone è stato un syma e questo regalato da Cinzia dimostra come si sono evoluti negli ultimi 4 anni. Abbiamo una stabilità per i filmati ottima, è quasi impossibile schiantarlo per una manovra sbagliata facendolo ribaltare in aria. La stabilità data dalle dimensioni delle eliche e dalle dimensioni è formidabile, certo non è paragonabile ad un 250 da race ma per filmati da molta affidabilità paragonata al prezzo.

Ecco un video fresco fresco...

Il mantenimento dell'altitudine è buono, essendo molto leggero una bava di vento laterale lo rende meno manovrabile e meno stabile. A mio parere per panoramiche a 360 gradi è utile usarlo in assenza di vento per avere un discorso di stabilità laterale.

WpScan - Trovare le criticità del vostro blog in Wordpress

Stavo cercando un tool per analizzare le criticità esposte di un Wordpress.
Cosa di meglio di WpScan compreso nella distribuzione linux Kali...
I risultati sono stupefacenti quanto paurosi....

Bilanciare due Tomcat con apache 2.4

Capita spesso di dover realizzare un servizio session-less che punti a due o più nodi di tomcat pilotati da un classico balancer di apache2.

Ecco l'esperimento su una macchina virtuale.

MongoDB - Backup di grandi db

Nasce, molte volte, il problema di eseguire un backup su una grande mole di dati.

Uno dei modi possibili (vedi doc) è prendere i file dei db di mongo e semplicemente copiarli.

Il nostro problema nasce che non tutti i db devono essere backuppati per essere ribaltati, e il nome dei file di archivio di mongo non sono parlanti.

Una soluzione e configurare ogni db in una singola cartella con i parametri di configurazione

storage.directoryPerDB

un'altro parametro ottimo è:

storage.wiredTiger.engineConfig.directoryForIndexes

i db vengono archiviati in cartelle separate e divisi in due cartelle collections e index così eventualmente in fase di copia dei dati è possibile escludere le folder degli indici risparmiando spazio e tempo.

Questa configurazione necessita di un mongodump e un mongorestore. In caso di ReplicaSet basta fermare il primario, svuotare le cartelle, cambiare le conf e attendere che si replichi con il secondario che è diventato primario. Al termine il primario diventa nuovamente secondario e viceversa.

MongoDB version 3.0.7

MongoDB - Script to Delete all collection with exclusion

Semplice script per eliminare tutte le collection di un db ad esclusione di una lista di collection.