Aldolat.it — Post con tag Bash

Concatenare più file CSV

aldolat@gmail.com (Aldo Latino) — Sat, 19 Oct 2024 09:31:07 +0200

Concatenare molti file CSV, tenendo l'intestazione dei dati una volta sola, può essere un incubo, ma con Linux è molto semplice farlo.

* * *

Ultimamente ho avuto l’esigenza di unire tantissimi file di testo in formato .csv in modo da poterli riutilizzare altrove. Ogni file era composto da una riga di intestazione e dai dati a seguire. La mia esigenza era di unirli tutti assieme, mettendo un’unica intestazione con tutti i dati dopo di essa. Come si possono unire 622 file in questo modo con Linux?

La situazione

Supponiamo che stiamo lavorando col terminale dentro la directory job e che i file .csv siano in una sotto-directory chiamata dati:

job/
├── dati
│   ├── file-001.csv
│   ├── file-002.csv
│   ├── file-003.csv
│   ├── ...

Ogni file .csv è composto così:

LOCALITA;DATA;TMEDIA °C;TMIN °C;TMAX °C;...
Roma;1/5/2010;"17";"10";"22";...
Roma;2/5/2010;"17";"13";"21";...
Roma;3/5/2010;"18";"16";"21";...
...

La prima riga è l’intestazione, le successive i dati veri e propri. L’idea è quella di prelevare la riga di intestazione dal primo file e successivamente di prelevare tutte le righe da tutti i file, escludendo però la prima riga, che abbiamo già prelevato e che è identica in ogni file. Per il nostro scopo possiamo usare head e tail, in un unico comando.

Il comando

Il glorioso ed efficiente comando è:

head -n 1 dati/file-001.csv > unito.csv && tail -n+2 -q dati/*.csv >> unito.csv

Vediamolo nel dettaglio. Il comando è composto da due comandi distinti:

head ... && tail ...

Il primo comando (head -n 1) preleva dal primo file (ma potrebbe essere qualunque file, visto che tutti hanno la stessa intestazione dati) la riga di intestazione e la scrive nel file unito.csv dentro la directory job, esternamente quindi alla directory dati.

Il secondo (tail -n+2) preleva da tutti file .csv tutte le righe a partire dalla seconda e le accoda al file unito.csv. Il parametro -q dice a tail di non scrivere, prima di ogni blocco di testo accodato nel file unito.csv, la riga da cui ha prelevato il blocco stesso. Se togliessimo -q il risultato sarebbe qualcosa del tipo:

LOCALITA;DATA;TMEDIA °C;TMIN °C;TMAX °C;...
==> dati_meteo_roma/2010_05_Maggio_roma.csv <==
Roma;1/5/2010;"17";"10";"22";...
Roma;2/5/2010;"17";"13";"21";...
Roma;3/5/2010;"18";"16";"21";...
...
==> dati_meteo_roma/2010_06_Giugno_roma.csv <==
Roma;1/6/2010;"18";"13";"23";...
Roma;2/6/2010;"18";"15";"23";...
Roma;3/6/2010;"17";"11";"22";...
...

Con il parametro -q, invece, i dati saranno posti uno sotto l’altro:

LOCALITA;DATA;TMEDIA °C;TMIN °C;TMAX °C;...
Roma;1/5/2010;"17";"10";"22";...
Roma;2/5/2010;"17";"13";"21";...
Roma;3/5/2010;"18";"16";"21";...
...
Roma;30/5/2010;"22";"16";"27";...
Roma;31/5/2010;"20";"16";"25";...
Roma;1/6/2010;"18";"13";"23";...
Roma;2/6/2010;"18";"15";"23";...
Roma;3/6/2010;"17";"11";"22";...
...

Quanto tempo e lavoro sarebbe stato necessario se avessimo dovuto farlo manualmente?

L'articolo Concatenare più file CSV è uno scritto di aldolat.it. Rispettane le condizioni di licenza.

Cancellare righe con sed

aldolat@gmail.com (Aldo Latino) — Tue, 26 Apr 2022 20:55:01 +0200

Nel processo di migrazione a Hugo dovevo modificare in tantissimi file di testo alcune righe, un po’ come già successo qui. Oggi dovevo cancellare dal Front matter alcune righe. Un lavoro noiosissimo da fare a mano.

Cancellare una riga soltanto

Dovevo cancellare la riga contenente questa stringa:

url: /vecchio/indirizzo/da/cancellare

Mi è bastato questo comando di sed:

sed -i '/url:/d' *.md

Cancellare una riga e la successiva

In questo caso la situazione è un po’ più complessa. Le righe da cancellare erano queste due:

dsq_thread_id:
  - 123456789

Come si vede, bisognava cancellare ben due righe. Anche in questo caso sed mi è stato di prezioso aiuto. Questo programma, tra le sue funzioni, ha proprio quella di cancellare una riga corrispondente a quello che si cerca più la successiva.

Ecco quindi il glorioso comando:

sed -i '/dsq_thread_id/{N;d;}' *.md

Anche in questo caso non credo ci sia bisogno di spiegazioni.

L'articolo Cancellare righe con sed è uno scritto di aldolat.it. Rispettane le condizioni di licenza.

Cambiare una stringa in molti file di testo

aldolat@gmail.com (Aldo Latino) — Sun, 03 Apr 2022 16:45:03 +0200

Oggi dovevo modificare tutta una serie di file di testo, cambiando una semplice parola (excerpt:) in un’altra (description:). È bastato sed:

sed -i 's/excerpt:/description:/g' *

L'articolo Cambiare una stringa in molti file di testo è uno scritto di aldolat.it. Rispettane le condizioni di licenza.

Togliere la data dal nome del file

aldolat@gmail.com (Aldo Latino) — Fri, 01 Apr 2022 21:07:40 +0000

Oggi dovevo rinominare una lunga serie di file, togliendo la data dal loro nome. Questi erano alcuni dei file da rinominare:

2012-01-14-migrazione-a-nuovo-hosting-completata.md
2012-01-14-segnaibri-al-13-gennaio-2012.md
2012-01-15-jetpack-e-le-statistiche-perse.md
2012-01-19-jetpack-problema-risolto.md
2012-01-20-liberta-e-comunita.md
2012-01-21-antropologia-televisiva.md
2012-01-21-speciale-fcm-su-python-volume-3.md
2012-01-22-cambio-del-nome-del-blog.md
2012-02-04-truecrypt-insicuro-oggi-ancora-no.md

Dovevo togliere la parte della data, lasciando solo qualcosa del tipo:

truecrypt-insicuro-oggi-ancora-no.md

Ecco il glorioso comando di rename:

rename 's/^\d{4}-\d{2}-\d{2}-//g' *

Non credo ci sia bisogno di spiegazioni.

L'articolo Togliere la data dal nome del file è uno scritto di aldolat.it. Rispettane le condizioni di licenza.