Étapes de la gestion des données et des espaces de stockage
Vos données de microscopie suivront un processus de gestion en quatre étapes:
- Acquistion
- Transfert vers le tampon, pré-traitement
- Empaquetage et importation vers le stockage fédéré, partage interne
- Publication dans les dépôts publics
Cette rubrique vous permettra de les connaître.
1. Acquisition primaire et secondaire
C'est l'étape de la production de données primaires ou secondaires. On définit par données primaires les données brutes acquises directement de l'équipement. Les données secondaires sont issues d'un processus ("pipeline") de transformation ou d'analyse des données primaires.
Type de données:
- Données brutes au format propriétaire
- Données brutes converties au format ouvert (
ome.tiff) - Données d'analyse et de segmentation (données secondaires)
Espace de stockage:
- Données primaires: machine d'acquisition
- Données secondaires: machine d'analyse
2. Transfert dans le tampon, pré-traitement
Les données sont copiées depuis la machine d'acquisition sur le serveur tampon, dans votre espace de stockage local, via un point de montage réseau Windows. Suite à l'acquisition, les données peuvent être lues depuis la station d'analyse, par exemple pour production de données secondaires.
Sélection des données
Il est vivement conseillé à cette étape de supprimer le maximum de données sans pertinence ou de mauvaise qualité.
À la fin de cette étape les données sont disponibles sur l'espace de stockage utilisateur local.
Déplacement et conservation des données
L'accès aux données sur l'espace tampon est limité à l'utilisateur, et le stockage est soumis à un effacement régulier (au bout de 4 mois) et à un quota d'utilisation.
Type de données:
- Données brutes au format propriétaire
- Données brutes converties au format ouvert (
ome.tiff) - Données d'analyse et de segmentation (données secondaires)
Espace de stockage:
- Disque du serveur tampon
3. Empaquetage et import dans le stockage fédéré, partage interne
C'est l'étape importante pour la collection des métadonnées. On peut se référer à la section sur la procédure d'import du point de vue utilisateur.
Collection des métadonnées
Lors de cette étape, vous devrez renseigner manuellement (pour le moment) un fichier excel de description des métadonnées associées à votre jeu de données. Comme cette étape demande un temps et une rigueur non négligeables pour une acquisition, il vous est souhaitable de prendre connaissance de la documentation sur l'importation des données avant votre première utilisation du service.
À cette étape, des conversions de données peuvent être réalisées, en particulier l'export en OME.TIFF ou OME.ZARR peut être nécessaire pour des données de gros volume.
Warning
- L'étape 3 permet de transférer les données dans le stockage fédéré. Les données sont dès lors hébergées au mésocentre de manière pérenne.
Empaquetage
Nous entendons par empaquetage (ou packaging) la mise en conformité de vos jeux de données avec l'organisation des données dans omero-fbi. Cette étape repose sur des outils libres (LinkML, json schema, RO-Crate) permettant de collecter et d'exposer les métadonnées.
4. Publication dans l'archive publique
À venir.