Description des composants du système

Vous trouverez sur cette page une description schématique des composants du système ainsi qu'une description plus détaillée des éléments le constituant. Elle n'est pas indispensable à l'utilisation du système, mais elle peut être utile à lire pour vous aider à appréhender les différents outils.

Plan schématique du système

Voici un plan du système que nous mettons en place ainsi qu'un diagramme d'utilisation (des explications pour les différents termes utilisés sont disponible dans le glossaire) :

Ce système a été étudié pour être facilement accessible et permettre une réutilisation des données selon les principes FAIR.

Voici un diagramme résumant les différentes étapes du point de vue de l'utilisateur :

flowchart TD

%% ======= Zones =======
subgraph LAB["🏢 Production & préparation des données (bâtiment de recherche)"]
  direction TB
  A1["1. Acquisition d'images au microscope"]
  A2["2. Dépôt des données sur le serveur tampon local"]
  A3["3. Compléter les métadonnées (ISA / LabGuru)"]
  A4["4. Validation & organisation du dossier"]
  A5["5. Upload final des données + fichier ISA"]
end

subgraph NET["🌐 Mésocentre"]
  direction TB
  B1["Transfert des données vers le mésocentre"]
end

subgraph USER["💻 Consultation & récupération (poste utilisateur ou personnel)"]
  direction LR
  C1["Consultation via OMERO"]
  C2["Téléchargement via SFTPGo"]
end

subgraph ARCHIVE["🗄 Archivage pérenne (stockage long terme)"]
  direction TB
  D1["Stockage final des données"]
end

%% ====== Flux ======
A1 --> A2 --> A3 --> A4 --> A5 --> B1
B1 --> C1
B1 --> C2
B1 --> D1

%% ====== Styles ======
style LAB fill:#e7e9ff,stroke:#4a4fa3,stroke-width:1.5px,color:#111
style NET fill:#fff4d6,stroke:#c78a00,stroke-width:1.5px,color:#111
style USER fill:#e3f7f0,stroke:#1a7f5a,stroke-width:1.5px,color:#111
style ARCHIVE fill:#f3e6ff,stroke:#7a3db8,stroke-width:1.5px,color:#111

Serveur Samba

Le serveur Samba est le point de départ du système pour l'utilisateur. Il s'agit d'un disque réseau pouvant être monté sur son poste de travail (Windows, Mac ou Linux) de la même manière qu'un disque dur. Ce serveur est aussi appelé "stockage réseau" ou Serveur tampon dans cette documentation. C'est sur ce serveur que l'utilisateur va déposer ses données en premier lieu, directement depuis le microscope en les transférant depuis son poste de travail.

iRODS (et le système de fichiers SRB)

Le serveur iRODS est le deuxième endroit par lequel les données de l'utilisateur vont transiter. Cette deuxième étape peut être completement transparente pour l'utilisateur : une fois les données importées dans iRods, elles seront également disponibles sur Omero mais aussi sur MetalNX (traités plus bas), tous deux plus faciles d'utilisation qu'iRods.

Malgré tout, il reste possible pour tout utilisateur à l'aise avec la ligne de commande d'interagir directement avec le serveur iRods.

Le logiciel iRODS (Integrated Rule-Oriented Data System) est un outil client implémentant ce système de fichiers, permettant un accès transparent aux données réparties sur différents sites et sur des supports hétérogènes (systèmes de fichiers sur disque, bases de données, systèmes de bandes, etc). Il est basé sur le système de fichier SRB.

Le système de fichiers SRB (Storage Resource Broker) est un système de fichiers distribué logique basé sur une architecture client-serveur, permettant de gérer une hiérarchie de répertoires/fichiers indépendamment de la localisation géographique des répertoires/fichiers (voir aussi cette archive).

La représentation fictive simplifiée ci-dessous illustre le fonctionnement :

Notez que ce système permet d'avoir plusieurs fichiers possédant le même nom visibles côté client (ce qui est normal: ils sont de localisations physiques différentes et donc de références différentes).

En outre, iRODS dispose de son propre système de permissions d'accès par utilisateur par le biais d'ACLs (Access Control List).

MetalNX

MetalNX est un client web spécialement dédié à être utilisé de concert avec iRODS. Son interface simple permet de télécharger ou partager des fichiers et dossiers directement depuis le navigateur internet.

OMERO

OMERO est un logiciel principalement dédié à la publication d'images, au sein d'une équipe (permettant de fait un travail collaboratif) ou vis à vis du grand public. Il apporte également un intérêt vis-à-vis de la publication d'articles (notamment grâce à la tracabilité et l'accessibilité des images, mais également grâce à la présence d'un module permettant de créer facilement et rapidement des figures pour publications scientifiques), et dans une moindre mesure à l'analyse d'images grâce au système de scripts. Il permet également de télécharger des images de faible volume, en faible quantité par téléchargement.

OMERO est la dernière étape du système, c'est ici que les utilisateurs vont pouvoir visionner, partager et analyser leurs données sur une interface Web pensée pour l'analyse de données.

Omero-Quay

Le rôle d'Omero-Quay est de servir de point d'importation et d'exportation des données. Ce logiciel a été créé localement par l'équipe FBI.data pour les besoins de la situation actuelle, et est encore en développement actif, ce qui explique (pour le moment) son faible volume de documentation. Contrairement à ce que son nom indique, il ne dépend pas d'OMERO, et est destiné à s'interfacer avec d'autres logiciels de stockage de données, tel que iRODS.

Authentik

Authentik est un système de portail permettent de centraliser la création (côté administrateur) et l'accès (côté utilisateur) à plusieurs comptes.

Dans notre cas, il permet d'accéder plus rapidement aux espaces OMERO et MetalNX, ainsi qu'au site de demande d'aide/dépôt de retour d'expérience Zammad et à la documentation. Dans le cas des personnels ayant des privilèges d'administrateur, il permet également d'accéder à des outils de monitoring et à la documentation d'administrateur.

MadBot

A venir, en attente d'élaboration complète. Ce composant prendra le relais des fichiers Excel.