Projet

Général

Profil

Actions

Feature #1420

fermé

Import de la deuxième base /db/seed.rb

Ajouté par Marion Maguer il y a environ 8 ans. Mis à jour il y a plus de 6 ans.

Statut:
Fermé
Priorité:
Haut
Assigné à:
-
Version cible:
Début:
16/03/2016
Echéance:
% réalisé:

100%

Temps estimé:

Description

Problème rencontré lors du premier import : conflit des ID
  • refaire les extractions avec les noms plutôt que les Id
    mais les Data_strategy vont poser problème car pas de nom -> il est possible de se passer de cette table
    mais la table RESULTS va poser car il n'est pas possible d'extraire à la fois les noms collection et de sample (jointures ambiguës) -> il est possible de le faire en 2 extractions et de les fusionner.

Fichiers

POINT_Obs.csv (1,92 ko) POINT_Obs.csv Marion Maguer, 16/03/2016 15:54
SITE_Obs.csv (449 octets) SITE_Obs.csv Marion Maguer, 16/03/2016 15:54
DATA_STRATEGY_Obs.csv (1,39 ko) DATA_STRATEGY_Obs.csv Marion Maguer, 16/03/2016 16:17
COLLECTION_Obs.csv (73,6 ko) COLLECTION_Obs.csv correspondance nom/id Marion Maguer, 26/08/2016 14:35
Sample_Obs_2.csv (6,03 ko) Sample_Obs_2.csv Marion Maguer, 26/08/2016 14:38
Results_Obs_2.csv (3,9 Mo) Results_Obs_2.csv Marion Maguer, 26/08/2016 16:45
Collection_Obs_2.csv (80,7 ko) Collection_Obs_2.csv Marion Maguer, 31/08/2016 16:45

Demandes liées 2 (0 ouverte2 fermées)

Lié à Bug #1473: ERREUR Import de la deuxième baseFerméJonathan Schaeffer05/09/201615/09/2017

Actions
Lié à Bug #1477: ERREUR Import de la deuxième base #2FerméJonathan Schaeffer07/09/2016

Actions

Mis à jour par Marion Maguer il y a environ 8 ans

  • Fichier RESULTS_Obs.csv ajouté

Marion Maguer a écrit :

Problème rencontré lors du premier import : conflit des ID
  • refaire les extractions avec les noms plutôt que les Id
    mais les Data_strategy vont poser problème car pas de nom, il est possible de se passer de cette table
    mais la table RESULTS va poser car il n'est pas possible d'extraire à la fois les noms collection et de sample (jointures ambiguës) -> il est possible de le faire en 2 extractions et de les fusionner.

Le nouveau fichier RESULTS, sans Id, est prêt.

Mis à jour par Marion Maguer il y a environ 8 ans

La table STATION pose également problème car il n'y a pas de nom, que des Id, répercutions sur la table COLLECTION qui contient l'Id de la station.

Mis à jour par Marion Maguer il y a environ 8 ans

  • Fichier COLLECTION_Obs.csv ajouté

Marion Maguer a écrit :

La table STATION pose également problème car il n'y a pas de nom, que des Id, répercutions sur la table COLLECTION qui contient l'Id de la station.

Nouveau fichier COLLECTION, avec l'Id de la station

Mis à jour par Marion Maguer il y a environ 8 ans

Nouveaux fichiers SITE et POINT, sans Id, les noms sont uniques.

Mis à jour par Marion Maguer il y a environ 8 ans

Marion Maguer a écrit :

Problème rencontré lors du premier import : conflit des ID
  • refaire les extractions avec les noms plutôt que les Id
    mais les Data_strategy vont poser problème car pas de nom -> il est possible de se passer de cette table

Nouveau fichier DATA_STRATEGY, sans Id. Pour ce passe de cette table, possibilité de faire les extractions des tables directement au format de la nouvelle base.

Mis à jour par Marion Maguer il y a environ 8 ans

  • Fichier COLLECTION_Obs.csv supprimé

Mis à jour par Marion Maguer il y a environ 8 ans

  • Fichier RESULTS_Obs.csv supprimé

Mis à jour par Marion Maguer il y a environ 8 ans

Vérifier les noms d'espèces dans RESULTS_Obs.csv

Mis à jour par Marion Maguer il y a presque 8 ans

  • Priorité changé de Normal à Urgent

Mis à jour par Jonathan Schaeffer il y a presque 8 ans

Marion,

on a probablement besoin de voir ces données ensemble avant que je travaille sur l'import.

Mis à jour par Marion Maguer il y a plus de 7 ans

J'ai créé les sites et points manquants à la main. (Keraliou).

Mis à jour par Jonathan Schaeffer il y a plus de 7 ans

J'ai encore besoin des infos suivantes :

  • parameters.csv : la correspondance entre l'identifiant des paramètres et un nom (il faut que le nom soit comme dans la base actuellement en prod)
  • collection_names.csv : la correspondance entre les ID de collection et leur nom
  • idem pour les samples

Mis à jour par Marion Maguer il y a plus de 7 ans

Mis à jour par Marion Maguer il y a plus de 7 ans

  • Fichier Results_Obs_2.csv ajouté

Nouveau fichier "Results", mais avec les noms à la place des Id.
Vérifier que les noms d'espèces sont déjà tous présents dans la nouvelle base.

Mis à jour par Marion Maguer il y a plus de 7 ans

  • Fichier Results_Obs_2.csv supprimé

Mis à jour par Marion Maguer il y a plus de 7 ans

Mis à jour par Jonathan Schaeffer il y a plus de 7 ans

uhhh je préférais les results avec le code des espèces ... je pense qu'il y aura moins d'erreur de recherche dans la base. C'est possible ?

Le problème est qu'il peut y avoir 2 espèces avec le m^eme code.
Par exemple dans la base Obs :
CODE_SP NOM_SP
P00501 Harmothoe fernandi
P00502 Harmothoe aspera
P00503 Harmothoe viridis
dans Marben :
CODE_SP NOM_SP
P00501 Harmothoe viridis
P00502 Harmothoe fernandi

Pour collection et sample, c'est OK.
Je chope les paramètres depuis le fichier Results, donc c'est OK aussi.

Mis à jour par Jonathan Schaeffer il y a plus de 7 ans

Jonathan Schaeffer a écrit :

uhhh je préférais les results avec le code des espèces ... je pense qu'il y aura moins d'erreur de recherche dans la base. C'est possible ?

Le problème est qu'il peut y avoir 2 espèces avec le m^eme code.

OK, je me débrouille avec ça alors :)

Pour collection et sample, c'est OK.
Je chope les paramètres depuis le fichier Results, donc c'est OK aussi.

Mis à jour par Jonathan Schaeffer il y a plus de 7 ans

J'ai besoin des entêtes suivantes pour "collections" :

  1. "ID_COLLECTION";"STATION";"COLLECTION_NAME";"SAMPL_METH";"COLLECTION_SIZE";"UNIT";"LAT_COLL";"LONG_COLL";"DIRECTION";"COMMENT"

Le fichier contient actuellement :

  1. ID_COLLECTION;COLLECTION_NAME;SAMPL_METH;TAILLE;UNIT;LATITUDE;LONGITUDE;E/W;COMMENT

Mis à jour par Redmine Admin il y a plus de 7 ans

  • Statut changé de Nouveau à Résolu
  • % réalisé changé de 0 à 100

Mis à jour par Marion Maguer il y a plus de 7 ans

  • Lié à Bug #1473: ERREUR Import de la deuxième base ajouté

Mis à jour par Marion Maguer il y a plus de 7 ans

  • Lié à Bug #1477: ERREUR Import de la deuxième base #2 ajouté

Mis à jour par Jonathan Schaeffer il y a presque 7 ans

  • Statut changé de Résolu à In Progress

Mis à jour par Jonathan Schaeffer il y a presque 7 ans

  • Priorité changé de Urgent à Haut

Mis à jour par Marion Maguer il y a plus de 6 ans

  • Statut changé de In Progress à Résolu

Mis à jour par Marion Maguer il y a plus de 6 ans

  • Statut changé de Résolu à Fermé
Actions

Formats disponibles : Atom PDF