Données
Sources de données
En bref
- 10 sources sont moissonnées en intégralité pour chaque instance ; CRISalid, source maître visée, est branchée sur une instance de test mais pas encore moissonnée (Projection).
- Toutes sont sous licence ouverte, sauf l'annuaire institutionnel (pages publiques, crawl ponctuel) et l'usage du proxy scanR, qui reste à faire valider.
- Le brut est dans
data/raw/<instance>/<source>/(1,7 Go pour Paris-Saclay, 347 Mo pour Paris 1), avec unmanifest.jsonpar instance.
Moisson du 24/10/2026.
Identifiants des instances
| Identifiant | Paris-Saclay | Paris 1 | Vérifié via |
|---|---|---|---|
| ROR | 03xjwb503 | 002t25c44 | api.ror.org |
| scanR | G2qA7 | 6G2TU | index scanr-organizations |
| OpenAlex | I277688954 | I51101395 | api.openalex.org/institutions |
| Collection HAL | UNIV-PARIS-SACLAY | UNIV-PARIS1 | api.archives-ouvertes.fr/search |
| Structure HAL (AureHAL) | 419361 | 7550 | ref/structure |
| Requête RNSR (tutelles) | « Paris-Saclay » | « Panthéon-Sorbonne » | jeu fr-esr-structures-recherche-publiques-actives |
| Requête theses.fr | etabSoutenanceN:Saclay | etabSoutenanceN:"Paris 1" | theses.fr/api/v1 |
Catalogue
| Source | Accès | Licence | Rôle | Paris-Saclay | Paris 1 |
|---|---|---|---|---|---|
| RNSR (MESR) | Export Opendatasoft | Licence Ouverte 2.0 | Référentiel de rapprochement : tutelles, direction, domaines | 309 structures | 46 |
| scanR (MESR) | Proxy Elasticsearch de l'interface | Licence Ouverte 2.0, sauf textes moissonnés | Personnes, projets, descriptions, domaines d'expertise | 411 structures, 38 776 personnes, 4 456 projets | 82, 9 909, 533 |
| HAL (CCSD) | API Solr, curseur | CC0 (métadonnées) | Activité, domaines, mots-clés, liens ; IdHAL et ORCID des auteurs | 286 551 publications, 330 structures AureHAL | 128 596 ; 66 |
| Annuaire de l'établissement | Pages publiques, via le sitemap | Non précisée | Liste maître (ADR 013) ; présentations et sites web | 248 laboratoires sur 248 | 37 unités sur 37 |
| ROR | API v2 | CC0 | Identifiants, sites, parenté | 163 organisations | 44 |
| Wikidata | SPARQL | CC0 | Liens, identifiants croisés (RNSR, ROR) | 257 | 66 |
| ORCID | API publique | Données publiques des profils | Contrôle des identifiants | 3 061 profils | 1 695 |
| OpenAIRE Graph | API v1 | CC-BY | Projets européens rattachés à l'établissement | 38 projets | 56 |
| theses.fr (ABES) | API | Licence Ouverte | Thèses (onglet futur) | 15 820 thèses | échec (site injoignable) |
| OpenAlex | API | CC0 | Thèmes, auteurs | échec : budget gratuit épuisé | échec |
| CRISalid | GraphQL de l'établissement | Données de l'établissement | Source maître visée (Projection) | Instance de test branchée, non moissonnée | Non accessible |
Ce qui n'est pas moissonné, et pourquoi
| Donnée | Raison | Alternative |
|---|---|---|
| Résumés des publications HAL | 1,5 Ko × 286 000 notices, inutiles à la vitrine | Lien vers HAL |
| Publications scanR (390 000) | Redondantes avec HAL ; charge sur une API non documentée | HAL |
| Travaux OpenAlex (145 000) | Budget gratuit de 0,10 $/jour partagé par IP sans clé | Agrégats group_by, après obtention d'une clé |
| Pages des sites d'unités | Hors périmètre de la version 1 | Lien sortant depuis chaque fiche |
Précautions d'usage
- Rythme : concurrence de 1 à 4 requêtes, pauses entre pages, User-Agent identifié (
lucarne-data-harvest/0.1). - theses.fr est devenu injoignable après la moisson Saclay (16 pages de 1 000 thèses), puis pour toute requête : panne ou limitation de débit, à vérifier avant de relancer.
- OpenAlex a répondu HTTP 401 au milieu de la moisson des auteurs : la clé gratuite (1 $/jour) se demande avec une adresse e-mail, décision laissée à l'équipe (voir questions ouvertes).
- Données personnelles :
data/raw/contient des noms, identifiants et affiliations de chercheurs. Il est exclu de Git et ne doit pas être partagé hors de l'équipe.
Relancer
Code