# Sources de données

:::tip{title="En bref"}

- 10 sources sont moissonnées en intégralité pour chaque instance ; CRISalid, source maître visée, est branchée sur une instance de test mais pas encore moissonnée ([Projection](/projection)).
- Toutes sont sous licence ouverte, sauf l'annuaire institutionnel (pages publiques, crawl ponctuel) et l'usage du proxy scanR, qui reste à faire valider.
- Le brut est dans `data/raw/<instance>/<source>/` (1,7 Go pour Paris-Saclay, 347 Mo pour Paris 1), avec un `manifest.json` par instance.
  :::

Moisson du 24/10/2026.

## Identifiants des instances

| Identifiant             | Paris-Saclay             | Paris 1                     | Vérifié via                                         |
| ----------------------- | ------------------------ | --------------------------- | --------------------------------------------------- |
| ROR                     | `03xjwb503`              | `002t25c44`                 | api.ror.org                                         |
| scanR                   | `G2qA7`                  | `6G2TU`                     | index `scanr-organizations`                         |
| OpenAlex                | `I277688954`             | `I51101395`                 | api.openalex.org/institutions                       |
| Collection HAL          | `UNIV-PARIS-SACLAY`      | `UNIV-PARIS1`               | api.archives-ouvertes.fr/search                     |
| Structure HAL (AureHAL) | `419361`                 | `7550`                      | ref/structure                                       |
| Requête RNSR (tutelles) | « Paris-Saclay »         | « Panthéon-Sorbonne »       | jeu `fr-esr-structures-recherche-publiques-actives` |
| Requête theses.fr       | `etabSoutenanceN:Saclay` | `etabSoutenanceN:"Paris 1"` | theses.fr/api/v1                                    |

## Catalogue

| Source                          | Accès                              | Licence                                     | Rôle                                                              | Paris-Saclay                                    | Paris 1                      |
| ------------------------------- | ---------------------------------- | ------------------------------------------- | ----------------------------------------------------------------- | ----------------------------------------------- | ---------------------------- |
| **RNSR** (MESR)                 | Export Opendatasoft                | Licence Ouverte 2.0                         | Référentiel de rapprochement : tutelles, direction, domaines      | 309 structures                                  | 46                           |
| **scanR** (MESR)                | Proxy Elasticsearch de l'interface | Licence Ouverte 2.0, sauf textes moissonnés | Personnes, projets, descriptions, domaines d'expertise            | 411 structures, 38 776 personnes, 4 456 projets | 82, 9 909, 533               |
| **HAL** (CCSD)                  | API Solr, curseur                  | CC0 (métadonnées)                           | Activité, domaines, mots-clés, liens ; IdHAL et ORCID des auteurs | 286 551 publications, 330 structures AureHAL    | 128 596 ; 66                 |
| **Annuaire de l'établissement** | Pages publiques, via le sitemap    | Non précisée                                | **Liste maître** (ADR 013) ; présentations et sites web           | 248 laboratoires sur 248                        | 37 unités sur 37             |
| **ROR**                         | API v2                             | CC0                                         | Identifiants, sites, parenté                                      | 163 organisations                               | 44                           |
| **Wikidata**                    | SPARQL                             | CC0                                         | Liens, identifiants croisés (RNSR, ROR)                           | 257                                             | 66                           |
| **ORCID**                       | API publique                       | Données publiques des profils               | Contrôle des identifiants                                         | 3 061 profils                                   | 1 695                        |
| **OpenAIRE Graph**              | API v1                             | CC-BY                                       | Projets européens rattachés à l'établissement                     | 38 projets                                      | 56                           |
| **theses.fr** (ABES)            | API                                | Licence Ouverte                             | Thèses (onglet futur)                                             | 15 820 thèses                                   | **échec** (site injoignable) |
| **OpenAlex**                    | API                                | CC0                                         | Thèmes, auteurs                                                   | **échec** : budget gratuit épuisé               | **échec**                    |
| CRISalid                        | GraphQL de l'établissement         | Données de l'établissement                  | Source maître visée ([Projection](/projection))                   | Instance de test branchée, non moissonnée       | Non accessible               |

## Ce qui n'est pas moissonné, et pourquoi

| Donnée                       | Raison                                                   | Alternative                                    |
| ---------------------------- | -------------------------------------------------------- | ---------------------------------------------- |
| Résumés des publications HAL | 1,5 Ko × 286 000 notices, inutiles à la vitrine          | Lien vers HAL                                  |
| Publications scanR (390 000) | Redondantes avec HAL ; charge sur une API non documentée | HAL                                            |
| Travaux OpenAlex (145 000)   | Budget gratuit de 0,10 $/jour partagé par IP sans clé    | Agrégats `group_by`, après obtention d'une clé |
| Pages des sites d'unités     | Hors périmètre de la version 1                           | Lien sortant depuis chaque fiche               |

## Précautions d'usage

- **Rythme** : concurrence de 1 à 4 requêtes, pauses entre pages, User-Agent identifié (`lucarne-data-harvest/0.1`).
- **theses.fr est devenu injoignable** après la moisson Saclay (16 pages de 1 000 thèses), puis pour toute requête : panne ou limitation de débit, à vérifier avant de relancer.
- **OpenAlex** a répondu HTTP 401 au milieu de la moisson des auteurs : la clé gratuite (1 $/jour) se demande avec une adresse e-mail, décision laissée à l'équipe (voir [questions ouvertes](/projet/questions-ouvertes)).
- **Données personnelles** : `data/raw/` contient des noms, identifiants et affiliations de chercheurs. Il est exclu de Git et ne doit pas être partagé hors de l'équipe.

## Relancer

```bash
pnpm data:extract                                   # tout
pnpm data:extract --instance paris1 --source theses # une source d'une instance
cat data/raw/saclay/manifest.json                   # état, dates, volumes, erreurs
```