Veille de prix et collecte de données : quand une IP mobile vaut son prix

Suivre les prix d'un concurrent, les annonces d'un marché, les tarifs d'un secteur : c'est de la collecte de données publiques. Une IP mobile y est parfois indispensable, souvent superflue. Voici comment trancher avant de payer.

Le bon outil selon la cible

Type de proxy	Points forts	Quand le choisir
Datacenter	Rapide, peu cher, en grand nombre	La cible tolère les robots ou ne les filtre pas
Résidentiel (réseau partagé)	Des milliers d'adresses, beaucoup de pays	Gros volumes, couverture géographique large
Mobile dédié	Adresse d'opérateur, très rarement bloquée en bloc	La cible bloque datacenter et résidentiel, ou sert une version mobile différente

Commencez par le moins cher qui fonctionne. Une ligne mobile, c'est une adresse à la fois et un débit de ligne 4G/5G : elle n'est pas faite pour aspirer des millions de pages par jour. Elle sert quand le reste ne passe plus.

Secteur par secteur

Voyage (vols, hôtels, locations). Prix et disponibilités peuvent varier selon le pays et l'appareil. Ne le supposez pas : mesurez-le, en comparant une connexion fixe et une connexion mobile au même moment.

Immobilier et automobile. Les sites d'annonces sont parmi les mieux protégés. Les annonces de particuliers contiennent des données personnelles : nom, téléphone, parfois l'adresse. Voir le cadre légal plus bas.

Distribution et drive. Le prix affiché dépend souvent du magasin choisi, donc du code postal saisi sur le site, pas de votre adresse IP. Une IP mobile n'y change rien ; le choix du magasin, si.

Résultats de recherche. Le classement mobile diffère du classement sur ordinateur. Une connexion mobile française le montre tel que le voient vos clients ; la géolocalisation des adresses mobiles reste approximative (souvent « Paris » ou la région de l'opérateur).

Régler la collecte

Le rythme. Une requête toutes les quelques secondes, par adresse, ressemble à une lecture. Cent par seconde ressemble à une attaque, quelle que soit l'adresse.

La rotation. Changez d'IP par l'API ou le lien de rotation entre deux séries de requêtes, pas au milieu d'une session. Voir Changer d'IP.

Le parallélisme. Une ligne donne une adresse à la fois. Pour plusieurs flux en parallèle, prenez plusieurs proxys plutôt que de charger une seule ligne.

La résolution DNS. En SOCKS5, demandez la résolution par le proxy (socks5h:// dans la plupart des bibliothèques), sinon vos requêtes DNS partent par votre propre connexion.

Le cadre légal

Ce n'est pas un conseil juridique, mais trois repères s'imposent en France et en Europe :

Les conditions d'utilisation et le fichier robots.txt du site disent ce qu'il accepte. Un proxy ne rend pas autorisée une collecte interdite.
Les données personnelles relèvent du RGPD, même quand elles sont publiques. La CNIL a publié des recommandations sur le moissonnage : lisez-les avant de collecter des annonces de particuliers.
Le droit des bases de données protège le producteur d'une base contre l'extraction d'une partie substantielle de son contenu. Relever des prix n'est pas copier un catalogue entier.

Quelle formule

La collecte est l'usage pour lequel la rotation compte : une formule avec rotation et data illimitées est le choix naturel. Une adresse fixe à quota de données convient mal, sauf pour un suivi léger de quelques pages par jour.

FAQ

Combien de requêtes par jour sur une ligne ?

Cela dépend de la cible bien plus que de la ligne. Commencez lentement, mesurez le taux de refus, et montez progressivement. Si vous avez besoin de volumes industriels, un réseau résidentiel est mieux adapté.

Faut-il un navigateur ou une simple bibliothèque HTTP ?

Une bibliothèque HTTP suffit pour les pages servies telles quelles. Les sites qui construisent leur page en JavaScript demandent un navigateur automatisé : voir Agents IA et navigateurs automatisés.

Voir aussi : Quel type de proxy choisir ? · HTTP ou SOCKS5 ?