FAQ — IA locale & confidentielle

Qu’est-ce que PrivateInference ?

Un service d’intégration d’IA locale : nous dimensionnons, fournissons et installons une solution d’IA qui tourne dans vos locaux (on-prem), sans envoyer vos données vers le cloud. Vous gardez la maîtrise des données, des modèles et des coûts.

Que signifie le mot « inférence » ?

Dans le domaine de l'IA, l’inférence désigne la phase où un modèle déjà entraîné est utilisé pour produire une réponse, une prédiction ou une analyse à partir de nouvelles données. C’est l’étape où l’IA « réfléchit » à partir de ce qu’elle a appris, sans ré-entraîner le modèle. Par exemple, lorsqu’un modèle résume un document, classe un e-mail ou génère un texte, il effectue une inférence. PrivateInference permet d’effectuer ces inférences directement dans vos locaux, sans envoyer vos données vers le cloud.

Pourquoi on-prem plutĂ´t que le cloud ?

Conformité (RGPD, clauses sectorielles), confidentialité (pas d’exfiltration), latence prévisible, coûts maîtrisés, indépendance vis-à-vis des fournisseurs. Pour de nombreuses PME françaises, c’est un choix plus simple et plus sûr.

Quelles données peuvent être traitées ?

Textes, documents, e-mails, procédures, bases métier. Nous privilégions les cas d’usage “assistants internes”, recherche documentaire, synthèse, comptes-rendus, et FAQ internes. Les données restent dans votre réseau.

Quels modèles utilisez-vous ?

Des modèles ouverts et éprouvés (familles Llama/Mistral/phi, etc.), sélectionnés selon vos contraintes (qualité, ressources, licence). Nous privilégions des versions quantifiées optimisées CPU/GPU pour un bon rapport qualité/performance sur site.

Quelles exigences matérielles ?

Trois profils : Lite (mini-PC CPU 16 Go RAM), Pro (CPU+petit GPU, 32 Go+), Cluster (3 nœuds). Nous proposons des kits standards pour éviter les surprises et assurer la maintenabilité.

Comment garantissez-vous la conformité RGPD ?

Traitement local, pas de transfert hors UE, chiffrement au repos/en transit, contrôle d’accès, journaux d’audit et un modèle de mentions/registre de traitement. Nous fournissons une trame de DPIA et un guide d’exploitation.

Et l’AI Act européen ?

Nous alignons les déploiements sur les exigences pertinentes (gouvernance des données, documentation, gestion des risques, traçabilité des sorties). Pour la plupart des usages internes non “hauts risques”, l’alignement se concentre sur la traçabilité et la sécurité opérationnelle.

Internet est-il nécessaire ?

Non pour l’inférence locale. Internet peut être requis pour mises à jour et accès distant sécurisé (optionnel). Nous pouvons tout isoler si vous le souhaitez.

Intégration avec nos outils ?

Oui : connecteurs simples (fichiers, dossiers, IMAP, partages réseau) et, si besoin, intégrations légères avec ERP/CRM via API. L’objectif est d’être pragmatique et réversible.

Sécurité & chiffrement ?

Durcissement OS, pare-feu, TLS, authentification, chiffrement des index et des sauvegardes, journaux d’audit. Nous remettons une check-list et formons vos équipes.

Coûts & délais ?

Pilote typique : 2–3 semaines, 2–3,5 k€ (incluant matériel “Lite”). Projets “Pro” : 5–8 k€. Contrat de maintenance annuel : 0,6–1,5 k€. Devis fermes après audit gratuit.

Qui possède le matériel et les données ?

Vous. Nous livrons, installons et documentons. Vous pouvez fonctionner sans nous après l’installation si vous le souhaitez.

Quand ce n’est pas adapté ?

Si votre priorité est la meilleure qualité de langage absolue, une API cloud haut de gamme restera plus performante. Notre approche privilégie la confidentialité et la souveraineté.

Zone d’intervention ?

France (métropole) en priorité. Télé-installation possible selon contexte. Contact : contact@privateinference.fr.

FAQ — Local & Private AI

What is PrivateInference?

A service to size, supply, and install on-prem AI that runs inside your office. Your data, models, and costs remain under your control.

What does “inference” mean?

In artificial intelligence, inference is the stage where a trained model is used to generate an answer, prediction, or analysis from new data. It’s when the AI applies what it has already learned — it’s not learning again, just reasoning on fresh input. For example, summarizing a document, classifying an email, or generating a reply are all inference tasks. PrivateInference lets you run this process entirely on your own machines, without sending data to external servers.

Why on-prem instead of cloud?

Compliance (GDPR, sector rules), confidentiality (no data exfiltration), predictable latency, cost control, and vendor independence. For many EU SMEs, it’s simpler and safer.

What data can we use?

Texts, documents, emails, procedures, knowledge bases. We focus on internal assistants, document search, summarization, meeting notes, and FAQ generation—all inside your network.

Which models do you deploy?

Proven open models (Llama/Mistral/phi families, etc.), chosen for your constraints (quality, resources, license). We prefer quantized, CPU/GPU-efficient variants for on-prem balance of quality and speed.

Hardware requirements?

Three profiles: Lite (mini-PC, CPU, 16 GB RAM), Pro (CPU + small GPU, 32 GB+), Cluster (3 nodes). We use standard kits for maintainability.

How do you address GDPR?

Local processing (no data leaves your network), at-rest/in-transit encryption, access control, audit logs, and DPIA templates. We provide an operations guide for your records.

EU AI Act considerations?

We align deployments with applicable requirements (data governance, documentation, risk management, traceability). For most internal, non-high-risk use, the focus is on traceability and operational security.

Is internet required?

No for local inference. Internet may be used for updates or optional secure remote access. Full isolation is possible.

Integrations?

Yes—file shares, IMAP, folders, and light ERP/CRM API connections where needed. We prioritize pragmatic, reversible integrations.

Security & encryption?

OS hardening, firewall, TLS, authentication, encrypted indexes/backups, and audit logs. We deliver a checklist and train your staff.

Costs & timelines?

Typical pilot: 2–3 weeks, €2k–€3.5k (incl. Lite hardware). Pro projects: €5k–€8k. Annual maintenance: €0.6k–€1.5k. Firm quotes after a free assessment.

Who owns hardware and data?

You do. We deliver, install, document. You can operate without us after handover if you wish.

When is it not a fit?

If absolute top-end language quality is your only goal, a premium cloud API will outperform local models. Our priority is privacy and sovereignty.

Where do you operate?

Primarily France (metropolitan). Remote setups possible case-by-case. Contact: contact@privateinference.fr.