L’apprentissage automatique (ou machine learning) est généralement divisé en deux types principaux.

• L’approche de l’apprentissage prédictif ou supervisé, vise à décrire, expliquer et prédire l’appartenance à des groupes prédéfinis d’un ensemble d’observations (individus, exemples…) à partir d’une série de variables prédictives exogènes.
  Le but est de faire établir par un expert une correspondance entre les entrées x et les sorties y, étant donné un ensemble étiqueté de paires entrée-sortie D = {(xi, yi)} N i = 1. Ici, D est appelé ensemble d’apprentissage, et N est le nombre d’exemples d’apprentissage.
  Dans le cadre le plus simple, chaque entrée d’apprentissage xi est un vecteur de nombres de dimension D, représentant, par exemple, la taille et le poids d’une personne. Ce sont les caractéristiques, les attributs ou les covariables. En général, cependant, xi pourrait être un objet structuré complexe, tel qu’une image, une phrase, un courriel, une série chronologique, une forme moléculaire, un graphique, etc. De même, la forme de la variable de sortie ou de réponse peut en principe être n’importe quoi, mais la plupart des méthodes supposent que yi est une variable nominale ou nominale d’un ensemble fini, yi ∈ {1, …, C} (tel que mâle ou femelle), ou que yi est un scalaire à valeur réelle (tel comme niveau de revenu). Quand yi est catégorique, le problème est connu sous le nom de classification ou reconnaissance de formes, et quand yi est réel, le problème est connu sous le nom de régression. Une autre variante, connue sous le nom de régression ordinale, se produit lorsque l’espace d’étiquette Y a un ordre naturel, tel que les degrés A à F.
• Le deuxième type principal d’apprentissage automatique est l’approche d’apprentissage descriptive ou non supervisée. Ici, nous ne recevons que des entrées, D = {xi} Ni = 1, et le but est de trouver des motifs intéressants « dans les données. Ceci est parfois appelé découverte de connaissances. C’est un problème beaucoup moins bien défini, car on ne nous dit pas quels types de modèles rechercher, et il n’y a pas de métrique d’erreur à utiliser (contrairement à l’apprentissage supervisé, où nous pouvons comparer notre prédiction de y pour un x donné à la valeur observée).
  Il existe un troisième type d’apprentissage automatique, connu sous le nom d’apprentissage par renforcement, qui est
  un peu moins communément utilisé. Ceci est utile pour apprendre à agir ou à se comporter lorsqu’on lui donne des signaux de récompense ou de punition occasionnels. (Par exemple, considérez comment un bébé apprend à marcher.)