Splunk Universal Forwarder

Vous voulez en savoir plus sur les forwarders universels Splunk® ? Cet article vous propose un résumé de leurs usages et de leur fonctionnement. Surtout, vous y trouverez nos conseils, nos astuces et nos meilleures ressources pour utiliser les forwarders universels (et d’autres méthodes) afin d’importer les données dans Splunk.

Liens rapides

• Télécharger la version actuelle de Universal Forwarder
• Télécharger des versions antérieures
• Consulter le manuel Splunk Universal Forwarder, particulièrement détaillé

Lisez la suite pour une explication complète des forwarders universels. Vous rencontrerez peut-être du jargon inconnu en suivant ce tutoriel. Vous pouvez consulter le Splexicon, le glossaire de Splunk, où vous trouverez des définitions et des explications.

Importer des données dans Splunk Cloud Platform et Splunk Enterprise

L’histoire des forwarders universels commence par une question simple : comment importer des données dans Splunk ? Vous vous demandez quel type de données vous pouvez indexer dans Splunk ? C’est bien simple : n’importe quel type.

Plus spécifiquement, la plateforme Splunk, qu’il s’agisse de Splunk Cloud Platform ou de Splunk Enterprise en local ou dans le cloud, peut indexer et superviser tous les types de données IT, y compris les données streamées, les données machine et les données historiques. Quelques exemples :

• logs d’événements Microsoft Windows,
• logs de serveurs web,
• logs d’application en direct,
• flux réseau,
• logs de modifications,
• files de messages,
• fichiers d’archive.

Très bien, Splunk peut traiter toutes vos données. Mais comment allez-vous les envoyer dans Splunk ? C’est précisément le rôle des forwarders. En réalité, il existe quatre façons d’importer les données. Le forwarder universel est la façon la plus courante.

Types de forwarders dans Splunk

Un forwarder est une instance de Splunk Enterprise qui transmet des données à une autre instance de Splunk Enterprise, qui peut être :

• un indexeur,
• un autre forwarder,
• un système tiers (forwarders lourds seulement).

Splunk Enterprise possède trois types de forwarders :

• Un forwarder universel contient uniquement les composants requis pour transmettre des données, ni plus ni moins. En règle générale, c’est le meilleur outil pour envoyer des données aux indexeurs.
• Un forwarder lourd est une instance complète de Splunk Enterprise, capable d’indexer, d’interroger, de modifier et de transmettre des données. Certaines fonctionnalités d’une instance complète de Splunk Enterprise sont désactivées pour réduire la consommation de ressources du système.
• Un forwarder léger est aussi une instance complète de Splunk Enterprise dont davantage de fonctionnalités ont été désactivées, de manière à réduire son empreinte au strict minimum. Obsolète depuis Splunk Enterprise 6.0, le forwarder léger a été remplacé par le forwarder universel pour l’essentiel des usages.

Penchons-nous maintenant sur le forwarder universel, qui représente le principal moyen d’envoyer des données à votre instance de Splunk Cloud Platform ou Splunk Enterprise.

Fonctionnement du forwarder universel

Un forwarder universel collecte les données auprès de différents points – sources de données et autres forwarders – puis les envoie à un forwarder ou à un déploiement Splunk. Que pouvez-vous faire avec un forwarder universel ? Il offre différentes possibilités :

• ajout de métadonnées (source, type de source, hôte),
• configuration de tampon,
• compression des données,
• sécurisation SSL,
• utilisation des ports réseau disponibles.

La version actuelle de Splunk Universal Forwarder peut être téléchargée gratuitement, tout comme les versions antérieures.

Scénarios d’utilisation du forwarder universel

Le forwarder universel représente la meilleure option lorsqu’il faut transmettre des données à des indexeurs. Selon notre Splexicon :

Dans la plupart des situations, le forwarder universel est le meilleur moyen de transmettre des données aux indexeurs.

Avantages

Les forwarders universels ont pour principaux avantages d’être fiables, sécurisés et compatibles avec de nombreuses plateformes. Vous pouvez aisément installer des forwarders universels Splunk sur un large éventail de plateformes et d’architectures informatiques.

Le plus grand atout des forwarders universels réside sans doute dans leur évolutivité. Parce qu’ils utilisent beaucoup moins de ressources matérielles que d’autres produits Splunk, vous pouvez littéralement en installer des milliers sans la moindre baisse de performance au niveau du réseau comme de l’hôte. Cette faible consommation s’explique en partie par le fait que le forwarder n’a pas d’interface utilisateur.

Concrètement, on peut installer des forwarders universels sur des dizaines de milliers de systèmes distants, et ainsi collecter des téraoctets de données avec une facilité déconcertante.

Inconvénients

Le forwarder universel présente une limite majeure : il ne peut transmettre que des données qui n’ont pas été analysées. Autrement dit, si vous voulez envoyer des données d’événements à des indexeurs, vous devrez utiliser un forwarder lourd.

Installation des forwarders universels

La documentation ci-dessous explique l’installation dans différents environnements :

• installation d’un forwarder universel Windows,
• installation d’un forwarder universel *nix (Linux, Solaris, MacOS X, etc.).

Vous trouverez toutes les informations techniques concernant le déploiement, l’installation, la configuration, la transmission et même le dépannage dans notre manuel Splunk Universal Forwarder. Et vous pouvez également consulter la documentation de toutes les versions précédentes ! Il suffit d’utiliser le menu déroulant en haut à droite :

Dans cette excellente édition de Tech Talks, Gregg Daly, Responsable du marketing technique de Splunk, montre comment importer les données de n’importe quel hôte Linux ou Windows et donne plusieurs conseils utiles :

Intéressons-nous maintenant aux forwarders universels dans deux produits clés, Splunk Cloud Platform et Splunk Enterprise.

Les forwardeurs dans Splunk Cloud Platform

Dans de nombreux scénarios d’utilisation, l’essentiel des données provient directement de fichiers et de répertoires. Le mieux est d’utiliser des forwarders universels et lourds pour les superviser et les transmettre à Splunk Cloud Platform. La bonne pratique consiste à :

1. installer des forwarders universels sur chaque machine dont vous souhaitez superviser certains fichiers et répertoires,
2. envoyer ces données à un forwarder lourd qui va déplacer ces données dans Splunk.

Découvrez comment importer les données de fichiers et de répertoires et d’autres moyens d’importer des données, notamment depuis des événements réseau, des sources Windows, des métriques et des collecteurs d’événements HTTP.

Les forwarders dans Splunk Enterprise

Splunk Enterprise est une solution installée en local : vous avez donc la possibilité d’importer directement vos données dans l’instance ou d’utiliser des forwarders universels ou lourds. De façon générale, les entrées de Splunk Enterprise se classent comme suit :

• fichiers et répertoires,
• événements réseau,
• données Windows,
• autres sources.

Apprenez à importer les données dans Splunk Enterprise sur Splunk Lantern, ou suivez la formation en ligne gratuite Importer les données dans Splunk.

Ressources sur Splunk Universal Forwarder

Nous proposons une vaste bibliothèque de ressources sur l’utilisation des forwarders universels. Voici quelques espaces Splunk susceptibles de vous aider :

• Splunk Lantern, un centre de ressources en libre-service qui vous aidera à mettre en place des scénarios d’utilisation métiers avec les produits Splunk.
• Splunk Docs, où vous retrouverez toute la documentation technique de nos produits.
• Formation et certifications Splunk, où vous pourrez suivre des formations et suivre des cursus complets pour acquérir une expertise Splunk.
• Communauté Splunk, où vous pourrez poser des questions et trouver de nombreuses réponses.