1. Ce site utilise des cookies. En continuant à utiliser ce site, vous acceptez l'utilisation des cookies. En savoir plus.
  2. Bonjour tout le monde ! Veillez consulter la Politique de forum pour comprendre nos règles, Merci a vous !
    Rejeter la notice

Serveur HFSQL cache disque Windows et mémoire vive saturée

Discussion dans 'Base de donnés & HFSQL' créé par Mauritius, Avr 16, 2018.

  1. Mauritius

    Mauritius Member

    Inscrit:
    Fev 10, 2018
    Messages:
    74
    J'aime reçus:
    70
    Je ne fais que partager ce que je viens de lire et qui me semble bien intéressant :

    Bonjour visiteur, Merci de vous Inscrire ou de vous connectez pour voir les liens!



    Avec les versions 20 et supérieures du serveur HFSQL (anciennement serveur HyperFileSQL ou HyperFile Client/Serveur) et certaines configurations de serveurs Windows, il peut arriver de rencontrer un problème avec la mémoire vive : la mémoire disponible diminue, potentiellement jusqu'à saturation et perte sévère de performances, sans qu'elle apparaisse pour autant attribuée à un processus particulier si l'on s'en réfère au gestionnaire des tâches. Cette mémoire n'est pas libérée à moins de redémarrer la machine ou de forcer sa libération avec un utilitaire spécialisé.
    Il s'agit d'un problème de cache disque Windows surexploité par la moteur de base de données HFSQL.

    Pour y remédier, on pourra prendre les mesures suivantes :

    • Optimiser la taille des index mis en cache par HFSQL : dans l'idéal, on souhaite que puisse être mise en mémoire l'intégralité des index (fichiers avec l'extension .ndx de la base de données) ; bien sûr, il faut rester cohérent par rapport à la mémoire totale disponible, l'éventuelle concurrence d'autres processus sur la machine et les performances recherchées. La configuration se réalise pour chaque instance HFSQL, depuis le Centre de Contrôle HFSQL, dans Configuration du serveur, onglet Caches, en déplaçant le curseur ou en saisissant la valeur souhaitée. Il est également possible de modifier la valeur NdxCacheSize du fichier HFConf.ini. Sauf dans le cas de la configuration initiale, il est nécessaire de redémarrer le service pour que la modification soit prise en compte.

    • Limiter la taille du cache disque monopolisable par HFSQL. La configuration se réalise pour chaque instance HFSQL, depuis le Centre de Contrôle HFSQL, dans Configuration du serveur, onglet Caches, en positionnant l'option Taille du cache disque à Personnalisée puis en saisissant une valeur comprise entre 200 et 1024Mo ; le choix de la valeur se fait ici aussi en fonction de la mémoire vive disponible, de l'éventuelle concurrence d'autres processus sur la machine et des performances recherchées. Sauf dans le cas de la configuration initiale, il est nécessaire de redémarrer le service pour que la modification soit prise en compte.

    [​IMG]

    Si le problème persiste, il est conseillé de :

    • Utiliser un utilitaire pour brider globalement l'utilisation du cache système disque. Attention, toute la machine est impactée, pas seulement les serveurs HFSQL. Il existe des utilitaires Microsoft dédiés pour cela. Nous vous proposons également un utilitaire PCSoft : WDCacheMemoireWindows. Selon votre version de Windows, il faudra télécharger la

      Bonjour visiteur, Merci de vous Inscrire ou de vous connectez pour voir les liens!

      ou

      Bonjour visiteur, Merci de vous Inscrire ou de vous connectez pour voir les liens!

      (rare désormais).
      Il est conseillé de décompresser le contenu de l'archive ZIP sur la machine affectée, dans un emplacement standard comme C:\Ldsystem\Program\WDCacheMemoireWindows, puis de lancer l'exécutable WDCacheMemoireWindows.exe en tant qu'administrateur.

    L'étape 1, accessible depuis le bouton Evaluer, permet de vérifier que le système est impacté par le phénomène décrit ici, en vidant le cache (bouton Flusher le cache) ou en le sollicitant (bouton Lancer le test) ; dans les deux cas, on doit constater l'impact depuis le gestionnaire des tâches Windows, onglet Performances, graphes Mémoire.

    [​IMG]

    L'étape 2 permet de fixer une valeur limite à l'utilisation de la mémoire vive par le cache disque Windows, soit jusqu'au prochain redémarrage Windows (bouton Appliquer (session en cours)), soit de façon permanente (bouton Appliquer définitivement, grâce à une tâche planifiée qui s'exécutera à chaque démarrage Windows). On saisira une valeur comprise entre 512Mo et 2Go (utiliser de préférence la liste déroulante) ; le choix de la valeur se fait ici aussi en fonction de la mémoire vive disponible, de l'éventuelle concurrence d'autres processus sur la machine et des performances recherchées.

    [​IMG]

    L'étape 3 permet de relire la valeur attribuée pour vérification.

    • Décocher l'option Activer le calcul automatique des diverses statistiques sur les clés […] depuis le Centre de Contrôle HFSL, dans Configuration du serveur, onglet Général.

    [​IMG]

    • Programmer des redémarrages Windows plus fréquents.
     
  2. Deft54

    Deft54 Active Member
    MEMBRE WX

    Inscrit:
    Avr 3, 2018
    Messages:
    63
    J'aime reçus:
    56
    Merci

    Bonjour visiteur, Merci de vous Inscrire ou de vous connectez pour voir les liens!


    Je dois mettre en place justement un serveur HF sur une VM prochainement pour mon app
    Il vont encore dire que c'est de la faute à MS....
     
    joker et Mauritius aiment ça.
  3. joker

    joker New Member
    MEMBRE WX

    Inscrit:
    Jan 30, 2018
    Messages:
    0
    J'aime reçus:
    13

    Bonjour visiteur, Merci de vous Inscrire ou de vous connectez pour voir les liens!

    Je ne fais que partager ce que je viens de lire et qui me semble bien intéressant :

    Bonjour visiteur, Merci de vous Inscrire ou de vous connectez pour voir les liens!



    Avec les versions 20 et supérieures du serveur HFSQL (anciennement serveur HyperFileSQL ou HyperFile Client/Serveur) et certaines configurations de serveurs Windows, il peut arriver de rencontrer un problème avec la mémoire vive : la mémoire disponible diminue, potentiellement jusqu'à saturation et perte sévère de performances, sans qu'elle apparaisse pour autant attribuée à un processus particulier si l'on s'en réfère au gestionnaire des tâches. Cette mémoire n'est pas libérée à moins de redémarrer la machine ou de forcer sa libération avec un utilitaire spécialisé.
    Il s'agit d'un problème de cache disque Windows surexploité par la moteur de base de données HFSQL.

    Pour y remédier, on pourra prendre les mesures suivantes :

    • Optimiser la taille des index mis en cache par HFSQL : dans l'idéal, on souhaite que puisse être mise en mémoire l'intégralité des index (fichiers avec l'extension .ndx de la base de données) ; bien sûr, il faut rester cohérent par rapport à la mémoire totale disponible, l'éventuelle concurrence d'autres processus sur la machine et les performances recherchées. La configuration se réalise pour chaque instance HFSQL, depuis le Centre de Contrôle HFSQL, dans Configuration du serveur, onglet Caches, en déplaçant le curseur ou en saisissant la valeur souhaitée. Il est également possible de modifier la valeur NdxCacheSize du fichier HFConf.ini. Sauf dans le cas de la configuration initiale, il est nécessaire de redémarrer le service pour que la modification soit prise en compte.

    • Limiter la taille du cache disque monopolisable par HFSQL. La configuration se réalise pour chaque instance HFSQL, depuis le Centre de Contrôle HFSQL, dans Configuration du serveur, onglet Caches, en positionnant l'option Taille du cache disque à Personnalisée puis en saisissant une valeur comprise entre 200 et 1024Mo ; le choix de la valeur se fait ici aussi en fonction de la mémoire vive disponible, de l'éventuelle concurrence d'autres processus sur la machine et des performances recherchées. Sauf dans le cas de la configuration initiale, il est nécessaire de redémarrer le service pour que la modification soit prise en compte.

    [​IMG]

    Si le problème persiste, il est conseillé de :

    • Utiliser un utilitaire pour brider globalement l'utilisation du cache système disque. Attention, toute la machine est impactée, pas seulement les serveurs HFSQL. Il existe des utilitaires Microsoft dédiés pour cela. Nous vous proposons également un utilitaire PCSoft : WDCacheMemoireWindows. Selon votre version de Windows, il faudra télécharger la

      Bonjour visiteur, Merci de vous Inscrire ou de vous connectez pour voir les liens!

      ou

      Bonjour visiteur, Merci de vous Inscrire ou de vous connectez pour voir les liens!

      (rare désormais).
      Il est conseillé de décompresser le contenu de l'archive ZIP sur la machine affectée, dans un emplacement standard comme C:\Ldsystem\Program\WDCacheMemoireWindows, puis de lancer l'exécutable WDCacheMemoireWindows.exe en tant qu'administrateur.

    L'étape 1, accessible depuis le bouton Evaluer, permet de vérifier que le système est impacté par le phénomène décrit ici, en vidant le cache (bouton Flusher le cache) ou en le sollicitant (bouton Lancer le test) ; dans les deux cas, on doit constater l'impact depuis le gestionnaire des tâches Windows, onglet Performances, graphes Mémoire.

    [​IMG]

    L'étape 2 permet de fixer une valeur limite à l'utilisation de la mémoire vive par le cache disque Windows, soit jusqu'au prochain redémarrage Windows (bouton Appliquer (session en cours)), soit de façon permanente (bouton Appliquer définitivement, grâce à une tâche planifiée qui s'exécutera à chaque démarrage Windows). On saisira une valeur comprise entre 512Mo et 2Go (utiliser de préférence la liste déroulante) ; le choix de la valeur se fait ici aussi en fonction de la mémoire vive disponible, de l'éventuelle concurrence d'autres processus sur la machine et des performances recherchées.

    [​IMG]

    L'étape 3 permet de relire la valeur attribuée pour vérification.

    • Décocher l'option Activer le calcul automatique des diverses statistiques sur les clés […] depuis le Centre de Contrôle HFSL, dans Configuration du serveur, onglet Général.

    [​IMG]

    • Programmer des redémarrages Windows plus fréquents.
    Cliquez pour agrandir...

    Bonjour visiteur, Merci de vous Inscrire ou de vous connectez pour voir les liens!

    pour ce sujet bien documenté :)
     
    Mauritius apprécie ceci.
  • gelop4

    gelop4 Member
    MEMBRE WX

    Inscrit:
    Fev 7, 2018
    Messages:
    48
    J'aime reçus:
    90
    C'est une problématique qui reviens souvent.
    De mon coté je n'ais y jamais fait face.
    Serveur HF en 22, 10Go+ de donnée, 30+ connection, taches planifiées, différents services WD pour des batchs ....
    Le tout sur une VM, redémarre tous les mois pour les maj MS.
     
    joker apprécie ceci.
  • Morpheous

    Morpheous Active Member

    Inscrit:
    Avr 9, 2018
    Messages:
    182
    J'aime reçus:
    199
    Merci

    Bonjour visiteur, Merci de vous Inscrire ou de vous connectez pour voir les liens!

     
    Mauritius apprécie ceci.
  • popoy

    popoy Well-Known Member
    MEMBRE WX

    Inscrit:
    Fev 23, 2018
    Messages:
    2,882
    J'aime reçus:
    1,532
    il faut que

    Bonjour visiteur, Merci de vous Inscrire ou de vous connectez pour voir les liens!

    regarde ce post.
     
    joker apprécie ceci.
  • WX1331

    WX1331 Well-Known Member
    MEMBRE WX DUMP TEAM

    Inscrit:
    Jan 1, 2018
    Messages:
    610
    J'aime reçus:
    670
    Merci

    Bonjour visiteur, Merci de vous Inscrire ou de vous connectez pour voir les liens!

    , je regarde
     
    joker apprécie ceci.
  • irobot

    irobot Active Member
    MEMBRE WX

    Inscrit:
    Jan 10, 2018
    Messages:
    140
    J'aime reçus:
    131
    merveilleux !!!! tu viens de me sauver la vie! j'avais un pb de sauvegardes qui devenaient inutilisable, et c'etait du à ca !! ( j'ai un fichier mémo de 49Go qui fini par saturer le cache !!).
    j'en etais rendu à rebooter mon serveur de bdd toutes les nuits à 5H ( après la sauvegarde).
     
  • commun

    commun Active Member
    MEMBRE WX

    Inscrit:
    Jan 1, 2018
    Messages:
    225
    J'aime reçus:
    110
    J'ai eu le problème de mémoire saturée sur le serveur pendant plusieurs mois, ralentissements et autre problèmes
    j'ai modifié ma maniere d'appeler mes requêtes (hexecuterequetesql)avec une procédure qui libère la requête a chaque fois et j'ai mis un "hannuledeclaration" derriere chaque requete appelée par " hexecuterequete "

    Plus de problèmes de saturation
    l'utilisation de la mémoire plafonne a 300Mo et descend parfois en dessous de 100, sauf si je lance une requête lourde, mais redescend aussitôt après
     
    Fouedusa et suenodesign aiment ça.
  • Partager cette page

    Chargement...