WD importation de gros fichier excel vers HFSQL ou le parcourir

Bonjour visiteur, Merci de vous Inscrire ou de vous connectez pour voir les liens!

La manipulation d’Excel ne pourra jamais être plus rapide qu’un code compilé en C++
qui lira directement le fichier, mais ce code pourrait avoir ces limites qu’Excel n’a pas.
Et l’autre soucis de cette manipulation, c’est qu’elle est manuelle (à voir si on ne pas manipuler l’exe en code),
contrairement au pilotage plus lent mais automatisable.

Bonjour visiteur, Merci de vous Inscrire ou de vous connectez pour voir les liens!

Merci, je devrai faire des tests dans le cas où l’on n’a pas le choix de la manipulation Excel,
et voir si mes méthodes ne peuvent pas être optimisées (j’en ai déjà une ici).

Dans ton code, pour faire de vrais tests, il ne faut pas que l’affichage impact le traitement.
Il faut annuler l’affichage de la table après le sablier :

Code (Text):

Table_amigo..AffichageActif = Faux

Et l’actualiser avant la restitution du sablier :

Code (Text):

Table_amigo..AffichageActif = Vrai

Avec ça, sur 926 lignes, je passe de 39s à 15s.

Au fait, quand on veut vérifier un temps de traitement, on utilise : ChronoDébut()

En réfléchissant, l’objet automation est reconstruit à chaque passage de boucle,
on peut encore optimiser le code en gardant l’objet de la feuille Excel :

Code (Text):

pautFeuilleXLS est un objet Automation dynamique
...
pautFeuilleXLS = xlsFichier>>WorkSheets(1)
nLignes = pautFeuilleXLS>>Range("A1")>>End(nXlDown)>>Row
nColonnes = pautFeuilleXLS>>Range("A1")>>End(nXlRight)>>Column

Pour le reste, on replace dans la boucle xlsFichier>>WorkSheets(1) par pautFeuilleXLS.
Avec la sauvegarde de la feuille en cours, je passe de 15s à 10s pour mes 926 lignes.
Résultat : je passe de 39s à 10s.

PCSoft a sorti une classe cExel, ce serait peut-être plus simple à lire pour vous,
mais l’avantage de manipuler vous-même Excel est de pouvoir répondre à n’importe
qu’elle demande en WD du moment qu’Excel sait faire.

Par exemple : enregistrer les fichiers Excel en PDF sans imprimer,
au format numérique (pas une image) (Office 2007 et +) (ou Word en PDF) en une seule ligne (de plus) :

Code (Text):

xlsFichier>>ActiveWorkbook>>ExportAsFixedFormat(xlTypePDF, "fichier.pdf", xlQualityStandard, OLEFaux, OLEFaux, xlsFichier>>Sheets(sFeuilleMarche)>>Index, xlsFichier>>Sheets(sPagePhoto)>>Index - 1)

Un fichier PDF de la feuille "marché" jusqu’à la feuille avant les photos, en utilisant le nom des feuilles au lieu des index,
mais je dois donner leurs index pour la méthode.

A+.

 

Je me doutais que HImporteXLS aurait les mêmes limites,
mais en mariant les deux mondes, on pourrais gagner du temps.

Le principe est de lire le fichier Excel avec ce qui peut le lire (ici OLE),
de le découper aux limites des possibilités de HImporteXLS (ici j’ai mis 4 000 000 cellules),
puis de donner à la fonction les fichiers du découpage un par un.

Un fichier Excel de 310 000 lignes sur 72 colonnes met 3 min 30 s.

Code (Text):

nXlUp est un entier = -4162
nXlDown est un entier = -4121
nXlRight est un entier = -4161
nXlLeft est un entier = -4159

sFichierXLS est une chaîne = "Test_310.xlsx"
sFichierFic est une chaîne = "IMPORT"
nOngletExcel est un entier = 1

nMaxDonnees est un entier = 4 000 000
nMaxLignes est un entier

nLignes, nColonnes sont des entiers
nPosLigne, nPosDerLigne est un entier
nNumFichier est un entier

dfFichierFIC est une Description de Fichier
drRubriqueFIC est une Description de Rubrique

autObjXLS est un objet OLE "Excel.Application"
autObjXLS>>Visible = OLEFaux

ChronoDébut()

QUAND EXCEPTION DANS
    autObjXLS>>Workbooks>>Open(fRepEnCours() + "\" + sFichierXLS)
FAIRE
    Erreur("Impossible d'ouvrir le fichier Excel !")
    RETOUR
FIN

nLignes = autObjXLS>>WorkSheets(nOngletExcel)>>Range("A1")>>End(nXlDown)>>Row
nColonnes = autObjXLS>>WorkSheets(nOngletExcel)>>Range("A1")>>End(nXlRight)>>Column

// Déclaration du FIC
dfFichierFIC..Nom = sFichierFic
dfFichierFIC..Type = hFichierNormal
//dfFichier..CryptageFic = hCryptageStandard
dfFichierFIC..GrosFichier = Vrai

// Création des autres rubriques à partir de la 1ère ligne
// Attention, les noms sur la 1ère ligne doivent être uniques
POUR nPosCol = 1 _À_ nColonnes
    drRubriqueFIC..Nom = autObjXLS>>WorkSheets(nOngletExcel)>>Cells(1, nPosCol)>>Value
    drRubriqueFIC..Type = hRubTexte
    drRubriqueFIC..Taille = 50
    //drRubriqueFic..NullAutorisé = vrai
    HDécritRubrique(dfFichierFIC, drRubriqueFIC)
FIN

HDécritFichier(dfFichierFIC)

nMaxLignes = nMaxDonnees / nColonnes
// Découpage du XLSX si hors limites
SI nLignes > nMaxLignes ALORS
    nPosLigne = 2 // Début des données
    nPosDerLigne = nPosLigne + nMaxLignes // Dernière de la limite
    nNumFichier = 1 // Nom des fichiers 1_, 2_ ...

    TANTQUE nPosDerLigne <= nLignes
        autObjXLS>>WorkSheets(nOngletExcel)>>Rows(nPosLigne + ":" + nPosDerLigne)>>Copy
        autObjXLS>>Workbooks>>Add // Nouveau fichier Excel
        autObjXLS>>ActiveSheet>>Paste // Colle les lignes
        autObjXLS>>ActiveWorkbook>>SaveAs(fRepEnCours() + "\" + nNumFichier + "_" + sFichierXLS)
        autObjXLS>>ActiveWorkbook>>Close()
        nPosLigne = nPosDerLigne + 1
        nPosDerLigne = nPosLigne + nMaxLignes
        SI nPosDerLigne > nLignes ALORS
            SI nPosLigne > nLignes ALORS // A-t-on fini ?
                nPosDerLigne = nLignes + 1
            SINON
                nPosDerLigne = nLignes
            FIN
        FIN
        nNumFichier++
    FIN
FIN

autObjXLS>>ActiveWorkbook>>Saved = OLEVrai
autObjXLS>>Workbooks>>Close()
autObjXLS>>Quit()

SI nNumFichier = 1 ALORS
    HImporteXLS(sFichierFic, sFichierXLS, nOngletExcel, "", hImpIgnorePremièreLigne)
SINON
    POUR nPos = 1 _À_ nNumFichier - 1
        HImporteXLS(sFichierFic, nPos + "_" + sFichierXLS) // Boucle sur les fichiers générés
    FIN
FIN

duDurée est une Durée = ChronoFin()

Info("fini en " + DuréeVersChaîne(duDurée, "MMm et SSs"))

Je me suis dit qu’un jour j’en aurais peut-être besoin, j’ai donc fait une p'tit appli avec un peu plus d’options.

Bonjour visiteur, Merci de vous Inscrire ou de vous connectez pour voir les liens!

Exe + sources en WD 22 :

Bonjour visiteur, Merci de vous Inscrire ou de vous connectez pour voir les liens!

Pour aller plus loin avec ceux qui ne possèdent pas la table :
Il faudrait que dans la description des champs, je détecte le format de donnée à partir d’Excel, au lieu de la laisser au format texte.
Et pour aider encore plus, sortir la description des champs de la table en XML ou autres, pour l’importer rapidement dans l’analyse.

PS : j’ai banni la jauge, elle multiplie le traitement par 3.

A+.