El tutorial SSIS proporciona conceptes bàsics i avançats dels serveis d'integració de SQL Server. El nostre tutorial SSIS està dissenyat per a principiants i professionals.
Servei d'integració de SQL Server és una eina d'emmagatzematge de dades ràpida i flexible que s'utilitza per a l'extracció, transformació i càrrega de dades. Facilita la càrrega de dades d'una base de dades a una altra, com ara SQL Server, Oracle, fitxer Excel, etc.
En aquest tutorial, parlarem dels següents temes:
- Què és SSIS
- Què és la integració de dades
- Per què SSIS
- Com funciona SSIS
- Requisits per al servei d'integració de SQL Server
- Què és el paquet SSIS
- Tasques SSIS
- Exemple de tasca de flux de dades
- Exemple d'execució de la tasca SQL
Què és SSIS?
- SSIS són les sigles de SQL Server Integration Services.
- És un component disponible al programari de bases de dades Microsoft SQL Server utilitzat per realitzar una àmplia gamma de tasques d'integració.
- És una eina d'emmagatzematge de dades que s'utilitza per a l'extracció de dades, la càrrega de les dades en una altra base de dades, transformacions com netejar, agregar, combinar dades, etc.
- L'eina SSIS també conté les eines gràfiques i les funcions de flux de treball dels assistents de finestres, com ara l'enviament de missatges de correu electrònic, operacions ftp i fonts de dades.
- SSIS s'utilitza per realitzar una àmplia gamma de tasques de transformació i integració. En conjunt, l'eina SSIS s'utilitza en la migració de dades.
SSIS és una eina que s'utilitza principalment per realitzar dues funcionalitats:
SSIS realitza la integració de dades combinant les dades de múltiples fonts i proporciona dades unificades als usuaris.
El flux de treball es pot utilitzar per realitzar diverses coses. De vegades hem d'executar alguns passos específics o un camí particular que es basa en el període de temps o en el paràmetre passat al paquet o en les dades consultades des de la base de dades. Es pot utilitzar per automatitzar el manteniment de bases de dades SQL Server i proporciona l'actualització de les dades analítiques multidimensionals.
Què és la integració de dades?
La integració de dades és un procés que seguiu per integrar les dades de diverses fonts. Les dades poden ser dades heterogènies o dades homogènies. Les dades poden ser estructurades, semiestructurades o no estructurades. A la integració de dades, les dades de diferents fonts de dades diferents s'integren per formar algunes dades significatives.
S'utilitzen alguns mètodes per aconseguir la integració de dades:
Avantatges de la integració de dades:
Redueix la complexitat de les dades, la qual cosa significa que les dades es poden lliurar a qualsevol sistema. La integració de dades manté la complexitat, les connexions racionalitzades i facilita el lliurament de les dades a qualsevol sistema.
La integritat de les dades té un paper important en la integració de dades. S'ocupa de netejar i validar les dades. Tothom vol dades d'alta qualitat i robustes, de manera que per aconseguir aquest concepte d'integració de dades s'utilitza. La integració de dades és útil per eliminar errors, inconsistències i duplicacions.
L'accessibilitat depèn de la col·laboració de dades. L'accessibilitat significa que les dades es poden transformar fàcilment, i la gent pot integrar-les fàcilment en projectes, compartir els seus resultats i mantenir les dades actualitzades.
També us permet prendre decisions més intel·ligents. Una dada integrada fa referència al procés de transmissió dins d'una empresa perquè puguem entendre la informació més fàcilment. Les dades integrades són molt més fàcils i informatives.
Per què SSIS?
SSIS s'utilitza pels motius següents:
SSIS s'utilitza per combinar les dades de diverses fonts de dades per generar una estructura única en una vista unificada. Bàsicament, s'encarrega de recollir les dades, extreure les dades de diverses fonts de dades i fusionar-les en una única font de dades.
SSSIS és una plataforma que té la capacitat de carregar una gran quantitat de dades des d'excel a una base de dades SQL Server.
L'eina SSSIS proporciona una integració estreta amb altres productes de Microsoft.
L'eina SSSIS és més barata que la majoria de les altres eines. Pot resistir amb altres productes bàsics, la seva maneigabilitat, intel·ligència empresarial, etc.
SSSIS us permet gestionar l'error complex dins d'un flux de dades. Podeu iniciar i aturar el flux de dades en funció de la gravetat de l'error. Fins i tot podeu enviar un correu electrònic a l'administrador quan es produeixi algun error. Quan es resol un error, podeu triar el camí entre el flux de treball.
Com funciona SSIS?
Sabem que SSIS és una plataforma per a dues funcions, és a dir, la integració de dades i el flux de treball. Tant les tasques de transformació de dades com la creació de flux de treball es realitzen mitjançant el paquet SSIS. El paquet SSIS consta de tres components:
Dades operatives
Les dades operatives són una base de dades que s'utilitza per integrar les dades de diverses fonts de dades per realitzar operacions addicionals sobre les dades. És el lloc on s'allotgen les dades per a l'operació actual abans d'enviar-les al magatzem de dades per emmagatzemar-les, informar-les o arxivar-les.
cua i cua de prioritat a java
ETL
- ETL és el procés més important de l'eina SSIS. ETL s'utilitza per extreure, transformar i carregar les dades en un magatzem de dades.
- ETL és un procés responsable d'extreure les dades múltiples fonts de dades, transformar-les en dades útils i, després, emmagatzemar-les en un magatzem de dades. Les dades poden tenir qualsevol format de fitxer xml, fitxer pla o qualsevol fitxer de base de dades.
- També garanteix que les dades emmagatzemades al magatzem de dades siguin rellevants, precises, d'alta qualitat i útils per als usuaris empresarials.
- S'hi pot accedir fàcilment perquè el magatzem de dades es pugui utilitzar de manera eficaç i eficient.
- També ajuda l'organització a prendre decisions basades en dades recuperant les dades estructurades i no estructurades de múltiples fonts de dades.
Un ETL és un concepte de tres paraules, però es divideix en quatre fases:
Captura: La fase de captura també es coneix com a fase d'extracció. En aquesta fase, tria les dades o metadades font, i les dades poden tenir qualsevol format, com ara un fitxer xml, un fitxer pla o qualsevol fitxer de base de dades.
Fregar: En aquesta fase, es comproven les dades originals. Comprova les dades, tant si es tracta d'errors com si no. Comprova els errors o la inconsistència de les dades mitjançant algunes tècniques d'intel·ligència artificial. En definitiva, verifica si es compleix o no la qualitat del producte.
Transformar: És la tercera fase d'ETL. La transformació és el procés en què el format original es converteix en un format requerit que desitgeu. La transformació és modelar o canviar les dades segons els requisits de l'usuari. Els canvis poden ser canvis en el nombre de columnes o files.
Càrrega i índex: La quarta fase és Càrrega i índex. Carrega les dades i valida el nombre de files que s'han processat. Un cop finalitzada la càrrega de dades, s'utilitza la indexació. La indexació us ajuda a fer un seguiment del nombre de files que es carreguen al magatzem de dades. La indexació també ajuda a identificar les dades, tant si estan en el format correcte com si no.
Magatzem de dades
El magatzem de dades és un magatzem de dades únic, complet i coherent que es formula combinant les dades de múltiples fonts de dades.
Diferència entre base de dades i magatzem de dades
La resposta pot ser tant sí com no. Tant la base de dades com el magatzem de dades tenen una gran unitat de dades i una representació física similar, però el temps de resposta de consultes complexes al magatzem de dades és més ràpid que la base de dades.
Requisits per a SQL Server Integration Services
Els requisits següents són els requisits per instal·lar els serveis d'integració de SQL Server:
- Instal·leu el servidor SQL
- Instal·leu les eines de dades de SQL Server
Seguiu els passos següents per instal·lar les eines de dades de SQL Server:
Pas 1: Feu clic a l'enllaç https://docs.microsoft.com/en-us/sql/ssdt/previous-releases-of-sql-server-data-tools-ssdt-and-ssdt-bi?view=sql-server-2017 per descarregar les eines de dades de SQL Server.
Pas 2: Quan feu clic a l'enllaç anterior, apareix la pantalla que es mostra a continuació:
A la pantalla anterior, seleccioneu la versió de SSDT que voleu instal·lar.
Pas 3: Un cop finalitzada la descàrrega, executeu el fitxer descarregat. Quan executeu el fitxer descarregat, apareix la pantalla que es mostra a continuació:
Pas 4: Feu clic al botó Següent.
Pas 5: Seleccioneu la instància de Visual Studio i les eines que voleu instal·lar a Visual Studio 2017.
Pas 6: Feu clic a Instal·lar botó.
Què és el paquet SSIS?
El paquet és un bloc fonamental on codifiqueu a SSIS. Aquí, el codi no vol dir que esteu codificant en algun llenguatge de programació; significa el desenvolupament que fas. El desenvolupament es fa al paquet SSIS. SSIS s'utilitza principalment per al procés ETL, i el procés ETL es realitza dins del paquet SSIS.
El paquet SSIS es compon de tres parts:
El paquet SSIS tindrà algunes connexions, i aquestes connexions s'utilitzen per connectar-se a diverses fonts de dades.
El paquet SSIS es compon de dos elements, és a dir, elements de flux de control i elements de flux de dades. Els elements de flux de control gestionen els fluxos de treball. El flux de treball significa que estem realitzant algunes tasques per passos, de manera que la seqüència es fa mitjançant el flux de control.
Els elements del flux de dades realitzen transformacions.
Tasques SSIS
Al paquet SSIS, podem afegir les tasques. Una tasca és una unitat de treball i tindrem diferents tipus de tasques per realitzar diferents tipus de treball. Hi ha diversos tipus de tasques, però parlarem de les tasques més habituals que s'utilitzen a SSIS:
S'utilitza per executar les sentències SQL en una base de dades relacional.
S'utilitza principalment per llegir les dades d'una o diverses fonts de dades, transformar les dades i també pot carregar les dades a una o més destinacions.
S'utilitza per processar objectes d'un cub SSAS o model tabular.
Aquesta tasca s'utilitza per cridar els altres paquets dins del mateix projecte. Fins i tot podeu passar els valors de les variables al paquet anomenat.
Us permet executar una aplicació o scripts per lots com a SQL Server Integration Services. Es pot utilitzar per obrir l'aplicació estàndard com Microsoft Excel, Microsoft Word, etc. També s'utilitza per descomprimir el fitxer comprimit.
Es pot utilitzar per realitzar les manipulacions del sistema de fitxers com ara moure fitxers, suprimir fitxers, canviar el nom dels fitxers, canviar el directori, etc.
Les tasques IFTP s'utilitzen per realitzar les operacions sobre fitxers i carpetes. Per exemple, si voleu enviar o rebre el fitxer des del servidor FTP al directori local, s'utilitza la tasca FTP SSIS.
Aquesta tasca us permet escriure el codi .Net que voleu realitzar.
Aquesta tasca s'utilitza per enviar un correu electrònic. S'utilitza principalment quan es vol notificar als usuaris sobre l'estat de la tasca si està en estat d'execució o si s'ha produït algun error.
Vegem un exemple de treball d'un servei d'integració de dades.
alinear una imatge en css
Exemple de tasca de flux de dades
Pas 1: Primer, creem un fitxer Excel a Microsoft Excel. Suposem que creo la base de dades d'estudiants a Microsoft Excel i els camps de la taula d'estudiants són student_id, student_name, notes i gènere.
Pas 2: Obriu l'estudi visual (SQL Server Data Tools).
Pas 3: Feu clic a l'opció Fitxer i després aneu a Nou->Projecte.
Pas 4: Quan feu clic al Projecte, apareix la pantalla, que es mostra a continuació:
A la pantalla anterior, feu clic a Serveis d'integració que apareix a l'extrem esquerre del tauler i, a continuació, feu clic al Projecte de serveis d'integració.
Pas 5: Després de fer clic a el projecte de serveis d'integració opció, la pantalla apareix com a continuació:
La pantalla anterior consta de cinc pestanyes com ara el flux de control, el flux de dades, els paràmetres, el gestor d'esdeveniments i l'explorador de paquets. Ja hem comentat el flux de control i el flux de dades, tant el flux de control com el flux de dades existeixen dins del paquet SSIS.
pas 6: Per importar les dades, primer hem de crear la base de dades en la qual creem la taula a la base de dades SQL Server. Com sabem que les dades dels estudiants estan disponibles dins del fitxer Excel, i volem importar les dades a la base de dades SQL Server. Per aconseguir-ho, primer hem de crear la taula a SQL Server. Obriu l'estudi de gestió de SQL Server.
Pas 7: Crea el estudiant base de dades. Feu clic amb el botó dret a la base de dades i, a continuació, feu clic a Nova base de dades opció.
Pas 8: Introduïu el nom de la base de dades a la captura de pantalla següent:
He donat StudentWarehouse com a nom de base de dades.
Pas 9: Feu clic a D'acord botó.
Pas 10: Ara, creem la taula en a Magatzem d'estudiants base de dades. Feu clic amb el botó dret a les taules i, a continuació, feu clic a la taula nova.
Pas 11: Ara afegim els camps d'una taula com student_id, student_name, notes i gènere. Establem l'estudiant_id com a clau primària que identifica de manera única cada fila.
La pantalla anterior mostra que afegim quatre camps en una taula. Després d'afegir tots els camps d'una taula, desem la taula proporcionant un nom útil. Suposem que he proporcionat l'estudiant com a nom de taula.
Pas 12: Torneu a l'estudi visual. El flux de control conté la tasca de flux de dades, arrossegueu i deixeu anar la tasca de flux de dades a la finestra principal.
Pas 13: Quan fem doble clic a la tasca de flux de dades, el control es mou automàticament al flux de dades des del flux de control, de manera que podem dir que el flux de dades és un contenidor de flux de dades.
Pas 14: Ara, podem realitzar les transformacions a Data Flow. Volem extreure les dades del fitxer Excel que hem creat anteriorment, així que arrossegueu i deixeu anar la font d'Excel de les altres fonts que apareixen a l'extrem esquerre del panell.
Des de la pantalla anterior, observem que la creu vermella apareix dins de l'Excel Source, vol dir que el component està configurat amb l'Excel Source.
Pas 15: Per configurar el component, feu clic amb el botó dret a la font d'Excel i feu clic a l'opció Edita tal com es mostra a la captura de pantalla següent:
Pas 16: Ompliu els detalls que es mostren a la captura de pantalla següent:
Pas 17: Després d'introduir tots els detalls, apareix la pantalla que es mostra a continuació:
Pas 18: Feu clic a Excel Souce.
La pantalla de dalt mostra dues fletxes, fletxa vermella i fletxa blava. La fletxa blava defineix les dades reals que rebem del fitxer Excel, i la fletxa vermella indica els errors que tenim. Ara hem de realitzar les transformacions, i abans de fer les transformacions, hem de carregar la base de dades.
Pas 19: Per carregar la base de dades, feu clic a Altres destinacions i després feu clic a Destinació.
Pas 20: Després d'afegir la destinació, connecteu la font a la destinació.
Pas 21: En el pas anterior, hem observat la creu vermella a ADO NET Destination, la qual cosa significa que no està configurada amb un component. Feu clic amb el botó dret a la destinació ADO NET i, a continuació, feu clic a l'opció Edita tal com es mostra a la captura de pantalla següent:
Pas 22: Heu d'especificar el gestor de configuració.
Pas 23: Feu clic a Nou botó per afegir el gestor de connexions. Quan feu clic a Nou botó, apareix la pantalla que es mostra a continuació:
Pas 24: Afegiu el nom del servidor i seleccioneu el nom de la base de dades del servidor SQL.
Pas 25: Feu clic al botó D'acord.
Pas 26: Afegiu el nom de la taula en què voleu carregar les dades.
Pas 27: A la pantalla següent, assigneu el camp de la font d'entrada al camp de la font de destinació.
q4 mesos
Pas 28: Després d'afegir un mapa, la font es connecta a la destinació, tal com es mostra a la captura de pantalla següent:
Pas 29: Feu clic a Començar botó per executar el projecte de serveis d'integració. Quan executeu el projecte, les dades es carreguen a la destinació, és a dir, SQL Server .
Exemple d'execució de la tasca SQL
- Seguiu els passos del pas 2 al pas 5 de l'exemple anterior.
- Arrossegueu i deixeu anar Executar la tasca SQL que apareix al panell més esquerre de la finestra principal.
A la pantalla anterior, observem que la creu vermella apareix a Execute SQL Task, el que significa que el Gestor de connexió no està configurat amb el Executar la tasca SQL . Per configurar-lo, hem d'afegir el Gestor de connexions.
- Per afegir el Gestor de connexions, feu clic amb el botó dret al Gestor de connexions i després feu clic al Gestor de connexions nou tal com es mostra a la captura de pantalla següent:
- Seleccioneu el OLEDB com a tipus de Gestor de connexions i, a continuació, feu clic a Afegeix botó tal com es mostra a la captura de pantalla següent:
- Després de fer clic a Afegeix botó, la pantalla apareix a la captura de pantalla següent:
A la pantalla anterior, observem que la connexió de dades de Magatzem d'estudiants La base de dades ja està disponible tal com vam crear al pas anterior. Feu clic a D'acord botó.
- Quan feu clic al botó D'acord, apareix la pantalla com es mostra a continuació:
A la pantalla anterior, heu d'introduir els detalls com ara el nom de la vostra tasca, la descripció, la instrucció SQL (tasca SQL que heu de realitzar a la taula).
- He introduït els detalls següents a la captura de pantalla anterior:
En el cas anterior, he proporcionat l'ordre d'inserció a SQLStatement.
- Feu clic a D'acord botó.
- Quan configureu el component amb la tasca Execute SQL, la creu vermella desapareix tal com es mostra a la captura de pantalla següent:
- Executeu el projecte fent clic a Començar .
- Quan feu clic a Començar , la pantalla apareix com a continuació:
A la pantalla anterior, la marca de verificació mostra que la vostra tasca SQL s'ha completat correctament. S'ha executat la instrucció insert que hem afegit als passos anteriors i les dades s'afegeixen a la taula. és a dir, estudiant 1.
- El resultat d'aquesta tasca es mostra a continuació
Requisit previ
Abans d'aprendre SSIS, heu de tenir els coneixements bàsics d'SQL Server.
Públic
El nostre tutorial SSIS està dissenyat per ajudar a principiants i professionals.
Problema
Assegurem que no trobareu cap problema en aquest tutorial SSIS. Però si hi ha algun error o error, si us plau, publiqueu l'error al formulari de contacte.