Intro
Ett vanligt problem inom maskininlärning är klassificeringsproblemet. Det vill säga vi vill programmera en dator som kan klassificera datapunkter själv. Ett tillvägagångssätt är att använda stödvektormaskinerna , som separerar datapunkter med en rak linje, ett plan eller ett hyperplan.
Allt till vänster om den raka linjen är i klass och allt till höger är i klass .
Men vad händer om datapunkterna är placerade som nedan?
Vad vi kan göra är att introducera en ny dimension genom avbildningen , given av:
Vi ser här att alla punkter som är långt från origo kommer att ha ett högt värde för sin komponent. Genom att göra detta kan vi separera klasser med planet baserat på värdet på deras -komponent. Detta kallas kärntricket .
Koncept
Betrakta matrisen:
Om vi tänker på varje kolumn som en vektor kommer vi att ha tre vektorer, som kan ligga i högst tre dimensioner.
Men eftersom är de tre vektorerna linjärt beroende och vektorerna ligger faktiskt i en två- dimensionsplan. Av detta drar vi slutsatsen att rang för är 2.
dimensionssatsen säger att dimensionen av nollrum i en matris, dvs den mängden vektorer som blir när den multipliceras med den, är lika med antalet kolonnvektorer minus rangen för en matris.
Genom att applicera dimensionssatsen på vår matris finner vi att nollrummet har 1 dimension, vilket bildar en linje.
Summering
För att hitta nollrummet för en matris måste vi i allmänhet lösa ekvationen:
dimensionssatsen kan dock ge oss en genväg. Låt oss återgå till matrisen:
Eftersom dimensionssatsen säger oss att nollrummet för är 1, och att vilken vektor som helst i nollrummet är vinkelrät mot de i radrummet, behöver vi bara hitta en linje vinkelrät mot de två vektorerna
Kom ihåg att kryssprodukten av två vektorer är en vektor vinkelrät mot båda. Därför,
Dimensionssatsen
Dimensionssatsen kommer i flera varianter och även om formuleringarna är olika så är de ändå ekvivalenta. Den handlar om dimensionerna till matrisen samt dimensionerna till dess kolonnrum och nollrum.
(Dimensionssatsen för matriser)
Om är en -matris gäller att
där är dimensionen till kolonnrummet och är dimensionen till nollrummet till A. Med andra ord hade man kunnat omformulera samma sats till
Rangsatsen
Rangsatsen involverar radrummet och kolonnrummet för varje matris . Den lyder enligt följande:
(Rangsatsen) Radrummet och kolonnrummet till en matris har samma dimensioner.
Det är en väldigt enkel och vacker sats. Den leder fler insikter om matriser, som följande
Låt vara en -matris, då har vi att
En definition nybörjaren bör ha koll på är att en -matris anses ha full rang om dess kolonnvektorer är linjärt oberoende. Man pratar även om radrummetes fulla rang och definitionen lyder analogt.
Utan djupare resonemang eller bevis avslutar vi här med följande egenskaper.
Låt vara en -matris. Då gäller att
och har samma nollrum och radrum
och har samma nollrum och radrum
och har samma kolonnrum
och har samma kolonnrum
, och har samma rang
Pivotsatsen
Pivotsatsen är det som motiverar algoritmen att ta fram en bas till kolonnrummet. Innan vi går in på algoritmen eller satsen så behöver vi definiera pivotkolonner.
Pivotkolonner är de kolonnvektorer som motsvarar de med ledande ettor i den radrecuderade matrisen.
Så, ett exempel är att kolonnvektor 1, 3 och 5 i följande -matris är pivotkolonner.
Nu är vi mogna för pivotsatsen
(Pivotsatsen) Pivotkolonnerna i en matris bildar en bas för kolonnrummet .
Så med satsen kan vi läsa ut att följande vektorer bildar en bas för matrisens kolonnrum:
Vi avslutar detta avsnitt med satsen kolonn-rad faktorisering som ger en praktisk tillämpbarhet av basen för kolonnrummet respektive radrummet.
(Kolonn-rad faktorisering)
Om är en nollskild -matris med rang så kan bli faktoriserad på följande sätt
där är -matrisen vars kolonnvektorer är pitotkolonner till matrisen (=basvektorerna till kolonnrummet) och är -matrisen vars radvektorer är basvektorerna för radrummet till .
Exempel på ovan sats:
