🔬 Mitme kaadri ülieraldusvõimega pildistamine on võimas tehnika, mida kasutatakse piltide eraldusvõime suurendamiseks, kombineerides arukalt teavet sama stseeni mitme madala eraldusvõimega kaadrist. See protsess läheb kaugemale lihtsast interpoleerimisest, kasutades suurema eraldusvõimega kujutise rekonstrueerimiseks igas kaadris olevaid peeneid erinevusi ja täiendavaid detaile. Selle aluseks olev teadus hõlmab keerukaid algoritme ja signaalitöötlusmeetodeid, et ületada üksikute madala eraldusvõimega kujutiste piirangud.
Superresolutsiooni põhitõdede mõistmine
Ülieraldusvõimega (SR) kujutise eesmärk on luua ühest või mitmest madala eraldusvõimega (LR) pildist kõrge eraldusvõimega (HR) kujutis. Traditsioonilised SR-meetodid tuginevad sageli ühe pildi tehnikatele, kasutades eelteadmisi ja õpitud mustreid kõrgsageduslike detailide järeldamiseks. Kuid mitme kaadri ülieraldusvõime pakub selget eelist, kuna kasutab ära mitme pildi vahel saadaoleva teabe mitmekesisust.
Põhiprintsiip on see, et iga LR-kujutis jäädvustab stseeni veidi erineva vaatenurga või proovivõtu, mis on tingitud sellistest teguritest nagu subpikslite nihked, liikumine või anduri müra varieerumine. Neid pilte hoolikalt registreerides ja liites saab algoritm puuduva teabe tõhusalt täita ja detailsema HR-pildi rekonstrueerida.
Mitme kaadri lähenemine: piltide mitmekesisuse ärakasutamine
✨ Mitmekaadriline SR kasutab kujutiste mitmekesisuse kontseptsiooni, et ületada ühe kaadri SR-i piirangud. Kujutise mitmekesisus tuleneb väikese eraldusvõimega kaadrite vahelisest peenest varieerumisest, nagu kerged nihked vaatepunktis, liikumise hägusus või erinevad müramustrid. Need variatsioonid, kuigi näiliselt väikesed, pakuvad olulist täiendavat teavet, mida saab kasutada kõrgema eraldusvõimega pildi rekonstrueerimiseks.
Mõelge stsenaariumile, kus kaamera jäädvustab staatilise objekti kujutiste jada. Kaamera kerge vibratsiooni või liikumise tõttu nihkub iga pilt teiste suhtes veidi. Need alampikslite nihked, isegi kui vaid murdosa pikslist, annavad aluseks olevast stseenist erinevaid näidiseid.
Mitme kaadri ülieraldusvõime peamised sammud
Mitme kaadri ülieraldusvõime protsess hõlmab tavaliselt mitut põhietappi, millest igaüks mängib lõpptulemuses otsustavat rolli. Need sammud hõlmavad pildi registreerimist, liikumise hindamist, kujutise liitmist ja hägususe/müra eemaldamist. Optimaalsete tulemuste saavutamiseks tuleb iga samm hoolikalt läbi viia.
1. Pildi registreerimine
📍 Kujutiste registreerimine on madala eraldusvõimega piltide joondamine ühise võrdlusraamiga. See on kriitiline samm, kuna täpne joondamine on piltide õigeks sulandamiseks hädavajalik. Registreerimisprotsess hõlmab tavaliselt geomeetrilise teisenduse (nt translatsioon, pööramine, skaleerimine) hindamist, mis kaardistab iga LR-kujutise võrdluspildiga.
Kujutiste registreerimiseks saab kasutada erinevaid tehnikaid, sealhulgas funktsioonipõhiseid meetodeid, intensiivsuspõhiseid meetodeid ja faasikorrelatsiooni. Funktsioonipõhised meetodid hõlmavad piltidelt eristavate tunnuste (nt nurgad, servad) eraldamist ja nende sobitamist teisenduse hindamiseks.
2. Liikumise hindamine
Liikumise hindamine on tihedalt seotud kujutise registreerimisega ja hõlmab liikumisvektorite määramist madala eraldusvõimega kujutiste vahel. See on eriti oluline, kui stseen sisaldab liikuvaid objekte või kui kaamera liigub keeruliselt. Täpne liikumise hindamine võimaldab neid liikumisi kujutise liitmisprotsessi ajal korralikult kompenseerida.
Liikumise hindamiseks kasutatakse tavaliselt optilise voo algoritme, mis hindavad pikslite näivat liikumist järjestikuste kaadrite vahel. Need algoritmid analüüsivad liikumisvektorite määramiseks pildi intensiivsuse muutusi aja jooksul.
3. Image Fusion
➕ Kujutise liitmine on registreeritud madala eraldusvõimega kujutiste kombineerimise protsess, et luua kõrgema eraldusvõimega pilt. See samm kasutab igal pildil olevat täiendavat teavet, et täita puuduvad üksikasjad ja vähendada müra. Liitprotsessi saab läbi viia erinevate tehnikate abil, sealhulgas kaalutud keskmistamine, maksimaalse tõenäosuse hindamine ja Bayesi meetodid.
Kaalutud keskmistamine hõlmab igale LR-pildile erineva kaalu määramist selle kvaliteedi või usaldusväärsuse alusel. Maksimaalse tõenäosuse hinnangu eesmärk on leida HR-pilt, mis on kõige tõenäolisemalt tekitanud vaadeldud LR-kujutised. Bayesi meetodid hõlmavad rekonstrueerimisprotsessi parandamiseks eelnevaid teadmisi personalipildi kohta.
4. Hägustamine ja müra vähendamine
Rekonstrueeritud kõrge eraldusvõimega kujutis võib siiski kannatada hägususe ja müra tõttu, mis on tingitud pildindussüsteemi ebatäiuslikkusest või müra olemasolust madala eraldusvõimega piltidel. Seetõttu kasutatakse pildi visuaalse kvaliteedi parandamiseks sageli viimase sammuna hägustamise ja müra vähendamise tehnikaid.
Hägustamisalgoritmide eesmärk on eemaldada pildisüsteemi punktide hajutamise funktsioonist põhjustatud hägunevad artefaktid. Müra vähendamise algoritmide eesmärk on vähendada pildi mürataset, säilitades samal ajal olulised detailid.
Matemaatiline formuleerimine
Mitme kaadri ülieraldusvõime probleemi saab matemaatiliselt sõnastada järgmiselt: Arvestades madala eraldusvõimega kujutiste kogumit ( y_i ), kus ( i = 1, 2,…, N ), on eesmärgiks hinnata kõrge eraldusvõimega kujutist ( x ). Iga madala eraldusvõimega kujutis on seotud kõrge eraldusvõimega kujutisega lagunemismudeli kaudu:
( y_i = D_i B_i H_i x + n_i )
Kus:
- (x ) on soovitud kõrge eraldusvõimega pilt.
- (y_i ) on (i )-s madala eraldusvõimega pilt.
- (H_i ) tähistab geomeetrilist teisendust (nt translatsioon, pööramine), mis joodab (i )-nda LR-kujutise HR-ruudustikuga.
- ( B_i ) tähistab hägustamise operaatorit.
- ( D_i ) tähistab alladiskreetimisoperaatorit.
- (n_i ) tähistab müra (i )-ndas LR-kujutises.
Eesmärk on leida hinnang ( x ), mis minimeerib erinevuse vaadeldud madala eraldusvõimega kujutiste ja prognoositud madala eraldusvõimega kujutiste vahel, mis põhinevad lagunemismudelil. Seda saab saavutada erinevate optimeerimistehnikate abil, nagu vähimruutude hinnang või maksimum a posteriori hinnang.
Multi-Frame ülieraldusvõime rakendused
🚀 Mitmekaadrilisel superresolutsioonil on lai valik rakendusi erinevates valdkondades. Need rakendused saavad kasu selle tehnika pakutavast täiustatud pildikvaliteedist ja detailidest. Allpool on toodud mitu peamist näidet.
- Meditsiiniline pildistamine: meditsiiniliste piltide (nt MRI, CT-skaneeringud) eraldusvõime parandamine paremaks diagnoosimiseks ja ravi planeerimiseks.
- Seire: seirematerjalide selguse suurendamine, et parandada objektide äratundmist ja tuvastamist.
- Kaugseire: satelliidipiltide eraldusvõime suurendamine paremaks keskkonnaseireks ja ressursside haldamiseks.
- Astronoomia: Taevaobjektide kõrglahutusega kujutiste rekonstrueerimine mitme vaatluse põhjal.
- Video täiustamine: parandage videote visuaalset kvaliteeti, suurendades eraldusvõimet ja vähendades müra.
