PIXTERA

PIXTERA
Banque d’algorithmes de traitement d’images

---

Vue d’ensemble
Caractéristiques
Exemples d’IP
Applications
Marchés
Puissance de traitement image et vidéo
Codage HDL
Mémoire
Entrées / Sorties vidéo
Entrée / Sortie contrôle et données
Alimentation & dimensions
Algorithmes de traitement typiques
Amélioration d’image
Analyses d’image
Projets

VUE D’ENSEMBLE

---

• Carte de traitement vidéo puissante, avec plus d’1 tera d’opérations par seconde (1012), basée sur FPGA/HDL
• Framework de traitement d’images accessible pour permettre un portage d’algorithmes rapide
• Bibliothèque d’algorithmes avancés de pré-traitement de l’image
• Support technique de Nexvision pour l’optimisation de codes MATLAB ou C à HDL

CARACTÉRISTIQUES

---

• FPGA haute performance (Field Programmable Gate Array), basé sur le dernier processeur 28nm, faible consommation
• Acquisition et traitement ultra-rapide & haute résolution – 12Mpixel@180fps
• Très intégré, léger et faible consommation (SWaP)
• Supporte 4 cartes capteur d’images indépendantes

EXEMPLES DE TRAITEMENT D’IMAGE

• Déconvolution
• Fusion de plusieurs prises de vue
• Amélioration et corrections optiques
• Stabilisation de la vibration
• Compression/Décompression
• Détection de corps humain
• Reconnaissance de formes et de caractères
• Détection d’accident de la circulation, comportement et contrôle de flux
• Carte de profondeur
• Reconstruction de scène 3D

APPLICATIONS

• Appareils Opto-électroniques
• Traitement Multimédia
• Caméra gyrostabilisée (diffusion, défense) pour des prises de vue à partir de drones (aérien ou terrestre) ou d’hélicoptères
• Assistance à la conduite et réalité augmentée
• Surveillance des frontières dans plusieurs bandes
• Tracking vidéo de plusieurs cibles
• Vision de nuit, imagerie active avec plage de déclenchement 3D
• Déconvolution en aveugle
• Crypto accélérateur
• Carte imprimée, circuit imprimé et afficheur LCD
• Caméra vidéo cinéma avec des effets temps réel
• Traitement vidéo post-production
• Reconnaissance automatique de plaque minéralogique (ANPR)
• Affichage dynamique haut de gamme ou vitrine interactive temps réel
• Solutions de vision avec des contraintes fortes (compact, léger, faible consommation)
• Caméra vidéo avec traitement d’images CPU intensif (hand held smartcam)
• Caméra Multispectre / Immersive / Omnidirectionnelle 360° (dome)
• Amélioration et analyse d’image embarquées, indexation avant compression et transmission

MARCHÉS

• Vision
• Défense
• Traitement d’images médicales
• Transport
• Vidéo surveillance complexe (frontières, villes, CCTV)
• Vision industrielle & Supervision
• Forces de police & investigation numérique
• Solutions multimédia haut de gamme
• Informatique haute performance (HPC : High Performance Computing)

PUISSANCE DE TRAITEMENT IMAGE & VIDEO

• Des capacités de traitement vidéo sans précédent
• Traitement de pixel fortement parallélisé / vectoriel
• Traitement multicoeur Simple-Instruction-Multiple-Données (SIMD)
• Flux d’accès au pixel vidéo aléatoire large bande sur la SRAM locale du FPGA et sur SRAM QDR externe
• Flux d’accès au pixel vidéo linéaire large bande sur SDRAM DDR3 externe
• Très faible latence

CODAGE HDL

• Le développeur est libre de se concentrer sur le développement d’algorithme et son optimisation (langage C/MATLAB/software/HDL seulement), car l’architecture vidéo de la carte est déjà définie.
• Temps d’intégration réduit
• Upgrade path pour de nouvelles fonctionnalités et améliorations de performances

MÉMOIRE

DDR- SDRAM (grande capacité, vitesse élevée)

• 6 x slots DDR3 1066MHz
• 2Gbits par slot, bus 16bits

SRAM (vitesse élevée, lecture aléatoire à latence faible)

• 2 x QDR III @ 600MHz
• 144Mb par slot, 18bits bus

ENTRÉES / SORTIES VIDÉO (Connecteurs 30 broches FPC)

ENTRÉE VIDEO

• 4 capteurs vidéo indépendants, chacun de plus de 200Mpixel/s, 16 bits
• Format libre : RAW bayer 10/12 bits, RGB422, ITU-BT1120, …

SORTIE VIDEO

• 2 x 200Mhz 16 bits

ENTRÉE / SORTIE CONTRÔLE ET DONNÉES

• 4 Interfaces PCI Express

ALIMENTATION & DIMENSIONS

• Entrée : 5VDC, 20W max
• Carte de traitement : 93mm (L) x 60mm (l) x 8mm (h)
• Température : de 0°C à 50°C (de -40°C à +85°C en option)
• Humidité : 10 – 90% sans condensation

ALGORITHMES DE TRAITEMENT TYPIQUES

AMÉLIORATION D’IMAGE

Traitement du capteur d’images

• Matrice de Bayer CFA (Color Filter Array) vers RVB (demosaïcing), algorithmes non linéaires à l’état de l’art pour une interpolation de couleur de très haute qualité (*)
• Exposition automatique : adaptation rapide lorsque les conditions de lumière changent rapidement(*)
• Multi-exposition ou multi-résolution, sur une base de trame par trame (*)
• Correction des matrices de couleur : dynamique, scène et mesure de la luminosité (*)
• Balance des blancs automatique
• Application spécifique (*)
• Conversion Gamma & conversion de couleur YUV/HSI, histogramme, logique, mapping LUT, segmentation, et seuil d’alerte (*)
• Correction de pixel mort
• Correction non uniforme des capteurs IR (*)
• Anti flickering (*)

Amélioration des prises de vue

• Cartographie dynamique locale des teintes (ombres et reflets)
• Imagerie à large gamme dynamique (HDR : High Dynamic Range) – Résolution 16bits
• Filtre de bruit 3D (spatial-temporal) (*)
• Amélioration des contrastes et des contours (algorithme type : USM – UnSharp mask) (*)
• Filtres spatiaux

Déconvolution (*)

• Modèle de reconstitution d’image qui intègre une matrice de Bayer et la correction des aberrations chromatiques (*)
• Algorithme parallèle sur FPGA qui applique une déconvolution à l’image en utilisant un algorithme récursif qui converge en quelques itérations (nouveau brevet en cours) (*)
• Processus de déconvolution qui intègre le bruit du capteur et améliore le “denoising” ou “deblurring” en fonction de l’objectif souhaité (*)
• Déconvolution myope pour estimer le PSF (Point Spread Function) de l’optique et l’aberration atmosphérique (basée sur la fractale récupérée dans l’image naturelle) (*)
• Lentille “défocusé” mécaniquement pour estimer le psf (*)
• Le mouvement de la caméra pourrait être intégré dans le processus de déconvolution (*)
• Déconvolution multi-canaux (*)

Transformation du domaine de fréquence

Fusion

• Plusieurs prises et/ou plusieurs angles de vue dans plusieurs bandes spectrales : visible, SWIR (Shortwave InfraRed), Infrarouge thermique (MWIR/LWIR), Terahertz, etc… )
• Fusion with non-linear co-registration warping algorithm that corrects for visible + VNIR + SWIR versus thermal IR parallax and optical distortions

Autofocus : mise au point temps réel avec contrôle de l’objectif (*)

Amélioration de l’optique et corrections

• Corrections des aberrations des optiques et super-résolution (*)
• Correction de l’aberration atmosphérique (*)
• Correction des distorsions optiques
• Correction des aberrations chromatiques en latéral et longitudinal dues à la distorsion de la lentille, correction du vignettage (éclairage relatif)
• Lens barrel distorsion distorsion correction
• Correction de l’image liée aux lentilles ultra grand angle (360° « FishEye » circle image real time dewarping) (*)
• Co-optronics designed optics : extended depth of view/digital autofocus – wave front coding
• Anisotropic 2D image scaling

Correction de la vibration – Stabilisation vidéo

• Close control loop multilevel stabilisation depending on amplitude-period (mechanical, optical, electronic and software)
• Lens/mirror piezoactuator stabilisation control for angular movement correction (yaw and pitch)
• Piezo-microactuator image sensor micro-scanning stabilisation control (close loop with 6 axis gyro-accelero sensors Nexvision’s “MULTILINK” board) (*)
• Compensateur de mouvement : virtual windows counter motion centring using feature points video tracking
• Viseur, tracking de cible automatique (pan-tilt-zoom gyrostabilizé)

Zoom virtuel pan-tilt

• Ultra grande résolution vidéo (X-HDTM) (*) avec notre module Nexvision IMA12MC
• Création d’images panoramiques (*) avec IMAPANO
• Grande résolution 360°, dewarp vidéo temps réel (*)

Calibration 2D/3D

Compression / Décompression

Effets Studio

Discrimination en arrière plan, corrélation, gradient operation, Transformée de Hough, morphologie, projection, affinage des contours, line verification, rule based post processing, convolution, motion adaptive deinterlace, restauration d’image, etc…

Algorithmes définis par l’utilisateur

ANALYSES D’IMAGE

• Analyses et extraction des points remarquables
• Détection incendie
• Concordance de forme
• Reconnaissance de texture
• Détection d’objets immobiles suspects
• Détection de mouvement (*)
• Détection de corps humain
• Reconnaissance de forme, reconnaissance de caractères
• Comptage de visiteurs ou de personnes marchant dans la rue
• Reconnaissance de geste
• Recherche d’images par le contenu & “Query-by-content”
• Fusion de capteurs (positionnement sur un SIG, gyro-accélérateur, ultrason, radar, ..)
• Reconnaissance faciale biométrique dans plusieurs bandes (Visible/SWIR/LWIR)
• Carte de profondeur
• Reconstruction de scène 3D
• Enregistrement – Alignement de scènes unifiées – translation et perspective
• Détection d’accidents de la route, comportement et contrôle de flux
• Analyse des couleurs
• Mesures 1D et 2D
• Lecture de 1D / 2D et vérification