Komputerowe algorytmy ekstrakcji i śledzenia obiektów w czasie rzeczywistym

Boguslaw Rymut; Komputerowe algorytmy ekstrakcji i śledzenia obiektów w czasie rzeczywistym; Praca doktorska; 2016
Promotor: dr hab. inż. Bogdan Kwolek, prof. n. AGH
Keywords: śledzenie ruchu 3d, obliczenia równoległe, wizja komputerowa

Abstrakt

Praca dotyczy bezmarkerowych systemów do śledzenia ruchu 3D w oparciu o obrazy pobierane z kilku skalibrowanych i zsynchronizowanych kamer. Estymacja pozy jest realizowana w oparciu o model 3D, który jest transformowany do przestrzeni obrazów, a następnie renderowany. Śledzenie ruchu 3D całej postaci realizowano w czasie rzeczywistym w oparciu o algorytmy optymalizacji dynamicznej oraz filtracji bayesowskiej. W funkcji celu algorytmu optymalizacyjnego w oparciu o rój cząsteczek oraz model obserwacji filtru cząsteczkowego wykorzystywano dopasowanie między wyrenderowanym modelem 3D w zadanej pozie oraz cechami wydzielonymi na obrazach. Mając na względzie to, że główna część nakładów obliczeniowych związana jest z renderingiem modeli 3D w hipotetycznych pozach, a także wyznaczaniem wartości funkcji celu, w pracy opracowano efektywne metody renderingu modeli 3D w czasie rzeczywistym ze wsparciem sprzętowym OpenGL oraz równoległe metody wyznaczania funkcji celu na GPU. Opracowano i przebadano kilka wariantów funkcji celu do śledzenia ruchu 3D w czasie rzeczywistym w oparciu o rendering programowy i sprzętowy modeli 3D. Zaproponowano efektywne rozwiązania umożliwiające rendering modelu w OpenGL, a także wymianę danych między CUDA i OpenGL. Zaproponowano i przebadano konfigurowalne potoki graficzne OpenGL do renderingu w czasie rzeczywistym znaczącej liczby modeli 3D w zadanej pozie. Opracowano i zaimplementowano metody dekompozycji algorytmu optymalizacji w oparciu o rój cząsteczek oraz równoległego wyznaczania funkcji celu pod kątem efektywnego wykorzystania dostępnych zasobów sprzętowych oraz osiągania najlepszych dokładności i częstotliwości śledzenia. Dzięki opracowanym rozwiązaniom zrealizowano śledzenie ruchu 3D całej postaci w czasie rzeczywistym. Opracowano rozwiązania umożliwiające dobranie liczby cząsteczek i liczby iteracji w algorytmie PSO, od których zależy liczba przetwarzanych klatek na sekundę, która z kolei determinuje zmiany pozy pomiędzy kolejnymi klatkami. Dzięki wspomnianym rozwiązaniom możliwe jest osiągnięcie najmniejszego błędu śledzenia ruchu 3D w czasie rzeczywistym.

Media

Praca doktorska w formacie PDF
Cytowanie w formacie BibTeX

Cytowanie


@PhdThesis{RymutPhdThesis2016, author = {Bogusław Rymut}, title = {Komputerowe algorytmy ekstrakcji i śledzenia obiektów w czasie rzeczywistym}, year = {2016}, }

Face Tracking Using Adaptive Appearance Models and Convolutional Neural Network

Boguslaw Rymut and Bogdan Kwolek: Face Tracking Using Adaptive Appearance Models and Convolutional Neural Network; Int. Conf. on Hybrid Artificial Intelligence Systems, 2011, Hybrid Artificial Intelligent Systems, Lecture Notes in Computer Science, Vol. 6678, Springer Berlin Heidelberg, 2011, pp. 271-279.

Abstract

One inherent problem of online learning based trackers is drift consisting in a gradual accommodation of the tracker to non-targets. This paper proposes an algorithm that does not suffer from the template drift inherent in a naive implementation of the online appearance models. The tracking is done via particle swarm optimization algorithm built on adaptive appearance models. The convolutional neural network based face detections are employed to support the re-diversification of the swarm in the course of the tracking. Such candidate solutions vote simultaneously towards true location of the face through correcting the fitness function. In particular, the hybrid algorithm has better recovery capability in case of tracking failure.

Face Tracking with Guaranteed Framerates on Mobile Phones

Bogusław Rymut and Bogdan Kwolek: Face Tracking with Guaranteed Framerates on Mobile Phones; Image Processing and Communications Challenges 3, Advances in Intelligent and Soft Computing, Vol. 102, Springer Berlin Heidelberg, 2011, pp. 165-172.

Abstract

This paper addresses the problem of face tracking with guaranteed framerates at mobile devices. The frame rate of the computationally inexpensive algorithm is not affected by the image content. An ellipse with fixed orientation is used to model the head. The position and the size of the ellipse are determined with respect to intensity gradient near the edge of the ellipse and skin color probability in the ellipse’s interior. The tracking is achieved using particle swarm optimization. The experiments were done using Lenovo S10 netbook and Nokia N900 smart phone.

Parallel Appearance-Adaptive Models for Real-Time Object Tracking Using Particle Swarm Optimization

Boguslaw Rymut and Bogdan Kwolek: Parallel Appearance-Adaptive Models for Real-Time Object Tracking Using Particle Swarm Optimization; Int. Conf. on Computational Collective Intelligence – Technologies and Applications, 2011, Computational Collective Intelligence. Technologies and Applications, Lecture Notes in Computer Science, Vol. 6923, Springer Berlin Heidelberg, 2011, pp. 455-464.

Abstract

This paper demonstrates how appearance adaptive models can be employed for real-time object tracking using particle swarm optimization. The parallelization of the code is done using OpenMP directives and SSE instructions. We show the performance of the algorithm that was evaluated on multi-core CPUs. Experimental results demonstrate the performance of the algorithm in comparison to our GPU based implementation of the object tracker using appearance-adaptive models. The algorithm has been tested on real image sequences.

GPU-Supported Object Tracking Using Adaptive Appearance Models and Particle Swarm Optimization

Boguslaw Rymut and Bogdan Kwolek: GPU-Supported Object Tracking Using Adaptive Appearance Models and Particle Swarm Optimization; Int. Conf. on Computer Vision and Graphics, 2010, Computer Vision and Graphics, Lecture Notes in Computer Science, Vol. 6375, Springer Berlin Heidelberg, 2010, pp. 227-234.

Abstract

In this paper we present a particle swarm optimization (PSO) based approach for marker-less full body motion tracking. The objective function is smoothed in an annealing scheme and then quantized. This allows us to extract a pool of candidate best particles. The algorithm selects a global best from such a pool to force the PSO jump out of stagnation. Experiments on 4-camera datasets demonstrate the robustness and accuracy of our method. The tracking is conducted on 2 PC nodes with multi-core CPUs, connected by 1 GigE. This makes our system capable of accurately recovering full body movements with 14 fps.

GPU-Accelerated Object Tracking Using Particle Filtering and Appearance-Adaptive Models

Bogusław Rymut and Bogdan Kwolek: GPU-Accelerated Object Tracking Using Particle Filtering and Appearance-Adaptive Models; Image Processing and Communications Challenges 2, Advances in Intelligent and Soft Computing, Vol. 84, Springer Berlin Heidelberg, 2010, pp. 337-344.

Abstract

In this work we present an object tracking algorithm running on GPU. The tracking is achieved by a particle filter using appearance-adaptive models. The main focus of our work is parallel computation of the particle weights. The tracker yields promising GPU/CPU speed-up. We demonstrate that the GPU implementation of the algorithm that runs with 256 particles is about 30 times faster than the CPU implementation. Practical implementation issues in the CUDA framework are discussed. The algorithm has been tested on freely available test sequences.

Full Body Motion Tracking in Monocular Images Using Particle Swarm Optimization

Bogusław Rymut and Tomasz Krzeszowski and Bogdan Kwolek: Full Body Motion Tracking in Monocular Images Using Particle Swarm Optimization; Int. Conf. on Artificial Intelligence and Soft Computing, 2012, Artificial Intelligence and Soft Computing, Lecture Notes in Computer Science, Vol. 7267, Springer Berlin Heidelberg, 2012, pp. 600-607.

Abstract

The estimation of full body pose in monocular images is a very difficult problem. In 3D-model based motion tracking the challenges arise as at least one-third of degrees of freedom of the human pose that needs to be recovered is nearly unobservable in any given monocular image. In this paper, we deal with high dimensionality of the search space through estimating the pose in a hierarchical manner using Particle Swarm Optimization. Our method fits the projected body parts of an articulated model to detected body parts at color images with support of edge distance transform. The algorithm was evaluated quantitatively through the use of the motion capture data as ground truth.

GPU-Accelerated Human Motion Tracking Using Particle Filter Combined with PSO

GPU-Accelerated Object Tracking Using Particle Filtering and Appearance-Adaptive Models; Image Processing and Communications Challenges 2, Advances in Intelligent and Soft Computing, Vol. 84, Springer Berlin Heidelberg, 2010, pp. 337-344.

Abstract

In this work we present an object tracking algorithm running on GPU. The tracking is achieved by a particle filter using appearance-adaptive models. The main focus of our work is parallel computation of the particle weights. The tracker yields promising GPU/CPU speed-up. We demonstrate that the GPU implementation of the algorithm that runs with 256 particles is about 30 times faster than the CPU implementation. Practical implementation issues in the CUDA framework are discussed. The algorithm has been tested on freely available test sequences.

Śledzenie obiektów przy wykorzystaniu GPU

Bogusław Rymut; Śledzenie obiektów przy wykorzystaniu GPU; Praca magisterska; Politechnika Rzeszowska; 2010
Opiekun: dr hab. inż. Bogdan Kwolek, prof. PRz
Słowa kluczowe: przetwarzanie obrazów, śledzenie obiektów, programowanie gpu, nvidia cuda, programowanie równoległe

Abstrakt

Celem niniejszej pracy dyplomowej było zaproponowanie implementacji metody roju cząsteczek oraz metody filtru cząsteczkowego działającej na urządzeniach klasy GPU w oparciu o technologię NVIDIA CUDA. W pracy przedstawiono zagadnienia związane z programowaniem aplikacji w technologii NVIDIA CUDA oraz metody śledzenia obiektów w oparciu o model adaptacyjny przy wykorzystaniu metody roju cząsteczek oraz filtru cząsteczkowego. Praca opisuje także budowę dwóch aplikacji demonstracyjnych: jedna przedstawia implementację metody roju cząsteczek, druga metodę filtru cząsteczkowego. W pracy przedstawiono także zalety oraz wady implementacji tych algorytmów na urządzeniach GPU.

Media

Praca magisterska w formacie PDF
Cytowanie w formacie BibTeX

Cytowanie


@MastersThesis{ author = {Boguslaw Rymut}, title = {{Śledzenie obiektów przy wykorzystaniu GPU}}, school = {Politechnika Rzeszowska}, address = {Polska}, year = {2010} }