Visual object tracking by using deep neural networks

Abstract

Bu tezde, nesne takibi için yeni yöntemler önerilmiştir. İlk olarak, farklı nesne takip veri setlerinde en iyi sonuçları elde edebilmek için derin öğrenme tabanlı 2 akışlı küçük mimariye sahip bir yöntem önerilmiştir. Önerilen yöntemde iki akışlı bir yapay sinir ağı ile hem uzamsal hem de zamansal bilgilerden yararlanılmış ve de ranking loss fonksiyonu kullanılmıştır. Önerilen ranking loss optimizasyon fonksiyonu ile sinir ağları hedef nesneyi daha iyi çevreleyen bölgelere daha yüksek skor vermeyi öğrenir. Uzamsal ve zamansal sinir ağlarından gelen skorlar birleştirilir. Önerilen yöntem test edilen nesne takip veri setlerinin çoğunda en iyi sonuçları elde etmiştir. Derin öğrenme tabanlı yönteme ek olarak, İnsansız hava araçlarının (İHA) tespit ve takibi için ilinti filtresi tabanlı hibrit bir yöntem önerilmiştir. İHA'ların ilk framede ve takipçinin başarısız olduğu durumlarda tespit edilmesi için derin öğrenme tabanlı YOLOv3 nesne tespit yöntemi kullanılmıştır. İHA'ların gerçek zamanlı olarak takip edilmesi için ise Çekirdekleşmiş İlinti Filtresi kullanılmıştır. Nesne tespit ve takip yöntemlerinin birlikte kullanılmasıyla, tek kart bilgisayarlarda bile gerçek zamanlı çalışabilen yüksek doğruluğa sahip yöntem geliştirilmiştir. YOLOv3 nesne tespit yönteminin eğitilmesi ve önerilen yöntemin test edilmesi için UAV Tracking adında yeni bir nesne takip veri seti oluşturulmuştur. Önerilen yöntem bu veri set üzerinde en iyi sonuçları elde etmiştir. Son olarak, önerilen yöntem genel nesne takibi için genelleştirilmiştir.

In this thesis, new methods have been proposed to track arbitrary objects. To this end, first, a novel lightweight two-stream deep learning-based tracker has been developed to obtain state-of-the-art results on different single object tracking benchmarks. In the proposed deep learning-based method, both spatial and temporal features are used and a ranking loss is employed. Using ranking loss term in the optimization function enforces the neural networks to learn to give higher scores to the candidate regions that better frame the target than the regions that frame the target object with less accuracy. The classifier scores received from spatial and temporal networks are fused. The experiments were conducted on eight different benchmarks. The proposed tracker achieves state-of-the-art results on most of the tested challenging tracking benchmarks. In addition to a deep learning-based tracker, a hybrid correlation filter-based tracker has been developed to detect and track UAVs. To detect the target UAV at the beginning of the tracking and in the case where the tracked UAV has been lost, the deep learning based YOLOv3 detector has been used. A kernelized correlation filter has been used to track detected target UAVs in real-time. Combining the detector and tracker provides high accuracy and real-time performance even on onboard computers. A new dataset called as UAV Tracking has been created to train the YOLOv3 detector and test the proposed method. The proposed method achieves state-of-the-art performances on created UAV Tracking dataset. Finally, the proposed method has been generalized for general tracking.