Incremental semantic tracking on mobile devices
| العنوان: | Incremental semantic tracking on mobile devices |
|---|---|
| المؤلفون: | ROBERTO, Rafael Alves |
| المساهمون: | TEICHRIEB, Veronica, UCHIYAMA, Hideaki, LIMA, João Paulo Silva do Monte |
| المصدر: | Repositório Institucional da UFPE Universidade Federal de Pernambuco (UFPE) instacron:UFPE |
| بيانات النشر: | Universidade Federal de Pernambuco, 2018. |
| سنة النشر: | 2018 |
| مصطلحات موضوعية: | Rastreamento semântico, Visão computacional |
| الوصف: | CNPq Tracking is an important task that is used for several applications. The improvement and popularization of mobile devices in recent years allowed these applications to be executed on such devices, which provides a mobility that is not possible on desktop computers. However, there are still several challenges in this field. Thus, the goal of this Ph.D. is to investigate methods to perform tracking on mobile devices considering the characteristics of such platform.To achieve this goal, it was conducted a systematic mapping on tracking for mobile devices. This study collected 2,602 papers, from which 444 were selected to be classified. The results indicated a growing interest in this field and a preference for works that use the device’s sensors to perform tracking locally on the device.The mapping was used to elaborate preliminary experimental scenarios. First, the Google Tango platform was evaluated to establish a ground base of the state-of-the-art trackers. It was observed that the precision in indoor spaces is suitable to provide a good user experience, including for augmented reality applications. Another experiment evaluated the use of parallelism, distributed approach and native implementation. This test showed that, on average, native development was the most efficient. Besides that, experiments were designed intending to test different tracking techniques. One is a face tracking technique using machine learning that was adapted to consider the characteristics of mobile devices and it runs in approximately eight milliseconds on such equipments. The other one is a SLAM technique that was developed in desktop and was ported to a Tango tablet device.There were several lessons learned from the experiments. One of them was the importance of finding high-level semantic information from a scene, which can improve tracking and provide more realistic rendering. In this Ph.D., it was developed a technique that incrementally detects and tracks primitives using the generating process of point clouds of visual SLAM systems, called Geometric and Statistical Incremental Semantic Tracker (GS-IST). The experiment indicates that GS-IST was able to improve both precision and stability of existing methods. However, since it focuses on precision, it compromises the recall to ensure the detection and tracking of correct shapes.In order to evaluate how GS-IST would perform running on mobile devices, it was ported to the Android platform. The evaluation showed that the mobile version is 8.5 to 9.9 times slower in comparison with the desktop implementation. Moreover, it uses up to 30.5% of the CPU load, which allows this implementation to run on a separate thread of the main tracking technique. Additionally, the energy consumption was not a concern because GS-IST can run for more than 4 hours in the worst case. Finally, the memory usage was less than 8% of the total RAM memory of the test devices, which did not have an impact on the execution time. Rastreamento é uma atividade importante usada em várias aplicações. Atualmente, estas aplicações podem ser executadas em dispositivos móveis graças à popularização e à melhoria desses aparelhos, dando uma mobilidade que não é encontrada nos computadores. Porém, ainda existem problemas em aberto nessa área. Assim, o objetivo deste doutorado é o de investigar métodos para realizar rastreamento em dispositivos móveis considerando as características desta plataforma.Para atingir esse objetivo, foi conduzido um mapeamento sistemático sobre rastreamento para dispositivos móveis. Este estudo coletou 2.602 artigos, dos quais 444 foram selecionados para classificação. Há um interesse crescente na área e uma preferência por artigos que usam os sensores para rastrear localmente no aparelho.O mapeamento foi usado na criação de experimentos preliminares. Inicialmente, o Google Tango foi avaliado para encontrar um referencial de precisão para os rastreadores atuais. Foi observado que sua precisão em espaços fechados é adequada para uma boa experiência do usuário. Outro experimento avaliou o uso de paralelismo, execução distribuída e implementação nativa. Estes testes mostraram que, na média, a implementação nativa foi a mais eficiente. Além disso, foram criados experimentos para testar diferentes técnicas de rastreamento. Uma delas rastreaia faces usando aprendizagem de máquina, foi adaptada considerando as limitações dos celulares e é executada em aproximadamente oito milissegundos. O último experimento está relacionado com uma técnica de SLAM chamada STAM. Ela foi desenvolvida para desktop e portada para um aparelho com suporte ao Google Tango.Várias lições foram aprendidas a partir dos experimentos. Uma delas foi a importância de encontrar informações de semântica de alto-nível de uma cena, que podem ser usadas para melhorar o rastreamento ou criar renderizações mais realísticas. Neste doutorado foi desenvolvida uma técnica que detecta e rastreia primitivas geométricas de maneira incremental usando o processo de geração de nuvens de pontos dos sistemas de SLAM, chamada GS-IST (sigla para Rastreador Semântico Incremental Geométrico e Estatístico). A avaliação do sistema indicou que o GS-IST foi capaz de melhorar a precisão e a estabilidade dos métodos existentes. Porém, a técnica peca na revocação para garantir a detecção e rastreamento das primitivas corretas.Para avaliar como o GS-IST se comportaria em dispositivos móveis, ele foi portado para a plataforma Android. A avaliação mostrou que a versão móvel é de 8,5 a 9,9 vezes mais lenta quando comparada com a versão desktop. Mais do que isso, ele usa até 30,5% da capacidade da CPU, permitindo a execução em uma thread separada da técnica de rastreamento. Além disso, o consumo de energia não foi uma preocupação, uma vez que o GS-IST pode ser executado por mais de 4 horas. Finalmente, o uso de memória RAM foi inferior a 8% do total disponível nos aparelhos testados, o que não apresentou nenhum impacto no tempo de execução. |
| اللغة: | English |
| الوصول الحر: | https://explore.openaire.eu/search/publication?articleId=od______3056::3a26bb28fdfc3a5a0cd56218d85587b8Test https://repositorio.ufpe.br/handle/123456789/31917Test |
| حقوق: | OPEN |
| رقم الانضمام: | edsair.od......3056..3a26bb28fdfc3a5a0cd56218d85587b8 |
| قاعدة البيانات: | OpenAIRE |
| الوصف غير متاح. |