Graph-based Data Fusion of Pedometer and WiFi Measurements for Mobile Indoor Positioning

At ACM UbiComp 2014, we propose a graph-based, low-complexity sensor fusion approach for ubiquitous pedestrian indoor positioning using mobile devices. We employ our fusion technique to combine relative motion information based on step detection with WiFi signal strength measurements.

The method is based on the well-known particle filter methodology. In contrast to previous work, we provide a probabilistic model for location estimation that is formulated directly on a fully discretized, graph-based representation of the indoor environment. We generate this graph by adaptive quantization of the indoor space, removing irrelevant degrees of freedom from the estimation problem.

We evaluate the proposed method in two realistic indoor environments using real data collected from smartphones. In total, our dataset spans about 20 kilometers in distance walked and includes 13 users and four different mobile device types. Our results demonstrate that the filter requires an order of magnitude less particles than state-of-the-art approaches while maintaining an accuracy of a few meters.

The proposed low-complexity solution not only enables indoor positioning on less powerful mobile devices, but also saves much-needed resources for location-based end-user applications which run on top of a localization service.

To learn more, check out our ACM UbiComp Paper.

 

Posted in Navvis | Leave a comment

Camera-Based Indoor Positioning Using Scalable Streaming Of Compressed Binary Image Signatures

At ICIP 2014, we present a novel approach for client-server-based visual localization: Recent progress in the field of content-based image retrieval has enabled camera-based indoor positioning. The matching of smartphone recordings with a database of geo-referenced images allows for meter accurate infrastructure-free localization. In mobile scenarios, however, three major constraints have to be considered: limited computational resources of mobile devices, limited network capacity and the need for scalability in large buildings.

To address these issues, we modify the state-of-the-art Vector of Locally Aggregated Descriptors (VLAD) image signature to work with recently emerging binary feature descriptors. We show that this results in a substantial reduction in the overall computational complexity, which enables the matching of image signatures directly on the mobile device. The specific properties of this signature form the basis of our proposed scalable streaming approach that preemptively loads image signatures of reference images in the vicinity of the user onto the mobile device to mitigate the effect of network latency. In order to provide efficient streaming, we compress the signatures by exploiting the similarities of spatially neighboring reference images. In combination, the contributions of this paper lead to an indoor localization system, which allows instantaneous camera-based indoor positioning with very low requirements on the available network connection.

For all the details, please take a look at the full paper.

Posted in Navvis | Leave a comment

Qualcomm Innovation Fellowship 2014

qualcommThis year, Dominik Van Opdenbosch, who is part of the NAVVIS project, received a Qualcomm Innovation Fellowship 2014 from Qualcomm Research Germany for his work in visual localization. With his innovation proposal for a holistic approach in mobile visual localization he received one of three fellowships among several highly competitive applications. The finalists’ presentations in front of an international jury took place at Qualcomm Research Nuremberg on April 2nd.

More information available at LMT and Qualcomm Research

Posted in Navvis | Leave a comment

NavVis wins VDE Award 2013

This year for the fifth time, VDE Südbayern presented the VDE Awards 2013 for outstanding technical-scientific accomplishments in Bavaria and NavVis was given the prize in the category start-up. “The VDE Awards are meant to honor outstanding technical developments and the winners’ commitment for fostering public enthusiasm towards technology“, says Prof. Dr.-Ing. Petra Friedrich, chair of VDE Südbayern. The awards were given at the Münchner Abend 2013 at Hotel Bayerischer Hof on November 28.

VDE-Award-2013_NavVis_Bild

Posted in Navvis | Leave a comment

TUMcampus Article about IdeAward-Winner NavVis

TUMcampus Issue 04/2013 TUMcampus article on NavVisRead the full article here (in German).

Posted in Navvis | Leave a comment

NavVis @ FAZ, again :)

Once again, NavVis was featured in FAZ 🙂 Have a look:

http://www.faz.net/aktuell/beruf-chance/campus/existenzgruendung-garage-geld-und-geistesblitz-12287148.html

 

 

Posted in Navvis | Leave a comment

NAVVIS @ FAZ

NAVVIS has been featured in the press. Below you can find the article that appeared in reknown Frankfurter Allgemeine Zeitung on July 1st 2013:

FAZ_01_07_2013

 

Den Weg zum Konferenzraum oder zum Hörsaal zu finden kann mitunter kompliziert sein. Zumal in Gebäuden, in denen ein Flur aussieht wie der andere und die Zimmernummern im vierstelligen Bereich liegen. Manche Bürokomplexe, Universitäten und Museen erinnern verdächtig an das Brettspiel “Verrücktes Labyrinth”. Damit das Herumirren ein Ende hat, entwickelt das Start-up “Navvis” aus München eine GPS-App für den Innenraum. Smartphone-Besitzer können sich schon jetzt bequem von Google Maps durch Stadtviertellotsen lassen. Hier muss man sich schon lange nicht mehr durch den Schilderwald kämpfen. „Für die Orientierung in Gebäuden fehlt es bisher aber an praktikablen Lösungen”, erklärt Georg Schroth, einer der Gründer von Navvis. Denn hinter den Mauern gibt es bisher kaum Empfang für GPS-Signale. Das Kernteam von Navvis besteht aus vier gleichberechtigten Gesellschaftern, wovon drei an der Technologie geforscht haben. Georg Schroth, Sebastian Hilsenbeck und Robert Huitl haben als Mitarbeiter des Lehrstuhls für Medientechnik die Technologie entwickelt. Wirtschaftliche Expertise bringt Felix Reinshagen in das Unternehmen ein. Die Ersten, die nach einer Lösung für das Problem suchen, sind die Navvis-Gründer allerdings nicht. Schon andere Anbieter haben sich auf dem Gebiet versucht. “Am meisten verbreitet sind Wifi-basierte Lokalisierungen”, erklärt Schroth. Das heißt, dass die verlorenen Signale in Gebäuden mit Hilfe von Repeatern verstärkt werden. Dabei fallen allerdings hohe Wartungskosten an. Auch die Lokalisierung via Magnetfelder und durch Blitzlichter gibt es schon. Mit ihrer Lösung wollen die vier Gesellschafter die lndoor-Navigation einfacher machen. Denn die bisherigen Technologien sind anfällig für Störungen – Rolltreppen, Türen oder Personen können das Signal ablenken. “Die Technologie von Navvis stützt sich auf Bilder und arbeitet somit wie der Mensch”, erklärt Reinshagen den Unterschied. Ganz ohne Aufwand funktioniert aber auch diese visuelle Herangehensweise nicht. Wie bei den anderen Techniken kommt man auch hier nicht um die Arbeit des Kartierens herum. Alle Räume müssen zuvor mit einem Laser abgelichtet und Fotos gemacht werden, damit die Bilder anschließend auf einem Datenserver gespeichert werden können. Wer nach dem richtigen Weg sucht, kann mit seinem Handy ein Foto von der Umgebung schießen. Die Bilder werden dann mit den gespeicherten Aufnahmen in der Datenbank verglichen. So kann die Person geortet und der Weg – wie bei Navigationssystemen üblich – mit Pfeilen eingeblendet werden. Doch den Weg zu weisen ist nicht allein das Ziel der Jungunternehmer. Die App soll künftig auch Informationen über Kunstwerke und Gebäude liefern, an denen der Nutzer unterwegs vorbeikommt. “Somit kann die App auch als City-Guide dienen”, erklärt Felix Reinshagen. Im Herbst startet die Firma ein Pilotprojekt im Deutschen Museum in München. Die Navvis-App soll die Besucher von da an durch das größte naturwissenschaftlich-technische Museum der Welt lotsen. In Zukunft wollen die Gründer zu einzelnen Ausstellungsstücken außerdem Informationen einblenden. Für ihre Arbeit wurden die Jungunternehmer jüngst mit dem lde-Award belohnt, einem Gründerpreis, den die Technische Universität München gemeinsam mit dem Gründerzentrum “Unternehmertum” und der Zeidler-Forschungs-Stiftung einmal im Jahr vergibt. “So eine Auszeichnung hilft einem als Start-up sehr, weil sie zeigt, dass auch andere Leute an einen glauben”, sagt Georg Schroth. An ihre Geschäftsidee glauben die Münchner in der Tat nicht alleine. Seit April werden sie vom Münchner Gründerzentrum “Unternehmertum”, einem AnInstitut derTechnischen Universität, gefördert. Kickstart heißt das Programm, das ausgewählten Gründerteams den Markteintritt mit Seminaren und Workshops erleichtern will. Überhaupt wäre das Projekt, das aus einem Forschungsprojekt des Lehrstuhls für Medientechnik hervorgegangen ist, ohne die Nähe zum Hochschulkosmos kaum realisierbar gewesen. “Die Kosten für die Grundlagenforschung kann kein Start-up tragen”, sagt Reinshagen. Deswegen sei es wichtig, dass die Hochschulen die Entwicklung solcher Technologien und junge Unternehmer bei ihrem Weg in die Selbständigkeit fördern. Seit 2009 forscht Schroth an der Navigationstechnik, die Idee dazu ist ihm während eines Aufenthalts an der Universität in Stanford gekommen. Auf seine Initiative richtete sein Professor ein Forschungsprojekt ein, finanzierte es zunächst allein aus Mitteln des Lehrstuhls, bis das Bundesministerium für Wirtschaft und Forschung Gelder bereitstellte. Die unübersichtlichen Flure der Technischen Universitäten sind noch in einer anderen Hinsicht von Vorteil: Sie dienen dem Team als Testgelände. Hier haben die Münchner zum ersten Mal ein Gebäude für Ihre App aufgenommen. Viele weitere sollen folgen. “Unser Ziel ist es, ein Ökosystem aufzubauen, in dem möglichst viele Gebäude enthalten sind”, erklärt Reinshagen. Von der Nähe zum Campus profitieren die Gründer auch durch die vielen Spezialisten, die hier ausgebildet werden. “Demnächst wollen wir Software-Entwickler einstellen, die das Produkt weiterentwickeln”, kündigt Reinshagen an. Dabei hoffen die Gründer auch auf die zahlreichen Studenten auf dem Campus. Denn noch gelte es, die Lücke zwischen Forschung und einem kundenfreundlichen Produkt zu schließen. Geld verdienen wollen die vier Gesellschafter mit Navvis durch den Verkauf von Trolleys, den Kartierungsservice sowie eine monatliche Gebühr für die Gebäudebesitzer, die das Navigationssystem nutzen wollen. Die vier Co-Gründer des Münchner Start-ups befinden sich noch auf dem Weg in den Markt, von dem sie – ihrem Produkt sei Dank – so leicht nicht abkommen können. ANDREA EIBL

 

Posted in Navvis | Leave a comment

Fast Relocalization For Visual Odometry Using Binary Features

State-of-the-art visual odometry algorithms achieve remarkable efficiency and accuracy. Under realistic conditions, however, tracking failures are inevitable and to continue tracking, a recovery strategy is required.

At ICIP 2013, we present a relocalization system that enables realtime, 6D pose recovery for wide baselines. Our approach targets specifically resource-constrained hardware such as mobile phones. By exploiting the properties of low-complexity binary feature descriptors, nearest-neighbor search is performed efficiently using Locality Sensitive Hashing.

Our method does not require time-consuming offline training of hash tables and it can be applied to any visual odometry system. We provide a thorough evaluation of effectiveness, robustness and runtime on an indoor test sequence with available ground truth poses. We investigate the system parameterization and compare the relocalization performance for the three binary descriptors BRIEF, unscaled BRIEF and ORB.

In contrast to previous work on mobile visual odometry, we are able to quickly recover from tracking failures within maps with thousands of 3D feature points.

For more information, please take a look at our ICIP 2013 paper.

Posted in Navvis | Leave a comment

NAVVIS first to win TUM IdeAward

NAVVIS was awarded the TUM IdeAward for their innovative indoor positioning technology.
This annual competition is organized by Technische Universität München, UnternehmerTUM GmbH, and Zeidler-Forschungs-Stiftung.
The award aims to encourage researchers to set up their own innovative and competitive start-up enterprises.
The jury (Vice President Dr. Evelyn Ehrenberger (TUM), Dr. Helmut Schönenberger (UnternehmerTUM), Sylvia Philipp (Zeidler-Forschungs-Stiftung), Dr. Lothar Stein (former director McKinsey Munich), Prof. Fritz Frenkler (Institute for Industrial Design)) ranked NAVVIS first among 51 highly competitive applications.
The awards ceremony took place in the TUM registration hall on February 28, 2013.

We are expanding the team. If you are interested in joining us, please contact us as soon as possible.

For more information please visit www.tum.de/aktuelles or TUM IdeAward .

Posted in Navvis | Leave a comment

NAVVIS Indoor Mapping Trolley

In case you asked yourself how we map the extensive indoor environments, which can be browsed with the NAVVIS IndoorViewer, have a look at this short video showing our mapping trolley in action. Besides the laser scanners and wheel odometry, used to determine our current location with an accuracy of approximately 1 cm, the trolley is equipped with a 360° panoramic camera and two high resolution DSLRs to record images of the environment. We can do this at walking speed by using additional LED lighting to avoid motion blur in the images. A track of about 1.2 km is mapped in about 2 hours. To record the 3D geometry of indoor areas, a vertically mounted laser scanner is used to incrementally build a complete point cloud as we move through the corridors and rooms.

For more detailed information, please have a look at the corresponding publication and the Download section. Our extensive indoor datasets, comprising several thousand high-resolution images with camera pose information, as well as 2D grid maps and 3D point clouds, is available free of charge for download. It may be used both commercially and non-commercially (attribution is required).

TUMindoor: an extensive image and point cloud dataset for visual indoor localization and mapping

Posted in Navvis | Leave a comment