Techgiganten als Tesla en Google hebben zelfrijdende auto's tot het veelbesproken onderwerp gemaakt onder techneuten. Diverse bedrijven over de hele wereld werken aan de ontwikkeling van zelfrijdende voertuigen voor verschillende terreinen.
Om geconnecteerde autonome rijtechnologie voor iedereen toegankelijk, betaalbaar en beschikbaar te maken, sloten de in Bhopal gevestigde Swaayatt Robots zich aan bij de bandwagon. Met een enorme kennis van alle technologie die betrokken is bij Autonomous Robotics, liet de CEO van het bedrijf, de heer Sanjeev Sharma, veel technologiebedrijven achter in de race. Sinds 2009 doet hij veel onderzoek en ondergaat hij wiskundige berekeningen om slimme oplossingen te bedenken voor zelfrijdende auto's.
We kregen de kans om met dhr. Sanjeev te praten en kennen elk stukje technologie achter Autonome Voertuigen en Robotica waar Swaayatt Robots aan werkt en kennen hun toekomstplannen. Maak een sprong om het hele gesprek dat we met hem hadden te lezen. Je kunt ook de onderstaande video bekijken om het gesprek tussen onze redacteur en Sanjeev zelf te horen
V. Autonome rijtechnologie toegankelijk en betaalbaar maken voor iedereen is de belangrijkste missie van Swaayatt Robots. Hoe is de reis begonnen?
Ik doe de afgelopen 11 jaar onderzoek op het gebied van autonome navigatie. In 2009 werd ik geïnspireerd door de DARPA Grand Challengesdat gebeurde in de VS. Autonoom rijden werd in die jaren het doel van mij. Gedurende vele jaren bleef ik onderzoek doen en deed ik zelfstudies specifiek over bewegingsplanning en besluitvorming onder onzekerheden. De focus lag op het optimaal benutten van machine learning, reinforcement learning en diverse technieken. Ik begon Swaayatt Robots in 2014, maar het was niet alleen het toepassen van het onderzoek en de studies die ik de afgelopen jaren had gedaan. Door enkele ideeën in beweging en besluitvorming toe te passen, moest ik ook het probleem van perceptieplanning en lokalisatie oplossen. Ik had alleen onderzoekservaring op het gebied van besluitvorming en bewegingsplanning. Maar de gebieden perceptie en lokalisatie waren vrij nieuw voor mij. Mijn geweldige wiskundige achtergrond heeft me veel geholpen.
Toen ik rond 2015 begon met het ontwikkelen van de algoritmische kaders om autonoom rijden mogelijk te maken, realiseerde ik me dat dit iets heel groots kan zijn, en dat we het probleem van autonoom rijden echt kunnen oplossen in zeer stochastische vijandige verkeersscenario's. En sinds 2014 werk ik fulltime aan deze startup. Mijn onderzoek bestrijkt met name verschillende branches, maar in het bijzonder ligt de focus van ons bedrijf op het ontwikkelen van algoritmen voor besluitvorming en bewegingsplanning waarmee autonome voertuigen kunnen omgaan met zeer hoge niveaus van stochasticiteit in de verkeersdynamiek. Dat komt neer op ongeveer 65% tot 70% van het onderzoek dat bij Swaayatt Robots gebeurt. Ongeveer 25% - 27% van het onderzoek gaat naar het gebied van perceptie, dat allerlei algoritmen omvat die de sensorgegevens van een voertuigrobotsysteem verwerken,en bouw een 3D-weergave van de wereld eromheen.
In perceptie zijn we een van de weinige bedrijven ter wereld die autonome voertuigen de omgeving kunnen laten waarnemen met alleen standaardcamera's die ook overdag en 's nachts werken. Dit is ongeveer hoe de reis tot nu toe is verlopen.
V. U bent in 2014 begonnen met het valideren van uw ideeën, en in 2015 was u helemaal op het pad. Wat moeten we dus doen in dit ene jaar? Hoe heb je getest dat zelfrijden in India mogelijk is?
Autonoom rijden is de mix van drie algoritmische pijplijnen, namelijk. perceptie, planning en lokalisatie. De algoritmen nemen de sensorische gegevens, verwerken deze en bouwen een 3D-weergave rond een voertuig. We noemen ze perceptie-algoritmen. Lokalisatie-algoritmen proberen de positie van het voertuig op de weg globaal nauwkeurig te bepalen. Dit is hoe robots vroeger werkten in academische omgevingen. In 2009 werd dit model van autonoom rijden ontwikkeld door Google. Voordat een autonoom voertuig over een bepaalde weg navigeert, moet de hele weg in zeer detail in 3D in kaart worden gebracht. We noemen deze kaarten high-fidelity-kaarten. Deze high-fidelity-kaarten bevatten zeer belangrijke informatie over de omgeving. Ze slaan meestal alle verschillende soorten scheidingstekens op in de omgeving.
Voordat het zelfrijdende voertuig in een omgeving navigeert, wordt de hele omgeving zeer nauwkeurig in kaart gebracht. Alle rijstrookmarkeringen, weggrenzen en elk soort scheidingsteken in de omgeving worden feitelijk opgeslagen in dit soort high-fidelity-kaarten.
Wanneer het voertuig door een omgeving navigeert waarvoor je al high-fidelity-kaarten hebt, leg je opnieuw de gegevens van verschillende sensoren op het voertuig vast en probeer je de gegevens te matchen met een referentiekaart die je hebt gebouwd. Dit koppelingsproces geeft je een pose-vector die je vertelt waar het voertuig zich op planeet aarde bevindt en wat de configuratie van het voertuig is. Zodra u de positie en de configuratie van het voertuig op de weg kent, wordt de volledige informatie die u had opgeslagen in de high-fidelity-kaarten bovenop de huidige configuratie van het voertuig geprojecteerd. Wanneer u deze informatie projecteert, zoals wegmarkeringen, rijstrookmarkeringen en elk soort wegscheidingsteken of omgevingsafscheidingsteken; het zelfrijdende voertuig weet waar het zich nu bevindt ten opzichte van een bepaald scheidingsteken of vanaf een bepaalde rijstrookmarkering. Zo,dit is wat lokalisatie-algoritmen doen.
Het laatste gebied van autonoom rijden is planning en besluitvorming. Hoe geavanceerder en beter de plannings- en besluitvormingsalgoritmen die u heeft, des te capabeler zal uw autonome voertuig zijn. Planning- en besluitvormingsalgoritmen zullen bedrijven bijvoorbeeld onderscheiden van niveau twee, niveau drie, niveau vier en niveau vijf. Elk algoritme dat verantwoordelijk is voor het nemen van beslissingen of het plannen van de beweging en het gedrag van het voertuig, is een planningsalgoritme.
Hoe meer verfijning u heeft in de planningsalgoritmen, hoe beter uw voertuig zal zijn. Verschillende bewegingsplanners en besluitvormers helpen bij het evalueren van de veiligheid van het voertuig en de omgeving, de snelheid waarmee u navigeert, de omgeving van het voertuig en alle parameters die u uit uw omgeving kunt berekenen. Dit is wat planningsalgoritmen doen.
Ik heb onderzoek gedaan op het gebied van planning. Als je over het soort algoritmen beschikt dat kan omgaan met de stochasticiteit in de verkeersdynamiek in India. Als je daarmee om kunt gaan en als je algoritmes hebt, dan heb je bewezen dat als je alleen maar een perceptie- en lokalisatiestapel kunt bouwen, je een volwaardige autonome rijtechnologie hebt.
U hoeft niet alle verschillende algoritmen te ontwikkelen om te controleren wat het beste werkt. U hoeft alleen maar drie of vier verschillende algoritmen te bouwen waarvan u weet dat ze het belangrijkste probleem bij autonoom rijden zullen oplossen. Veiligheid is de belangrijkste reden waarom u geen commerciële zelfrijdende voertuigen op de weg ziet. Kosten en alle andere zaken zijn secundair. Ik had de hele startup kunnen bouwen op slechts een of twee algoritmen, zoals het lokalisatie- en kaartaspect van autonoom rijden. Maar mijn doel was om een volwaardig autonoom voertuig te ontwikkelen en niet hier en daar een of twee algoritmen. Doordat ik het belangrijkste aspect op het gebied van planning en besluitvorming heb bewezen, heb ik het vertrouwen gekregen om het hele probleem van autonoom rijden in het algemeen aan te pakken.
V. Aan welk niveau van autonoom rijden werken Swaayatt Robots? En welk niveau denk je dat mogelijk is in India?
Ons doel is om autonomie van niveau 5 te bereiken en ervoor te zorgen dat de technologie veilig is in dit soort omgevingen. We zitten ergens tussen niveau drie en niveau vier. Een deel van het algoritmische onderzoek dat we doen, betreft bewegingsplanning en besluitvorming die gericht is op niveau vijf.
Ook werken we eraan om het mogelijk te maken dat autonome voertuigen in de spits het kruispunt kunnen oversteken zonder verkeerslichten. We streven naar autonomie van niveau vijf door autonome voertuigen in staat te stellen om te gaan met krappe ruimtes met zeer stochastisch verkeer. We hebben autonoom gereden in een zeer krappe omgeving, waarbij ook een voertuig of een fiets van de andere kant kwam. Op POC-niveau hebben we tussen de drie en vier niveaus bereikt. We hebben de POC's al omgezet voor autonomie van niveau vier door experimenten uit te voeren in zeer stochastisch verkeer met krappe ruimtes. Ons huidige doel is om 101 kilometer per uur autonoom te rijden op Indiase wegen.
Als je eenmaal de veiligheid van het voertuig in dit soort omgevingen hebt bewezen, kun je je technologie meenemen en overal anders toepassen, zoals in Noord-Amerika en Europa, waar het verkeer veel meer gestructureerd is, waar de omgevingen ook veel strenger zijn in vergelijking met de Indiase omgevingen. Dus India is vanaf nu een proeftuin voor ons om te bewijzen dat we iets hebben dat niemand anders op dit moment heeft gedaan.
V. Hoeveel vooruitgang heeft Swaayatt Robots geboekt bij het ontwikkelen van een oplossing voor autonoom rijden? Aan welk rijniveau werk je momenteel?
Momenteel hebben we 's werelds snelste bewegingsplanningsalgoritme dat in 500 microseconden bijna optimale tijdgeparameteriseerde trajecten voor een autonoom voertuig kan plannen. Het algoritme werkt dus ongeveer op 2000 hertz. We hebben de technologie om tot 80 kilometer per uur autonoom rijden op Indiase snelwegen mogelijk te maken. Het is een grote uitdaging om dat soort snelheid te bereiken op de Indiase snelwegen. Als u dat kunt, kunt u het meestal ook ergens anders meenemen. Je kunt het toepassen in buitenlands verkeer en eigenlijk zit je heel dicht bij niveau vier. Om u een idee te geven, hebben we gewerkt aan wat we multi-agent intent-analyse en onderhandeling noemen. Dit raamwerk stelt ons voertuig in staat om niet alleen de waarschijnlijkheid van de bedoelingen van andere voertuigen of agenten op de weg te berekenen.Het kan de waarschijnlijkheden van de volledige padverzamelingen berekenen die andere agenten of voertuigen of obstakels in de omgeving niet kunnen. Deze mogelijkheid alleen is echter niet voldoende. U kunt bijvoorbeeld een zeer rekenkundig veeleisend systeem bouwen dat de toekomstige bewegingstrajecten kan voorspellen en misschien de waarschijnlijkheden van alle padverzamelingen van verschillende voertuigen kan berekenen. Dit is waar je je moet concentreren, dwz ook op de rekenbehoefte. De computationele vraag in dit probleem van multi-agent intent-analyse en onderhandelingen zal exponentieel toenemen als je geen onderzoek hebt gedaan, de wiskunde niet goed hebt gebruikt of als je ze niet goed hebt ontworpen. Ik onderzoek enkele concepten uit de toegepaste wiskunde, met name op het gebied van topologische theorie. Ik gebruik enkele van de concepten zoals homotopiekaarten,waarmee onze technologie de berekeningen kan opschalen. In ieder geval vanaf nu is het superlineair in termen van het aantal agents, in tegenstelling tot de exponentiële uitvergroting die je zou tegenkomen als je de wiskunde achter de algoritmen niet goed hebt uitgewerkt.
Het onderhandelingskader voor intentieanalyse met meerdere agenten is verder onderverdeeld in twee verschillende takken waaraan we momenteel werken. Een daarvan is het TSN (Tight Space Negotiator Framework) en de andere is het inhaalmodel. TSN stelt de autonome voertuigen in staat om zowel de krappe omgevingen als het stochastische verkeer te onderhandelen, zowel bij lage als hoge snelheden. Een hoge snelheid zou dus erg handig zijn voor stochastische verkeersscenario's op de snelweg en de lage snelheid zou erg handig zijn wanneer het voertuig navigeert in een stedelijk scenario, waar je vaak de krapste straten tegenkomt met te veel verkeer en lawaai in het verkeer, wat betekent dat er is te veel onzekerheid in de verkeersdynamiek.
Daar zijn we de afgelopen twee en een half jaar al mee bezig geweest en hebben we het al in de vorm van POC ontwikkeld. Sommige van de stukjes en beetjes van deze frameworks waar ik het over heb, kunnen worden getoond in de demo van ons volgende experiment, dat gericht zal zijn op het bereiken van 101 kilometer per uur functioneren op Indiase wegen.
Verder hebben we ook onderzoek gedaan in verschillende takken van AI. We maken veel gebruik van leerlingwezen, omgekeerd leren. Daarom werken we er momenteel aan om autonome voertuigen in staat te stellen op typische tweebaanswegen in te halen, net als Indiase chauffeurs. We bewijzen zowel in simulatie als in de echte wereld zoveel mogelijk met beperkte financiering. Dit zijn enkele van de onderzoeksgebieden die we al in de praktijk hebben bewezen, en sommige zullen de komende maanden bewezen worden.
Afgezien daarvan zijn we een van de weinige bedrijven ter wereld die autonoom rijden mogelijk maken in volledig onbekende en ongeziene omgevingen waarvoor helemaal geen high-fidelity-kaarten bestaan. We kunnen autonoom rijden mogelijk maken zonder het gebruik van high-fidelity-kaarten. We zijn bezig met het volledig uitroeien van de behoefte aan high-fidelity-kaarten en deze uitroeiing wordt mogelijk gemaakt door twee van onze sleuteltechnologieën. Ons TSN-raamwerk is gemaakt om een nieuwe regelgevende benchmark te stellen.
V. Over de hardware-architectuur gesproken: wat voor soort hardware gebruikt u voor uw computerdoeleinden. En wat voor soort sensoren en camera's gebruik je om de echte wereld op je zelfrijdende voertuigen in kaart te brengen?
Vanaf nu gebruiken we alleen standaardcamera's. Als je onze demo voor een autonoom voertuig ziet, zul je merken dat we niet meer dan een 3000 Rs-camera hadden gebruikt. Als je kijkt naar het perceptieonderzoek dat over de hele wereld plaatsvindt bij de autonome bedrijven of robotica-bedrijven, ze gebruiken alle drie verschillende sensoren zoals camera's, LiDAR's en radars. Momenteel worden al onze experimenten met autonoom rijden alleen met camera's uitgevoerd. Toen ik met het bedrijf begon, had ik alleen expertise op het gebied van planning, maar sinds 2016 realiseerde ik me dat state-of-the-art research papers, waar de labs over de hele wereld ook aan werken; het werkt gewoon niet in de echte wereld. Als ze werken, zijn ze te rekenintensief en werken ze gewoon niet. Zo,Ik nam ook perceptie als mijn primaire onderzoeksgebied en ik besteedde ongeveer 25% - 27% van mijn tijd aan perceptieonderzoek. Nu is het onderzoeksdoel van ons bedrijf om autonome voertuigen in staat te stellen om waar te nemen met alleen de camera's zonder dat LiDAR's en radars nodig zijn. Dit is een onderzoeksambitie die we willen bereiken. Terwijl we dat bereikten, hebben we er ook voor gezorgd dat we 's werelds snelste algoritme hebben voor elke veel voorkomende taak.
We hebben twee doelen in perceptie. Ten eerste moet het algoritme zo capabel zijn dat autonome voertuigen zowel overdag als 's nachts kunnen waarnemen met alleen camera's. We hebben deze waarnemingsmogelijkheid niet alleen voor overdag maar ook 's nachts uitgebreid met alleen de koplamp van het voertuig en gewone standaard RGB- en NIR-camera's, het soort camera's dat je voor 3000 Rs in de markt.
Wij focussen