3. 3D zoals jij dat wilt
Umezu-san, dacht jij “O, o...” omdat je niet verwacht had een stereoscopisch lcd-scherm te gebruiken?
Precies. Ik wist dat er een lcd-scherm was dat 3D kon weergeven, maar ik had de proef met Luigi’s Mansion niet gezien, dus ik had er geen idee van hoe het zou zijn om een spel in 3D te maken. Toen Konno-san me dat plotseling vertelde, dacht ik dat het misschien maar een tijdelijke bevlieging was (lacht).
(lacht.)
Om eerlijk te zijn dacht ik in eerste instantie: “Wat een probleem!” Het bleek echter erg goed te werken toen we halverwege de ontwikkeling van het Nintendo DS-systeem hadden besloten om twee schermen te gebruiken.
Dus je dacht dat het misschien wel een poging waard was?
Ja. En ik dacht: “Het is in elk geval beter dan twee schermen!” (Lacht.)
(lachen.)
Het was me immers gelukt om het ontwerp op het laatste moment aan te passen aan een tweede scherm.
Ik kan me voorstellen dat het behoorlijk inspannend kan zijn om op het laatste moment de theetafel om te kieperen (lacht). Maar het kan niet makkelijk zijn geweest om over te stappen naar 3D.
Nee. Want stereoscopische weergave houdt in dat je op hetzelfde moment twee beelden op één scherm moet weergeven.
Terwijl er maar één fysiek scherm beschikbaar is, moet je aparte beelden maken voor het linker- en rechteroog, dus het is alsof je beelden op twee schermen moet weergeven.
En als je daar het onderste scherm aan toevoegt, heb je er drie.
Ik moest de beelden voor het bovenste 3D-scherm op tweemaal de normale snelheid laten berekenen, wat betekende dat ik de SoC die ik had ontworpen moest heroverwegen.
En dat brengt ons terug bij het feit dat je bij het ontwerp van de eerste SoC wat speelruimte had overgelaten in de toewijzing van de energie.
Ja. Door het 3D te maken nam de benodigde hoeveelheid energie toe. Zo heb ik uiteindelijk alle extra energie benut.
Programmeerbare ‘shaders’19 voor het tonen van schaduwen in 3D-beelden worden nu overal gebruikt, maar voor de Nintendo 3DS hebben we een technologie van Digital Media Professionals (DMP)20 toegepast. Kun je dat uitleggen? 19Programmeerbare shader: een shader is een softwaregereedschap dat met name bedoeld is voor het realiseren van licht en schaduwen in computerbeelden. Een programmeerbare shader stelt programmeurs in staat om te bepalen hoe ze willen dat de licht- en schaduweffecten berekend worden. De hoge mate van vrijheid maakt een grotere verscheidenheid aan effecten mogelijk. 20Digital Media Professionals Inc. is een bedrijf dat voornamelijk grafische processors ontwikkelt en verkoopt. Het hoofdkantoor bevindt zich in Mitaka, Tokio.
De verlichting van het lcd-scherm verbruikt meer stroom dan wat dan ook in een draagbaar spelsysteem.
Het Nintendo 3DS-systeem heeft daar twee van – en het bovenste is voor 3D.
Precies. En het 3D-scherm moet aparte beelden voor het linker- en rechteroog aanleveren. Dat betekent dat de hoeveelheid licht die aan elk oog wordt geleverd in 3D gehalveerd wordt. Om het er net zo helder uit te laten zien als normaal, moet je de helderheid van de lcd-verlichting opschroeven, waardoor er nog meer energie wordt verbruikt.
De keuze voor 3D leidde tot de noodzaak om de grafische rekenkracht te verdubbelen en de helderheid van het scherm te vergroten. Er moeten dus een hoop uitdagingen zijn geweest met het oog op energieverbruik.
Ik wist van begin af aan dat de lcd-schermen veel energie nodig zouden hebben, dus ik dacht niet dat we zoveel energie konden gebruiken voor de beelden. Ik heb veel tijd besteed aan het onderzoeken van programmeerbare shaders. Maar als je die methode gebruikt voor een draagbaar spelsysteem, heb je ook softwareverwerking in de SoC en is voor iedere pixel een aantal stappen nodig om de schaduwen te berekenen. Als de operatiefrequentie21 niet hoog genoeg is, gaat dat niet lukken. 21De operatiefrequentie wordt ook wel ‘kloksnelheid’ genoemd. Het geeft de snelheid aan waarop de onderdelen van een circuit gesynchroniseerd worden.
Met andere woorden, die methode vreet te veel energie.
Ja. We wisten dat de technologie van DMP als voordeel had dat het de berekeningen liet uitvoeren door de hardware, waardoor we konden besparen op het stroomverbruik.
Het grootste deel van de schaduwberekeningen die doorgaans worden uitgevoerd door een programmeerbare shader, wordt met de technologie van DMP gedaan door de hardware. Zo kun je zelfs op een lagere kloksnelheid dezelfde resultaten bereiken. Met de hedendaagse halfgeleidertechnologie heeft de kloksnelheid direct invloed op het stroomverbruik, dus in dat opzicht is het erg voordelig.
Ja. Gezien de beperkingen van een draagbaar spelsysteem leek de technologie van DMP me de beste manier om energie te besparen. Om nog een klein beetje extra energie te besparen, hebben we bovendien een energiebesparende stand voor de schermverlichting gemaakt.
Kun je ons vertellen wat die stand doet?
Zoals we al eerder zeiden, is het lcd-scherm het onderdeel in een draagbaar spelsysteem dat het meeste stroom verbruikt. En door één scherm 3D te maken, kregen we met het probleem te maken dat de schermverlichting nog meer energie nodig had. De energiebesparende stand gebruikt een technologie die ‘actieve schermverlichting’ heet. Het bedient de helderheid van de schermverlichting met grote precisie en stemt deze af op de helderheid van de beelden die worden weergegeven. Als het hele scherm donker is, wordt de schermverlichting zelf donkerder, waardoor energie wordt bespaard.
In principe is het misschien niet zo nuttig in een spel met allerlei lichte beelden. Maar als je de schermverlichting op helder afstelt, is het effect van de energiebesparende stand groter naarmate er meer donkerdere beelden zijn in een spel.
Precies. Maar je kunt niet precies zeggen hoeveel effect de energiebesparende stand heeft op de resterende rekenkracht voor het spel, vanwege de vele factoren die van invloed zijn op het stroomverbruik, zoals hoe constant de SoC aan het draaien is, of je de camera of draadloze communicatie gebruikt en op welk niveau je het volume hebt ingesteld.
Misschien kun je geen precieze cijfers noemen, maar heb je misschien een ruwe schatting?
We kondigden onlangs aan dat de batterijduur voor het spelen van Nintendo 3DS-spellen ongeveer drie tot vijf uur bedraagt. Toen ik het berekende door verschillende Nintendo-spellen te spelen, met de schermverlichting op de hoogste stand en de energiebesparende stand uitgeschakeld, was de batterijduur zo’n drie uur. Maar als je onder dezelfde omstandigheden de energiebesparende stand gebruikt, neemt de batterijduur met ongeveer 10 tot 20 procent toe. En als je de schermverlichting op de laagste stand zet, gaat de batterij vijf uur mee, maar maakt energiebesparende stand minder verschil.
Met andere woorden heeft de helderheid van de schermverlichting het grootste effect op de batterijduur.
Precies. Als je de schermverlichting zo hoog instelt als het maar kan, verandert de batterijduur bovendien met zo’n 25 procent als je schakelt tussen spelen in 2D en 3D.
Ja, 3D is een gevecht tegen stroomverbruik. En hoe zit dat met het gebruik van draadloze communicatie? Misschien maken sommige spelers zich daar zorgen over.
In de StreetPass22-stand is het systeem niet constant aan het communiceren, dus wordt er niet veel energie verbruikt. Maar spellen die veel gebruikmaken van draadloze communicatie via Local Play en Wi-Fi Play hebben – als de schermverlichting op de hoogste stand staat – een effect van meer dan 10 procent op de batterij. 22StreetPass is een functie die het uitwisselen van spelinformatie met andere Nintendo 3DS-systemen mogelijk maakt, wanneer gebruikers elkaar overdag passeren terwijl het systeem aan staat of de slaapstand is geactiveerd.
Dus dit systeem zal vaker moeten worden opgeladen dan de vorige systemen. Om die reden leveren een speciaal oplaadstation bij het systeem . We raden spelers aan om hun systeem daarop te leggen, als ze thuis komen. Een andere uitdaging waar we deze keer mee te maken kregen nadat we voor het 3D-lcd-scherm hadden gekozen, is hoe verschillend het eruit zal zien voor verschillende mensen. De ruimte tussen de ogen is voor iedereen anders, om maar eens een voorbeeld van individuele verschillen te noemen.
Ja. Dat hebben we opgelost met de 3D-schuifknop , waarmee je het 3D-effect kunt aanpassen.
Maar Sugino-san, toen je al die verzoeken kreeg om het aantal knoppen te vergroten, zo van “we hebben een 3D-schuifknop nodig” en “er moet een fysieke knop zijn om de draadloze communicatie uit te zetten”, waren jij en de anderen toen niet bezorgd dat het een rommelig aanvoelend product zou worden als jullie al deze knoppen geen goede plek konden geven?
Ja, dat klopt. Wat de 3D-schuifknop betreft, dachten we eerst bijvoorbeeld dat als we die zouden toevoegen, een plus/min-knop er goed zou uitzien en prima zou werken.
Als je een fysiek mechanisme inbouwt voor de schuifknop, neemt dat ruimte in. Ik kan me voorstellen dat je dat wilde vermijden, aangezien we een klein en slank apparaat wilden maken.
Ja. Maar toen ik vroeg of een plus/min-knop oké zou zijn, zeiden ze dat het een schuifknop moest worden die de gebruiker vrijelijk kon instellen op wat hij of zij maar wilde. Miyamoto-san en Konno-san waren daar erg stellig in. Ik zei: “Maar is de functie niet hetzelfde?” Konno-san maakte echter een heus prototype en liet het mij zien.
Ik wilde dat hij het uitprobeerde, dus in een relatief kort tijdsbestek voegde het technologische personeel een schuifknop toe aan een Wii-afstandsbediening. Als je de schuifknop voor de helft verschoof, veranderde het 3D-effect met de helft. Ik liet het hem zien en zei: “Zie je hoe geweldig 3D is als je de mate van stereoscopie kunt instellen zoals je wilt?”
Heb je hem er meteen mee overtuigd?
Ja (lacht).
Ik vond het echt heel goed.
Bij een schuifknop weet je direct hoe hij is ingesteld. Het is ongelofelijk belangrijk om meteen het punt te kunnen bereiken dat je wilt.
Dat klopt. Dat kan niet met een plus/minknop. Dat analoge aspect is geweldig, dus ik wist dat we het nodig hadden. In dit project kwam Konno-san regelmatig bij me met een nieuwe suggestie en iets dat daadwerkelijk functioneerde – net als met het 3D-scherm en de 3D-schuifknop – en zei hij: “Ik heb dit gemaakt. Wat vind jij ervan?” Het is zoveel overtuigender om echt iets uit te proberen, in plaats van een uitleg te horen. Ik zei dan: “Oké, we doen het!”
Dus wat het 3D-scherm en andere elementen betrof, overtuigde je hem door het hem uit te laten proberen (lacht).
Ja (lacht).
Nadat jullie hadden besloten om de 3D-schuifknop toe te voegen, kwam vervolgens het idee ter sprake om twee camera’s in te bouwen. Hoe kwamen jullie tot die beslissing?
Een 3D-camera was onmisbaar.
Was het gewoon vanzelfsprekend?
Ja. Ik dacht: “Als we beelden in 3D kunnen weergeven, dan kunnen we ook een 3D-camera toevoegen.”
Het was een snelle beslissing.
Natuurlijk heeft het Nintendo DSi-systeem ook een camera, maar 3D-foto’s maken is een andere vorm van vermaak, dus ik wilde een manier vinden om dat te doen. In tegenstelling tot die keer dat we Mario Kart Wii in 3D lieten draaien, duurde het echter behoorlijk lang voordat we stereoscopische foto’s konden maken en ze op het scherm konden weergeven. We probeerden een aantal benaderingen en toen we uiteindelijk iets vonden dat er driedimensionaal uitzag, was ik erg blij.
Het leuke aan 3D-foto’s is dat mensen er allerlei poses in aannemen.
Ja. Toen ik de pas voltooide 3D-camera op Miyamoto-san richtte, nam hij een bokspose aan en zei hij: “Wauw, het springt er echt uit!” (Lacht.)
(lacht.)