W 2004 roku otrzymał Nagrodę Kulturalną im. Andersa Jahre'a. Rok później wziął udział w krajowej wersji programu Idol – Idol: Jakten på en superstjerne, przechodząc do rundy półfinałowej.
W 2006 roku wygrał konkurs talentów Kjempesjansen, do którego zgłosił się ze swoją autorską piosenką „Foolin”. Trzy lata wcześniej zgłosił się do tego samego konkursu, jednak nie przeszedł etapu przesłuchań. Po udziale w konkursie otrzymał główną rolę w krajowej inscenizacji musicalu Skrzypek na dachu wystawianej w 2007 roku w stołecznym Teatrze Nye, która przyniosła mu nagrodę Hedda w 2007 roku.
Występował gościnnie z takimi artystami, jak m.in. Morten Harket z zespołu A-ha, Arve Tellefsen, Pinchas Zukerman, Hanne Krogh i Knutsen & Ludvigsen.
W grudniu 2008 roku Rybak został ogłoszony jednym z półfinalistów krajowych eliminacji do 54. Konkursu Piosenki Eurowizji (Norsk Melodi Grand Prix), do których zgłosił się z utworem „Fairytale”. W lutym zakwalifikował się do finału selekcji, w którym ostatecznie zdobył największą liczbę głosów od telewidzów i komisji jurorskiej (łącznie 747 888 głosów), dzięki czemu został reprezentantem Norwegii podczas 54. Konkursu Piosenki Eurowizji organizowanego w Moskwie.
Tekst z Wikipedii