“I'm Looking Through You”, com seus 2:25 de duração é a 3ª música do lado B do álbum Rubber Soul, lançado em 3 de dezembro de 1965. Os Beatles gravaram a música em três versões em outubro e novembro de 1965. A versão original era num ritmo mais lento do que a que apareceu no álbum, e não tinha o verso "Why, tell me why...", de entrada do refrão. A canção original só foi lançada em 1996, no Anthology 2. Os créditos da contracapa do single e do álbum, indicam que Ringo Starr tocou órgão eletrônico nesta canção, um instrumento não usual para o baterista, só que o escritor Mark Lewishon afirma que não se pode ouvir o instrumento na gravação e que o crédito não consta nas fitas de gravação originais da música.
A mudança de Jane Asher para Bristol começou a preocupar Paul McCartney. Significava que ela não estava mais à disposição, mesmo que ele ainda estivesse morando na casa da família Asher. Como um jovem de origem operária de Liverpool, era difícil para ele entender uma garota que colocava sua carreira antes do amor. Anos depois, McCartney admitiu para Hunter Davies que toda a sua existência até aquele momento girava em torno de levar uma vida de solteiro sem preocupações. Ele não tratava as mulheres como a maioria das pessoas. Sempre havia muitas em volta dele, mesmo quando estava em uma relação estável."Eu sei que era egoísta. Jane foi embora e eu disse 'tudo bem, vá. Eu encontro outra pessoa'. Foi devastador ficar sem ela. Foi quando escrevi “I’m Looking Through You", ele contou. Era sua canção mais amarga até então. Em vez de questionar as próprias atitudes, Paul acusa a mulher de ter mudado e faz a ameaça levemente velada de deixar de gostar dela. O amor tem o hábito, ele alerta, de desaparecer da noite para o dia. Ele depois se lembraria da canção como tendo servido para livrá-lo de "uma pesada bagagem emocional". Steve Turner
