gihyo さんのドキュメントによれば

• 必要なのは .idea/gradle.xml

とのことで以下なカンジの .idea/.gitignore が最初の一歩なのかどうか。

*.xml
!/gradle.xml
/.gradle/
/local.properties
.DS_Store
*.iml

ええと、オススメ設定が以下とのことです。

*.xml

!/codeStyleSettings.xml
!/copyright/*.xml
!/fileColors.xml
!/encodings.xml
!/gradle.xml
!/runConfigurations/*.xml

!/inspectionProfiles/*.xml
/inspectionProfiles/profiles_settings.xml

!/scopes/*.xml
/scopes/scope_settings.xml

!/templateLanguages.xml
!/vcs.xml

で、いくつか仕掛り中のプロジェクトがあるのですが、上記の設定を盛り込んだ後に

$ git rm --cached <finename>

ってしておくのかどうか。