Babel パッケージを使うと、見出しなどが基底言語用のものに変えられてしまいます。japanese パッケージを使用すると日本語に変えることができます。japanese パッケージの読み込み方には、新しい方法と古い方法の2種類あり、インストールしてある TeX のシステムによって異なります。どちらかわからなければ、それぞれ試してみて、エラーが出ない方を使うようにするのが簡単でしょう。
Babel のオプションで japanese を指定します。
\usepackage[greek,japanese]{babel}
japanese は必ず一番右にもってきます。
Babel とは独立に
\usepackage{japanese}
と書いて japanese パッケージを読み込みます。
japanese パッケージを使うと次の警告が出るようになりますが、問題ありません。
Package babel Warning: No hyphenation patterns were loaded for (babel) the language `Japanese' (babel) I will use the patterns loaded for \language=0 instead.